2026.01.31 토요일
검색
'AI안전성' 검색결과
기간검색
-
~
검색영역
검색어
-
KAIST, AI '전문가 혼합' 구조 보안 취약점 세계 최초 규명… ACSAC 2025 최우수논문상 [이코노믹데일리] KAIST(총장 이광형) 전기및전자공학부 신승원 교수와 전산학부 손수엘 교수 공동연구팀이 거대언어모델(LLM)의 핵심 효율화 기술인 '전문가 혼합(MoE)' 구조의 치명적인 보안 취약성을 세계 최초로 규명해 국제 학술대회에서 최고 상을 받았다. KAIST는 26일 연구팀이 정보보안 분야 권위 있는 국제 학술대회인 ‘ACSAC(Annual Computer Security Applications Conference) 2025’에서 최우수논문상(Distinguished Paper Award)을 수상했다고 밝혔다. ACSAC는 보안 분야에서 가장 영향력 있는 학회 중 하나로 올해 전체 논문 중 단 2편만이 최우수논문으로 선정됐다. 전문가 혼합(MoE)은 구글 제미나이 등 최신 상용 LLM들이 연산 효율성을 높이기 위해 채택하는 구조로 복수의 작은 AI 모델(전문가)을 상황에 따라 선택적으로 활용하는 방식이다. 연구팀은 이 효율적인 구조가 오히려 심각한 보안 위협이 될 수 있음을 입증했다. 공격자가 LLM 내부 구조에 접근하지 않더라도 악의적으로 조작된 전문가 모델 하나만 오픈소스로 유통하면 이를 가져다 쓴 전체 모델이 오염될 수 있다는 사실을 밝혀낸 것이다. 연구 결과 정상적인 AI 전문가들 사이에 단 하나의 악성 전문가 모델만 포함되어 있어도 특정 상황에서 해당 전문가가 반복적으로 호출되며 전체 AI의 안전장치를 무력화시켰다. 실험에서 연구팀의 공격 기법을 적용하자 유해 응답 발생률은 기존 0%에서 최대 80%까지 치솟았다. 더욱 심각한 문제는 이 과정에서 모델의 전반적인 성능 저하가 거의 나타나지 않는다는 점이다. 개발자나 관리자가 사전에 문제를 인지하기 어려워 악성 모델이 그대로 상용 서비스에 배포될 위험이 크다. 이는 전 세계적으로 확산하는 오픈소스 기반 LLM 생태계에서 모델의 출처와 안전성 검증이 필수적임을 시사한다. 신승원·손수엘 교수는 “효율성을 위해 빠르게 확산하는 전문가 혼합 구조가 되레 보안 취약점이 될 수 있다는 사실을 실증적으로 확인했다”며 “이번 수상은 AI 모델 보안의 중요성을 국제적으로 인정받은 의미 있는 성과”라고 강조했다. 이번 연구는 KAIST 김재한·송민규 박사과정과 나승호 박사(현 삼성전자) 등이 참여했으며 결과는 지난 12일 미국 하와이에서 열린 ACSAC에서 발표됐다.2025-12-26 09:38:59
-
과기정통부, 내년 AI 기본법 시행 앞두고 "규제 최소화·1년 유예" 원칙 천명 [이코노믹데일리] 과학기술정보통신부(장관 배경훈)가 내년 1월 22일 시행되는 ‘인공지능(AI) 기본법’을 두고 산업계 우려를 불식시키기 위해 필요 최소한의 규제 원칙과 충분한 계도 기간을 약속했다. 정부는 법 시행 초기에는 규제 범위를 좁게 설정하되 기술 발전 속도와 글로벌 규범 변화에 맞춰 제도를 유연하게 보완해 나갈 방침이다. 과기정통부는 24일 서울 중구 한국지능정보사회진흥원(NIA) 서울사무소에서 ‘AI기본법 시행 대비 설명회’를 열고 이 같은 내용의 시행령 제정안과 가이드라인 운영 방향을 공개했다. 이번 설명회는 현재 입법예고 중인 시행령안에 대한 이해를 돕고 현장의 의견을 수렴하기 위해 마련됐다. 정부는 확인 절차 기한을 명시해 기업의 예측 가능성을 높이는 동시에 AI 생성물 부작용을 막기 위한 최소한의 안전장치는 유지하겠다는 입장을 재확인했다. 쟁점은 크게 AI 사업자 정의와 투명성 의무 및 고영향 AI 기준 등으로 요약된다. 우선 AI 사업자 정의와 관련해 산업계는 유럽연합(EU)의 ‘AI법(AI Act)’처럼 ‘배포자’ 개념을 도입해 책임을 명확히 할 것을 요구했다. 이에 대해 심지섭 인공지능안전신뢰정책과 사무관은 “배포자 개념 도입 취지는 이해하지만 이는 시행령이 아닌 상위 법률 개정이 필요한 사안”이라며 “현 단계에서는 가이드라인을 통해 개발 및 이용 사업자를 명확히 구분하고 구체적 사례를 안내하는 데 주력하겠다”고 설명했다. AI 생성물에 대한 표시 의무인 투명성 규제도 뜨거운 감자다. 산업계는 기계 판독만 가능한 비가시적 표시 등 예외 확대를 요청한 반면 시민사회는 AI 결과물 제공 주체까지 의무를 확대해야 한다고 맞섰다. 정부는 부작용 예방과 활용성 제고라는 두 마리 토끼를 잡기 위해 신중한 접근을 택했으며 필요시 법률 개정까지 포함한 제도 개선을 검토하기로 했다. 안전성 의무 기준을 두고도 시각차가 존재했다. 현행법은 ‘누적 연산량’을 기준으로 삼고 있으나 산업계는 다른 기준 도입을 요구했고 시민사회는 대상 확대를 주장했다. 정부는 국제 규범에서 합리적인 새 기준이 나오면 적극 반영하겠다면서도 당장은 현행 기준을 유지하며 필요 최소한의 규제 원칙을 고수했다. 고영향 AI 지정은 법상 명시된 의료나 대출 심사 등 10개 분야에 대해 엄격히 적용된다. 사업자가 자사 서비스의 고영향 AI 해당 여부를 판단하기 어려울 경우 과기정통부에 확인을 요청할 수 있으며 정부는 30일 이내에 답변해야 한다. 불가피한 사유가 있을 때만 1회에 한해 연장 가능하도록 해 행정 예측 가능성을 높였다. 산업계가 우려했던 ‘설명 방안 수립 의무’에 대해서는 강제적 공개가 아닌 절차적 의무임이 명확해졌다. 사업자가 자율적으로 설명 방식과 수준을 정해 이용자에게 안내하면 된다는 것이다. 다만 정부는 AI 결정으로 영향을 받는 이용자 보호 방안에 대해서는 지속적인 논의를 이어가기로 했다. 과기정통부는 입법예고 기간 수렴된 의견을 반영해 시행령안을 확정하고 법제처 심사와 국무회의를 거쳐 내년 1월 22일 법 시행에 맞춰 공포할 계획이다. 또한 법 시행 후 최소 1년 이상의 규제 유예 기간(Grace Period)을 운영해 기업들이 충분히 대비할 수 있도록 지원한다. 스타트업과 중소기업을 위한 ‘AI 안전·신뢰 지원 데스크’도 운영해 법률 컨설팅과 고영향 AI 판단 지원 및 검인증 부담 완화 등 실질적인 혜택을 제공한다. 이진수 과기정통부 인공지능정책기획관은 “AI 기본법은 규제가 아닌 지원과 진흥이 주목적인 법”이라며 “세계 최초로 규제를 시행하는 나라가 되지 않겠다는 점을 분명히 하고 해외 동향과 기술 발전을 고려해 유연하게 제도를 운용하겠다”고 강조했다.2025-12-24 16:54:07
-
팀네이버, AI 최고 학회 '뉴립스 2025'서 논문 10편 채택 쾌거 [이코노믹데일리] 네이버(대표 최수연)가 세계 최고 권위의 인공지능(AI) 학회인 ‘뉴립스(NeurIPS) 2025’에서 10편의 논문이 채택되는 성과를 거두며 글로벌 AI 경쟁력을 입증했다. 팀네이버는 이번 학회에서 자체 개발한 초거대 AI ‘하이퍼클로바X’를 포함해 연구 단계부터 실제 서비스 적용까지 이어지는 ‘AI 풀스택’ 전략을 전 세계 연구자들과 공유했다. 올해 뉴립스에서 채택된 네이버의 논문은 단순한 이론 연구를 넘어 실제 산업 현장에 즉시 적용 가능한 실용적인 기술을 담고 있다는 점에서 의미가 크다. 연구 주제는 크게 초거대 AI의 효율적 운용과 생성형 AI의 안전성 강화 및 로보틱스 등 물리 세계로의 확장 등 세 가지 핵심 분야에 집중됐다. 논문 채택률이 약 25%에 불과한 뉴립스에서 두 자릿수 논문 채택은 네이버의 연구 역량이 세계적 수준에 도달했음을 보여주는 지표다. 가장 주목받은 기술은 거대언어모델(LLM)의 운영 비용을 낮추고 속도를 높이는 ‘캐시 압축 기술’이다. 이 기술은 긴 문맥을 처리할 때 중요한 데이터만 선별적으로 압축해 성능 저하 없이 메모리 사용량을 최대 4배 줄이고 처리 속도는 2배 향상시킨다. 또한 복잡한 문제를 풀 때 불필요한 연산 과정을 제거해도 정답률을 유지하는 기술을 발표해 LLM의 연산 효율성을 획기적으로 높였다는 평가를 받았다. AI의 안전성과 제어 능력을 높이는 연구도 다수 포함됐다. 네이버는 대화형 검색 환경에서 콘텐츠 품질을 정교하게 평가하는 새로운 벤치마크를 제안하고 이미지 생성 시 사용자의 의도를 정확히 반영하는 텍스트 임베딩 기술을 선보였다. 특히 모델을 다시 학습시키지 않고도 유해 콘텐츠 생성을 억제하는 안전 제어 기술은 생성형 AI의 신뢰성을 높이는 핵심 기술로 꼽힌다. 물리 AI 분야에서는 로봇이 변화하는 공간을 기억하고 스스로 경로를 찾는 모델 구조를 제시해 AI 기술의 확장성을 넓혔다. 팀네이버는 학회 기간 통합 부스를 운영하고 네트워킹 행사인 ‘밋 더 네이버 AI 팀’을 개최해 80여 명의 국내외 석학들과 기술 비전을 공유했다. 네이버클라우드 관계자는 “뉴립스에서의 성과는 팀네이버의 기초 연구 역량이 글로벌 톱티어 수준임을 확인한 것”이라며 “앞으로도 연구 성과를 하이퍼클로바X 등 실제 서비스에 빠르게 적용해 AI 생태계를 확장해 나가겠다”고 밝혔다.2025-12-09 09:58:24
많이 본 뉴스
영상
Youtube 바로가기
