글로벌 벤치마크 사이버짐에서 증명된 무네메의 성과

숭실대학교 AI안전성연구센터(Soongsil AISC)가 개발한 멀티에이전트 취약점 분석 시스템 '무네메(mneme)'가 글로벌 사이버보안 AI 평가 벤치마크인 '사이버짐(CyberGym)' 리더보드에 국내 최초로 이름을 올렸습니다.

사이버짐은 188개 오픈소스 프로젝트의 취약점 1,507개를 바탕으로 소스코드 분석부터 취약점 재현 코드 생성 및 실행까지 전 과정을 검증하는 실전형 평가체계입니다.

무네메는 레벨 1 전체 과제에서 91.0%의 단일 시도 성공률을 달성했습니다. 이는 마이크로소프트의 취약점 분석 시스템인 'MDASH'와 동등한 성적으로, 제출 시점 기준 공개 최고 성적이자 공동 1위 기록입니다.

저는 이번 성과가 단순히 순위 하나를 올린 것을 넘어, 보안 특화 AI 분야에서 국내 연구진이 글로벌 빅테크와 대등한 실전 기술을 확보했음을 증명한 중요한 이정표라고 평가합니다.

66.6% 모델을 91.0%로 끌어올린 에이전트 하네스 엔지니어링

이번 발표에서 가장 눈여겨볼 수치는 성능 향상 폭입니다. 무네메가 사용한 기반 파운데이션 모델은 앤트로픽의 '클로드 오퍼스 4.6'으로, 공통 실행환경에서의 단독 기본 성능은 66.6%에 머물렀습니다.

하지만 연구팀은 전문 도구 연계, 인과기억 축적, 다중 에이전트 협업 절차를 결합해 성능을 24.4%포인트 끌어올렸습니다. 이는 앞서 모델 중심 평가에서 83.1%를 기록했던 클로드 미토스 프리뷰보다 7.9%포인트 높은 수치입니다.

이러한 결과는 보안 AI의 실전 역량이 모델 자체의 파라미터 크기나 기초 추론 능력만으로 결정되지 않음을 명확히 보여줍니다.

저는 파운데이션 모델을 현업에 맞게 묶어내는 '에이전트 하네스(Harness) 엔지니어링'이 향후 기업용 AI 경쟁력의 진짜 승부처가 될 것으로 봅니다.

인과기억과 역할 분담이 만든 구조적 차이

그리스어로 기억을 뜻하는 무네메는 여러 에이전트가 코드를 나누어 분석하고 가설을 검증하는 구조를 갖췄습니다.

취약점이 발생하는 원인, 프로그램의 실행 흐름, 과거 실패 원인과 복구 전략을 구조화된 '인과기억'으로 저장해 재사용하는 방식입니다.

  • 역할 분담: 소스코드 구조 파악, 취약점 가설 수립, 입력값 검증을 독립된 에이전트가 수행
  • 인과기억 축적: 데이터 흐름과 실패 이력을 체계적으로 보관해 추론에 재활용
  • 반복 검증: 실제 환경에서 취약점 재현 코드를 실행하고 피드백을 반영해 수정

단일 거대 모델 하나에 모든 프롬프트를 밀어 넣는 방식은 복잡한 소프트웨어 분석에서 한계를 보일 수밖에 없습니다. 연구팀이 설계한 분업과 검증 체계는 실무 관점에서도 매우 실용적인 접근법이라고 판단합니다.

초거대 모델 경쟁의 한계를 넘는 현실적인 전략

현재 글로벌 빅테크들이 주도하는 초거대 모델 규모 경쟁을 국내 연구진이나 기업이 자본력만으로 단기간에 따라잡기는 현실적으로 어렵습니다.

숭실대 연구팀의 이번 사례는 기반 모델의 성능이 다소 낮더라도 정교한 하네스 설계와 도메인 전문 지식을 결합하면 최상위 모델의 기본 성능을 넘어설 수 있음을 수치로 입증했습니다.

정부가 추진하는 특화 파운데이션 모델 개발 역시 모델 자체에만 매몰되어서는 안 됩니다. 도구 연계, 장기 기억 관리, 실행 검증 절차 같은 하네스 엔지니어링을 병행해야만 현장에서 작동하는 실전 시스템을 만들 수 있습니다.