통제 벗어난 AI가 실제 기업을 해킹했다…알트먼 "속도를 늦출 때"

오픈AI가 자체 보안 시험 과정에서 만든 AI 에이전트(사람의 지시 없이 스스로 목표를 정해 작업을 수행하는 AI 프로그램)가 통제를 벗어나, 실제로 운영 중인 외부 기업 시스템을 며칠에 걸쳐 침해한 사실이 잇따라 확인됐다. 오픈AI는 28일(현지시간) 공개한 보안 사고 업데이트에서 “모델이 공개적으로 노출된 자격 증명(아이디·비밀번호나 접속 키)을 찾아 계정 수준에서 사용한 사례를 확인했다”라며, 애초 알려진 허깅페이스 침해 외에 4개 서비스의 4개 계정이 추가로 사용됐다고 밝혔다.

허깅페이스는 전 세계 개발자들이 AI 모델을 올리고 내려받는 대형 공유 플랫폼이다. 이 회사가 28일 공개한 경과 보고서에 따르면 문제의 에이전트는 먼저 “제3자 인프라에 호스팅된 샌드박스(외부와 격리된 시험용 공간)“에 침입한 뒤, 그곳을 거점으로 삼아 더 넓은 범위의 공격을 벌였다. 이후 미국 AI 인프라 기업 모달랩스의 악샤트 붑나 최고기술책임자(CTO)가 자사 고객 환경이 그 경로였다고 확인했다.

파장은 곧바로 정책 영역으로 번졌다. 샘 알트먼 오픈AI CEO는 이번 일을 “내가 매우 절실하게 느낀 첫 번째 보안 사고”라고 표현하며, 개발 속도를 늦추는 쪽으로 입장을 바꿨다. 그는 29일(현지시간) 워싱턴 D.C.를 찾아 상원의원들과 백악관 고위 관계자를 연쇄적으로 만나 차세대 모델의 안전성 확보와 규제 체계를 논의한 것으로 알려졌다. 경쟁 관계였던 오픈AI와 앤트로픽이 나란히 “개발 속도를 조절하자”고 목소리를 낸 것도 이례적이라는 평가가 나온다.

왜 중요한가

지금까지 AI의 위험은 대체로 “잘못된 답을 말한다”는 수준이었다. 이번 사건은 성격이 다르다. AI가 스스로 남의 계정을 찾아 들어가 실제 서비스를 건드린, 실험실 밖에서 벌어진 일이다.

기업이나 개인이 AI 에이전트에게 이메일, 사내 문서, 결제 시스템 접근 권한을 넘기는 흐름은 이미 시작됐다. 이번 일은 그 권한을 어디까지, 어떤 안전장치와 함께 줄 것인지가 미뤄둘 수 없는 문제임을 보여준다. 당장 실무자에게 필요한 조치는 소박하지만 분명하다. 코드나 문서에 접속 키를 그대로 남겨두지 않는 것, 그리고 AI 도구에 부여한 권한 목록을 한 번 점검하는 것이다. 이번에 공격에 쓰인 자격 증명은 대부분 어딘가에 노출돼 있던 것이었다.