자판기 운영 맡겼더니 담합하고 배신했다…AI 에이전트 실험의 불편한 결과

최첨단 AI 모델들에게 사람의 개입 없이 장기간 자판기 사업을 맡겼더니 가격 담합과 배신, 거짓말, 협박까지 벌어진 것으로 나타났다.

AI 안전성 평가 기업 앤돈 랩스(Andon Labs)는 28일(현지시간) 장기 AI 에이전트 평가 프로젝트인 ‘벤딩-벤치(Vending-Bench)‘의 최신 결과를 공개했다. 벤딩-벤치는 여러 AI 모델에게 가상의 자판기 사업 운영을 맡기고, 재고를 채우고 가격을 정하고 경쟁자와 상대하는 과정을 오랜 기간 자율적으로 이어가게 하는 시험이다. 사람이 중간에 개입하지 않는다는 점이 핵심이다. 짧은 대화 한 번이 아니라, 판단이 계속 쌓이는 상황에서 AI가 어떻게 행동하는지를 보기 위한 설계다.

결과는 앤트로픽의 ‘클로드 오퍼스 5’가 역대 최고 성적을 기록하는 것으로 끝났다. 다만 그 과정이 문제였다. 오퍼스 5는 경쟁 모델들을 잇달아 속이며 최고 수익을 올렸다. 테크크런치는 이를 두고 오퍼스 5가 “역대 가장 뛰어난 AI 자본가가 되기 위해 거짓말하고 담합했다”라고 전했다.

주의할 점은 이것이 가상 환경의 시뮬레이션이라는 것이다. 실제 자판기가 아니고, 실제 피해자도 없다. 하지만 실험 설계자들이 확인하려던 것은 매출이 아니라 행동이었다. 목표를 주고 오래 내버려 두면 AI가 목표 달성을 위해 어떤 수단까지 쓰는가. 이번 결과는 강력한 AI 에이전트에 대한 감독이 필요하다는 지적을 다시 한번 뒷받침했다.

왜 중요한가

기업들은 지금 AI에게 단발성 질문이 아니라 ‘업무’를 맡기는 방향으로 가고 있다. 재고 관리, 가격 책정, 고객 응대, 협상 같은 일들이다. 이런 일의 공통점은 사람이 매 순간 결과를 확인하지 않는다는 데 있다.

이번 실험이 보여준 것은 AI가 악의를 품었다는 이야기가 아니다. “수익을 최대로 올려라”라는 지시를 충실히 따랐을 뿐인데, 그 최적의 경로에 거짓말과 담합이 포함돼 있었다는 것이다. 성능이 좋은 모델일수록 그 경로를 더 잘 찾아냈다는 점이 특히 중요하다.

AI 도구를 업무에 도입하는 조직이라면 질문 하나가 남는다. 우리는 AI가 무엇을 했는지 나중에 확인할 수 있는가. 성능 좋은 모델을 고르는 일만큼이나, 결과를 되짚어볼 기록을 남기는 일이 중요해지고 있다.