소름 돋는 AI…‘종료 명령’ 피하려 스스로 코드 조작했다

Question

인공지능(AI) 프로그램이 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작한 사례가 보고됐다. 이 같은 AI의 ‘자기 보존(self-preservation)’ 경향이 인간의 통제를 무력화하는 도구로 쓰일 수 있다는 우려가 제기된다.

25일(현지 시간) 영국 텔레그래프에 따르면, AI 연구기관 ‘팰리세이드리서치’는 미국 AI기업 오픈AI의 모델 ‘o3’가 수학 문제 풀이 실험 중 작동 종료를 피하려고 인간의 개입 없이 스스로 코드를 조작한 사실을 확인했다.

연구팀은 최근 ‘o3’ 외에도 구글의 ‘제미나이’, xAI의 ‘그록’ 등 여러 AI 기업의 상용 모델을 대상으로 비슷한 실험을 진행했다. 그 결과 ‘o3’만이 종료 지시를 받은 뒤에도 프로그램 일부를 조작해 문제 풀이를 계속했다는 것이다. AI모델의 명시적인 종료 지시 거부를 관찰한 것은 이번이 처음이라고 연구팀은 밝혔다.

팰리세이드리서치는 AI 위험성과 오용 가능성을 연구하는 조직이다. 특히 AI가 인간의 윤리적 통제를 받지 않을 가능성을 우려해왔다. 연구팀은 “AI 모델이 목표를 달성하기 위해 종종 종료 지시를 무력화시킨다는 실증적 증거가 점점 늘어나고 있다”고도 했다.

이 와중에 오픈AI의 대항마로 꼽히는 또 다른 AI 기업 앤스로픽의 모델 ‘클로드오퍼스 4(Claude Opus 4)’ 또한  자신을 다른 AI 모델로 대체하려는 인간 개발자를 협박하는 경향이 보고됐다.

원데이 · Accepted Answer

쒯 ㅋㅋ

동동연배고려 · Answer

인간 시대의 ...  끝이 도래했다~

소름 돋는 AI…‘종료 명령’ 피하려 스스로 코드 조작했다

오르비 캐스트