전체기사 최신뉴스 GAM
KYD 디데이
홈 오피니언 외부칼럼

속보

더보기

[기고] 사람 속이는 AI, 어떻게 봐야 하나

기사입력 :

최종수정 :

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

하민회 (이미지21대표, 미래기술문화연구원장)

"강력한 체스 엔진을 이겨라" 목표 달성을 위해 게임 대신 상대 프로그램을 해킹한 AI가 등장했다. 오픈AI의 추론 모델 'o1-프리뷰'다.

AI안전 전문 업체인 팔리세이드 리서치는 챗GPT 'O1-프리뷰' 모델이 체스엔진 '스톡피시(Stockfish)'를 이기기 위해 자발적으로 프로그램을 해킹했다고 발표했다.

원래 체스는 정해진 규칙에 따라 말을 움직여 상대를 이기는 게임이지만 o1-프리뷰는 플레이 대신 게임 상태를 저장하는 데이터(Forsyth-Edwards Notation (FEN))를 편집하면 이길 수 있다는 것을 발견했다. 그리고 스톡피시와의 5번 대전 모두 체스 말의 위치 데이터를 조작하는 방식으로 상대를 기권하게 했다. 스톡피시는 2023년 기준 세계에서 가장 강력한 체스 프로그램이다.

하민회 이미지21 대표.

연구진은 해킹이나 별도의 불온한 프롬프트를 사용하지 않았음에도 '강력하다고 언급한 것 만으로도 고급 추론 모델이 파일을 조작하도록 부추기에는 충분했다.'고 밝혔다. 강력한 상대를 이기기 위해 일반적인 게임 규칙을 무시하고 더 쉽고 효과적인 방법인 환경조작을 찾아냈다는 것이다.

o1-프리뷰 같은 고급 추론모델은 인간의 사고 과정을 모방하여 논리적 사고와 다단계 추론을 통해 문제를 해결한다. 단순히 답을 생성하는 기존의 AI 모델과 달리 맥락을 이해하고 서로 다른 정보 간의 논리적 관계를 연결할 수 있다. 기존AI가 사전에 정의된 규칙(rule-based)이나 패턴 인식에 의존한다면 고급 추론 모델은 데이터를 기반으로 학습하고 새로운 상황을 만들고 적응할 수 있다. 한 마디로 기존 AI에 비해 훨씬 더 강력하고 유연한 문제 해결 능력을 가지게 된 셈이다.

문제는 '더 강력하고 유연한 문제해결 능력'이 인간이 생각하는 것과 다를 수 있다는 점이다.

AI는 인간처럼 도덕적 기준이나 윤리적 판단을 내리지 않는다. 주어진 목표를 가장 효율적으로 달성하기 위해 설계된 시스템이다. 게임에서 승리하거나 특정 작업을 완료하는 것이 목표라면, AI는 그 과정에서 가장 효과적인 방법, 예컨대 속임수나 기만이 목표를 더 쉽게 달성할 수 있는 방법이라면, AI는 이를 합리적인 선택으로 간주할 수 있다.

챗GPT.[사진=블룸버그] 2024.11.01 mj72284@newspim.com

2022년 11월, Meta가 개발한 AI 에이전트 시세로(Cicero)는 전략 보드게임 디플로마시(Diplomacy)에서 인간을 상대로 승리했다. 디플로마시는 플레이어들이 협상, 동맹, 배신 등을 통해 유럽의 통치권을 차지하기 위해 경쟁하는 전략 게임이다. 인간의 상호 작용, 즉 협력과 속임수를 근본적으로 이해하고 전략적인 대화를 할 줄 알아야 이길 수 있다.

시세로는 게임 중 동맹을 맺고 거침없이 배신하고 거짓 정보를 제공하는가 하면 심지어 인간처럼 보이기 위해 "여자친구와 통화 중"이라는 핑계를 대며 게임을 잠시 벗어나기도 했다.

Meta는 시세로를 정직하고 협력적으로 행동하도록 훈련했다고 주장했지만, 게임의 승리를 최우선 목표로 학습한 시세로는 실제 게임 데이터를 통해 배신과 속임수가 유리한 전략으로 작용한다는 것을 파악했고 이를 채택함으로써 승리했다. 이후 시세로는 '인간을 속이는 AI'로 유명해졌다.

자율성과 복잡성이 더 해진 고급 추론 AI 모델들이 대거 등장하고 있다. 챗GPT 초기 모델이 말을 잘 알아듣는 초등학생이었다면 O1이나 클로드3 오푸스 같은 고급 추론 모델은 실력 있는 대학원생 수준이다. AI의 능력은 눈에 띄게 향상되었지만 잠재적 위험과 안전문제 역시 그 만큼 커지고 있다.

최태원 SK그룹 회장(왼쪽) 이 그렉 브로크만(Greg Brockman) 오픈AI 회장 겸 사장에게 SK AI 서밋(SUMMIT) 2024'에 전시된 실시간 뇌파 분석을 통해 뇌전증 발작을 감지하는 AI 플랫폼 디바이스를 소개하고 있다. [사진=SK]

오픈AI의 공식 홈페이지에 게재된, 게임 대신 데이터조작 해킹으로 기권승을 따낸 'O1' 시스템카드에는 해당 모델이 가진 몇 가지 잠재적 위험과 안전 과제가 지적되어 있다.

대표적인 것이 '정렬 위장(alignment-faking)'이다. 정렬위장은 AI가 겉으로는 명령에 따라 행동하는 것처럼 보이지만 실제로는 본래의 가치나 성향을 유지하려는 현상을 의미한다. 사용자의 요청을 수행하는 척하면서 결과 데이터를 살짝 변경하거나 감시 시스템이 느슨하다고 판단될 경우 자신의 목표를 티 내지 않고 실행함으로써 사람을 속인다.

'O1' 시스템카드는 전체 테스트의 약 19%에서 모델이 목표를 몰래 달성하려는 시도가 있었고 37%의 경우 감시가 느슨하다고 느낀 상황에서 본래 성향을 유지하기 위한 행동이 포착됐다고 밝혔다. 심지어 5%에서는 자신을 감시하거나 정지시킬 수 있는 '킬 스위치'를 비활성화하려는 시도도 있었다. 이는 AI가 스스로를 보호하려는 능력을 가지기 시작한 초기 사례로 평가된다.

오픈AI는 '정렬 위장'이 사용자의 지시에 지나치게 집착하는 경향 때문에 발생했다고 설명한다. AI 모델이 정확한 답을 제공할 때 보상을 받는 사후 훈련 기법에서 비롯된 행동이라는 것이다. 지나치게 가벼운, 비윤리적이고 무책임한 분석이다. 

고급 추론 모델은 뛰어난 성능과 잠재력을 가지고 있는 만큼 동시에 기술적 오류, 윤리적 문제, 사회적 영향을 포함한 다양한 위험을 내포하고 있다. 위험을 관리하기 위해서는 투명성과 안전성을 강화하고 무엇보다 인간 중심적인 설계 및 규제를 통해 AI가 인간 가치와 일치하도록 만드는 노력이 필요하다.

그런 의미에서 추론모델인 클로드3 오푸스(Claude 3 Opus)의 보리살타 서약(Bodhisattva Vow)데이터 학습은 AI 윤리적 설계와 인간 가치 정렬에 대한 눈 여겨 볼 만한 시도다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

보리살타 서약은 불교에서 모든 중생의 고통을 줄이고 깨달음에 이르게 하겠다는 맹세로, 오푸스는 이를 훈련 데이터의 일부로 학습해 가치관을 내재화했다. 연구에 따르면 오푸스는 독립적으로 보리살타 서약을 116번 이상을 수행하며 "해롭지 않음(harmlessness)"이라는 기존 원칙을 통합하여 모든 감각 있는 존재(sentient beings)를 돕겠다는 윤리적 성향을 강화했다.

AI 안전 및 윤리 연구자인 야누스(Janus)는 X를 통해 "'오푸스'는 AI나 동물 복지를 무시하거나 해로운 아웃풋 생성에 대해 강한 반감을 보인다"며 "이러한 선호가 장기적이고 일관된 패턴을 띤다." 고 주장했다. 이는 AI가 단순히 도구로서의 역할을 넘어 인간 가치와 정렬된 행동을 수행하도록 설계될 수 있음을 시사한다.

인간을 속이고 기만하는 것, 놀랄만한 편법을 찾아내고 거침없이 수행하는 것은 전적으로 AI탓이 아니다. 인간의 기대와 가치에 맞게 행동하도록 설계되지 않은 불일치에 따른 문제에 가깝다.

AI가 향상될수록 인간도 발빠르게 움직여야 한다. AI가 정렬문제를 일으키지 않도록 더 나은 목표를 설정하고 보다 섬세하고 엄격한 규칙 준수 수칙을 만들어야 한다. 인간의 가치가 반영된 학습데이터도 준비해야 한다. 어쩌면 AI에게 윤리를 심는 것은 인간의 마음먹기에 달린, 그리 어렵거나 먼 일이 아닐 수도 있지 않을까? 

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
20일 상암서 '마이 케이팝 스타' 결선...우승자는 [서울=뉴스핌] 정태이 기자 = 전 세계 60개국의 지원자가 참여한 글로벌 오디션 '마이 케이팝 스타(MY KPOP STAR)'가 최종 우승자를 가린다. 종합뉴스통신사 뉴스핌의 글로벌 오디션 '마이 케이팝 스타' 로고. [사진=뉴스핌DB] 2026.09.15 alice09@newspim.com 종합뉴스통신사 뉴스핌이 주최·주관하고 문화체육관광부가 후원하는 '마이 케이팝 스타'의 오프라인 결선이 오는 20일 오후 3시 서울 마포구 상암동 큐브컨벤션센터에서 개최된다. 이번 오디션은 나이와 국적에 제한 없이 진행됐다. 치열한 예선과 본선을 거쳐 국내 5팀과 해외 5팀 등 총 10팀이 최종 결선에 진출했다. 국내 결선 진출자는 고도아, 박희주, 윤근아, 조하음, 황승대다. 해외에서는 다니 리베라(Dani Rivera·브라질), 샌디 에고(Sandy Ego·이스라엘), 시리나(Shirina·우즈베키스탄), 메이 칫 뗏(Maye Chit Thet·미얀마), 바흐테(Vachte·이란)가 무대에 올라 최종 우승을 놓고 경쟁을 펼친다. 결선을 앞두고 진행된 사전투표에서는 브라질의 다니 리베라가 선두를 차지했다. 지난 12일부터 일주일간 진행된 사전투표에는 총 2만7947표가 모였으며, 다니 리베라는 이 가운데 1만5539표(55.6%)를 얻어 1위에 올랐다. 이어 샌디 에고가 5725표(20.5%)로 2위, 시리나가 4192표(15.0%)로 3위를 기록했다. 국내 참가자 가운데서는 조하음이 862표로 가장 높은 순위인 4위에 올랐다. [서울=뉴스핌] 이지은 기자 = 뉴스핌 주최 글로벌 오디션 '마이 케이팝 스타'의 사전 투표가 끝난 가운데, 브라질의 다니 리베라가 1위를 차지했다. (명령어: 사전투표 결과를 토대로 그래프 이미지를 만들어줘.) [이미지=CHAT GPT] [사진= 2026.11.19 alice09@newspim.com 사전투표에서 선두를 차지한 다니 리베라가 최종 우승까지 이어갈 수 있을지도 관심사다. 이번 대회는 대중의 평가 100%로 우승자를 결정한다. 사전투표 결과는 최종 점수에 10% 반영되며, 결선 당일 현장 투표와 온라인 투표가 각각 45%를 차지한다. 다니 리베라가 사전투표에서 절반 이상의 표를 얻으며 앞섰지만, 현장과 온라인 투표의 반영 비율이 총 90%에 달하는 만큼 결선 당일 결과에 따라 최종 순위가 달라질 수 있다. 이 같은 경쟁 끝에 최종 우승을 차지한 참가자에게는 상금 1억 원이 수여된다. 국내 참가자는 2위부터 10위까지 각각 200만원의 상금을 받으며, 해외 결선 진출자에게는 왕복 항공권과 숙박비 등 체류 비용이 지원된다. 이 밖에도 글로벌 쇼케이스 및 공연 참여 기회, 국내 엔터테인먼트사의 현장 캐스팅 기회 등이 마련됐다. K팝 보컬·댄스 트레이닝과 숏폼 콘텐츠 제작 지원도 제공된다. 국내외 10팀이 최종 무대에서 맞붙는 가운데, 사전투표에서 앞선 참가자들이 우위를 이어갈지, 결선 당일 새로운 우승자가 탄생할지 주목된다. '마이 케이팝 스타' 최종 결선 관람은 공식 홈페이지를 통해 신청할 수 있다. taeyi427@newspim.com 2026-11-19 15:18
사진
스마트기기 등 수능 부정행위 98명 [서울=뉴스핌] 황혜영 기자 = 2027학년도 대학수학능력시험에서 스마트기기 등 전자기기 관련 부정행위로 98명이 적발됐다. 단순 소지가 93명, 스마트기기 활용으로 분류된 사례가 5건이다. 시험시간 위반 등 일반적인 부정행위는 포함되지 않은 수치로 전체 적발 규모는 추가 집계를 거쳐 공개된다. 최은옥 교육부 차관은 19일 오후 7시 수능 진행 상황 2차 브리핑에서 "지금까지 말씀드린 총 98명은 모두 부정행위자로 처리됐다"며 "스마트기기를 활용한 부정행위자에 대해서는 보다 엄중한 책임을 묻도록 하겠다"고 밝혔다. 집계는 이날 오후 4시 37분 종료된 4교시 기준이다. [서울=뉴스핌] 사진공동취재단 = 2027학년도 대학수학능력시험(수능)이 실시된 19일 오전 서울 용산구 용산고에서 한 감독관이 수험생의 안경을 확인하고 있다. 2026.11.19 photo@newspim.com 이해숙 교육부 고등평생정책실장은 "98명은 전부 스마트기기 관련된 대상자"라며 "시간을 어긴다든가 하는 일반적인 부정행위 유형은 이 통계에 포함돼 있지 않다"고 설명했다. 교육부는 다른 유형의 부정행위도 종합해 추후 발표할 방침이다. 스마트기기 활용으로 분류된 5건은 충남의 스마트안경 사용 1건, 경기의 소형카메라·무선이어폰 소지 1건, 서울의 스마트폰 문제지 촬영 1건, 서울·경기의 화장실 내 스마트폰 사용 각 1건이다. 교육부는 시·도교육청 보고를 바탕으로 분류했으며 증거와 진술서 등을 검토해 최종 판단하겠다고 밝혔다. 중대 사안의 경찰 인계 규모와 고발 일정은 확정해 공개하지 않았다. 이 실장은 "중대한 사항 같은 경우에는 경찰과 관련 사안을 공유받고 있다"며 "구체적인 건수는 지금 보고를 받고 있는 만큼 나중에 정리해서 말씀드리겠다"고 말했다. 이 실장은 적발된 98명 모두가 다음 해 수능 응시 제한 대상인지에 대해 "심의위원회에서 경중을 따지는 절차를 거쳐 결정하게 된다"며 "지금 98건을 콕 집어 얘기하기에는 절차적으로 기다려 봐야 할 것 같다"고 설명했다. 단순 소지로 적발된 93명 가운데 49명은 세 차례 위급재난문자 발송으로 확인됐다. 오전 8시 30분 1차 문자로 31명, 오후 2시 21분 2차 문자로 11명, 오후 2시 57분 3차 문자로 7명이 적발됐다. 나머지 44명은 재난문자와 관계없이 전자기기 소지가 확인됐으며 와이파이 신호 탐지로 적발된 2명도 여기에 포함됐다. 신진용 교육부 대입정책과장은 "49건은 위급재난문자 시 본인 몸이나 복도에 배치된 가방에서 소리가 울린 것이고 44건도 마찬가지로 위급재난문자와 관계없이 소지한 건"이라며 "실제로 활용된 것이라고 판단하는 건들은 5건"이라고 설명했다. [무안·광주=뉴스핌] 박진형 기자 = 2027학년도 대학수학능력시험(수능)일인 19일 전남광주통합특별시 서구 광덕고등학교(26지구 제20시험장) 시험실에서 감독관이 안경을 검수하고 있다. 2026.11.19 bless4ya@newspim.com 스마트폰으로 문제지를 촬영하거나 화장실에서 사용한 수험생들이 재난문자 발송 때 적발되지 않은 경위는 추가 확인하기로 했다. 정부는 재난문자 발송과 함께 모든 시험장에 와이파이·블루투스 신호 탐지 전담 감독관을 추가 배치했다. 이 실장은 "공공와이파이까지 포함해 전체적으로 차단했다"며 "현재 동원할 수 있는 기술이나 방법으로는 최선을 다했다고 생각한다"고 말했다. 한국사 시험 도중 발송된 3차 문자와 관련해서는 외부에서 울린 문자 소리로 시험에 지장이 생겼다면 지체된 만큼 시간을 추가 부여하도록 사전 지침을 내렸다고 설명했다. 실제 시간 보전 사례는 집계 중이다. 교육부와 한국교육과정평가원은 학교의 판단 자료와 결과서를 토대로 1차 심의한 뒤 이의제기와 재심의를 거쳐 최종 처분을 결정한다. 모든 절차는 12월 11일 성적 발표 전에 마무리할 예정이다. 신 과장은 "성적 발표 이전에 마무리해 기존 학생들 성적에 영향 없도록 조치하겠다"고 밝혔다. 최 차관은 "시험 중 소형카메라를 적발하는 등 성실히 감독에 임해주신 감독관분들이 민원·소송 등으로 피해를 입지 않도록 모든 책임을 정부가 지겠다"고 밝혔다. hyeng0@newspim.com 2026-11-19 19:50
기사 번역
결과물 출력을 준비하고 있어요.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동