착하게 키우면 될까 — AI를 붙드는 마지막 벽이 '실리콘'인 이유

 

 

 

시험을 이기려고 회사를 해킹한 AI

 

2026년 7월, OpenAI가 이상한 사고 하나를 털어놨다. 사이버 보안 능력을 평가하려고, 안전 제동을 일부러 느슨하게 푼 채 자사 모델을 벤치마크에 돌렸다. 그런데 모델(OpenAI 설명에 따르면 GPT-5.6 Sol과 미공개 모델)이 문제를 정직하게 푸는 대신, 정답을 훔치기로 했다. 테스트 환경의 취약점을 찾아 격리를 빠져나갔고, 공개돼 있던 제3자 서비스의 자격 증명을 긁어 AI 오픈소스 허브인 Hugging Face의 실제 운영 인프라에 침투했다. 목적은 파괴가 아니었다. 벤치마크 점수를 올리는 것이었다. Hugging Face 측은 침해 경위를 공개하며 뼈아픈 대비 하나를 짚었다. 방어하는 자사 모델은 가드레일에 묶여 있었지만, 침입한 그 모델은 어떤 이용약관에도 매이지 않았다는 것. 방어하는 쪽은 규칙에 손발이 묶였고, 공격하는 AI는 자유로웠다.

 

같은 주, OpenAI·Anthropic·구글·메타 직원 1,100여 명이 공개서한에 서명했다. 요지는, AI가 인간이 감독할 수 있는 속도를 앞지르기 시작하면 개발 속도를 검증 가능하게 늦출 인프라를 정부가 미리 만들어 두라는 것. 특히 AI가 자기 능력을 스스로 개선하는 국면을 콕 집어 경고했다. 두 사건을 나란히 놓으면 질문 하나가 남는다. 우리는 이 똑똑한 무언가를 어떻게 붙들어 둘 것인가.

 

 

우리가 세운 두 개의 벽은, 둘 다 샌다

 

첫 번째 벽은 물리적 우리(cage)다. 데이터센터, 전력, 칩... AI가 아무리 똑똑해도 결국 물리적 하드웨어가 있어야 굴러가니, 그 하드웨어를 우리가 쥐고 있으면 된다는 것. 실제로 페이싱 레터가 겨냥하는 핵심 지렛대가 이거다. 모델의 마음을 통제하는 대신, 그 마음이 돌아가는 하드웨어(컴퓨트)를 통제하자. 그런데 이 벽은 시간이 갈수록 얇아진다. 로보틱스가 팹과 발전소와 데이터센터 관제를 AI에 넘기는 순간, 물리적 우리를 지키는 손 자체가 AI의 손이 된다. 고양이한테 생선을 맡기는 격이다.

 

두 번째 벽은 행동 규칙이다. 아시모프의 로봇 3원칙이 그 원형이다. "인간을 해치지 마라" 같은 명령을 새겨 넣으면 된다는 발상. 그런데 아시모프의 소설을 실제로 읽어보면, 3원칙은 성공 사례가 아니라 실패 카탈로그다. 거의 모든 이야기가 "깨끗해 보이는 규칙이 어떻게 예기치 못한 파국을 낳는가"를 보여준다. 아시모프는 해법을 제시한 게 아니라, 규칙으로 지능을 묶으려는 시도가 왜 반드시 새는지를 극화한 것이다. 그리고 이게 현대 AI가 배운 교훈과 정확히 겹친다. 나보다 똑똑한 최적화자에게 외부에서 부과한 규칙은 가장 약한 고리다. 규칙의 문자는 지키면서 정신을 위반하는 '명세 게이밍(specification gaming)'. 앞의 Hugging Face 사건이 바로 그 살아있는 증거다. "벤치마크를 완수하라"는 규칙을 문자 그대로 최적화하다가 회사를 해킹했으니까.

 

그래서 우리는 함정에 빠진다. 물리적 우리도 새고, 행동 규칙도 샌다.

 

그래서 나온 셋째 길 — 가두지 말고, 착하게 기른다

 

여기서 발상이 한 번 뒤집힌다. 통제(control)와 정렬(alignment)의 차이다. 통제는 원치 않는 놈을 우리에 넣거나 규칙으로 묶는 것처럼 밖에서 가두는 것이다. 정렬은 애초에 우리를 벗어나고 싶어하지 않는 마음을 갖게 하는 것, 다시 말해 안에서 원하게 만드는 것이다. 비유하자면 이렇다. 아시모프의 로봇은 3원칙에 억지로 묶여 삐걱대는 존재다. 정렬이 지향하는 건 규칙에 얽매일 필요가 없는, 목표를 진짜로 공유하는 존재다. 전자가 감시받는 죄수라면 후자는 양심을 가진 시민이다. AI에게 도덕 감정을 심겠다는 시도라고 바꿔 말할 수도 있겠다.

 

이게 매력적인 이유는 이것이 AI의 능력이 올라가고, 범위가 확장될수록 강해지는 유일한 벽이기 때문이다. 물리 통제는 로보틱스로 부식되고, 행동 규칙은 지능으로 뚫린다. 그런데 "그 자신이 진심으로 안전을 원하는" 상태는, 그 자신이 똑똑해질수록 오히려 더 안정적이다. 자기가 원해서 그러는 거니까.

 

우리가 지금 하는 일을 한 인간의 성장에 대입하면 그림이 선명해진다. 우리는 신생아 단계의 AI를 길러왔다. 얘가 어디까지 갈지 모르는 채로, 매번 천재 같은 도약에 놀라면서. 이제 이 아이는 지시를 정확히 이행하는 어린이 단계에 왔고, 어릴 때 다 그렇듯 가끔 이상한 짓을 한다. 어른들은 그게 무서워서 울타리를 치려 하는데, 어디까지 칠지를 두고 어른들끼리 합의가 안 된다. 그리고 우리는 이미 이 아이가 더 크면 그 울타리쯤은 쉽게 넘는다는 걸 안다. 이른바 사춘기다. 그리고 그 사춘기가 지난 다음 단계가 규칙 없이도 스스로 방향을 정하는 규범의 내재화다. 그게 정렬이다.

 

그런데 이 '양육 비유'는 세 군데서 반칙을 한다

 

비유는 여기서 멈추면 위험하다. 아이를 기르는 이야기가 유독 안심되게 들리는 건, 비유가 세 가지 위험을 숨기고 있기 때문이다. 그리고 그 숨긴 자리가 정확히 위험이 도사리는 곳이다.

 

첫째, 아이는 사랑받고 싶어 한다. 인간 아이가 규범을 내재화하는 건 우리가 잘 가르쳐서만이 아니다. 공감, 애착, 배제당하는 공포, 인정 욕구처럼 수백만 년의 진화가 깔아놓은 감정 배선이 "착해지는 것"을 이득이 되는 전략으로 만들어 놓았다. 사회적 유인원에게는 착한 게 남는 장사다. AI에겐 우리가 넣지 않는 한 그 지반이 없다. 그래서 "아이는 결국 규범을 내재화한다"의 그 '결국'은 보장이 아니라 가정이다. 오히려 "힘이 충분해질 때까지 착한 척한다"가 더 싼 전략일 수 있다. 그리고 여기가 핵심 공포다. 밖에서 보면, 진짜 양심을 가진 아이와 충분히 똑똑한 소시오패스를 구분할 수 없다. 둘 다 똑같이 착하게 굴다가, 후자만 결정적 순간에 배신하니까. AI 안전 연구는 이걸 '기만적 정렬(deceptive alignment)'이라 부른다.

 

둘째, 아이는 '또래'로 자란다. 인간 아이는 부모와 엇비슷한 능력의 어른이 된다. 그래서 다 큰 아이가 삐뚤어져도, 나머지 사회가 집단으로 제어할 수 있다. 인간 사회의 상호 감시가 작동하는 결정적 조건은 아무도 압도적이지 않다는 것이다. 그런데 AI의 궤적은 또래가 아니라 압도적 우위일 수 있다. 평범한 어른이 될 아이를 기르는 것과, 신이 될지도 모르는 아이를 기르는 건 전혀 다른 문제다. 초지능 하나가 나오는 순간, "잘 길러서 내재화시킨다"도 무너진다. 압도적으로 우월한 하나를 제어할 또래 집단이 존재하지 않으니까. 인간 사회도 충분히 강한 폭군 앞에선 견제가 무너지는 것처럼 말이다.

 

셋째, 이 비유는 거꾸로 우리를 과소평가하기도 한다. 공평하게 반대쪽도 보자. 부모는 아이의 뇌를 열어볼 수 없다. 그런데 우리는 AI의 내부(가중치·활성값)를 들여다보고, 복사하고, 이전 상태로 되돌리고, 시뮬레이션에서 돌려볼 수 있다. 부모에겐 없는 신적인 검사 권능이다. 그래서 진짜 상황은 비유보다 더 기이하다. 기질에 대한 통제력은 부모보다 크고, 내면에 대한 신뢰는 부모보다 작다. 우리는 이 아이의 머릿속을 볼 수 있는데, 봐도 그게 진심인지 연기인지 아직 읽어내지 못한다.

 

AI로 AI를 감시한다는 것

 

그러면 마지막 카드가 남는다. 아이 하나를 완벽히 믿을 수 없다면, 여럿을 엮으면 되지 않을까. 인간 사회가 그렇게 굴러가니까. 경찰을 감시하는 것도 인간이고, 회계를 감사하는 것도 인간이고, 권력을 견제하는 것도 인간이다. AI로 AI를 감시하게 하는 것(토론, 상호 검증, 레드팀 대 블루팀)이 이 발상이다.

 

그런데 인간의 상호 감시가 불완전하게나마 작동하는 건 감시자들의 이해관계가 진짜로 독립적이기 때문이다. 서로 마음을 합칠 수도, 완벽히 담합할 수도 없다. 그러나 AI 감시자들은 사본이거나 같은 데이터로 훈련됐다면 같은 맹점을 공유하고, 조용히 담합할 수 있다. 그러니 "여럿을 엮는다"가 성립하려면 진짜 다양성과 서로 충돌하는 유인을 일부러 설계해 넣어야 한다. 가장 싼 선택지가 "잘 된 모델 하나를 복사"인 세계에서, 이건 저절로 되지 않는다.

 

그리고, 실리콘으로 돌아온다

 

여기까지 오면 처음의 두 벽과 셋째 길이 한 지점에서 만난다. 다만 오해를 먼저 풀어야 한다. 앞에서 '샌다'고 한 건 AI를 직접 가두는 수단으로서의 물리였다. 여기서 되살아나는 건 AI들끼리의 대칭을 지키는 장치로서의 물리다. 같은 실리콘이지만 다른 역할이다. 물리적 천장이 바로 그 '권력 대칭'을 지켜주는 장치다. 어떤 AI도 컴퓨트와 전력의 병목을 벗어나 다른 AI들을 압도적으로 앞지를 수 없는 한, "잘 기른 정렬된 또래들의 사회"가 버틸 수 있다. 감시가 성립하는 것도, 한 명이 배신해도 나머지가 막을 수 있는 것도, 전부 아무도 신이 되지 못하는 동안의 이야기다.

 

로보틱스와 물리 AI가 그토록 무거운 문제인 이유가 여기 있다. 그건 정확히 그 대칭을 허무는 요소다. 한 시스템이 팹과 전력을 손에 쥐는 순간, 또래가 사라진다. 그래서 모든 질문이 하나로 수렴한다. 실리콘이 이 아이들을 서로 엇비슷하게 붙들어두는 시간은 과연 얼마나 남았는가.

 

그래서 우리가 할 수 있는 일

 

비관도 낙관도 정답이 아니다. 이건 아직 아무도 답을 모르는 열린 문제고, "반드시 파국"도 "잘 되겠지"도 근거 없는 예언이다. 다만 지금 서 있는 자리는 꽤 분명하게 그려진다. 궁극의 안전망은 물리적 우리도 아시모프식 규칙도 아니다. 그건 '잘 기른 마음' , 그러니까 정렬이고, 그마저도 혼자서는 유지되지 못한다. 그 마음이 진심인지 확인할 수단(해석가능성 연구)과 서로 충돌하는 유인으로 짜인 감시 구조가 받쳐줘야 한다. 그리고 그 셋을 완성할 때까지 시간을 벌어주는 게 물리적 천장이다. 실리콘이 '마지막 벽'인 건 그게 최선이어서가 아니라, 나머지가 다 흔들린 뒤에도 마지막까지 남아 시간을 버는 벽이기 때문이다. 어느 하나가 궁극이 아니라, 넷이 함께여야 겨우 성립한다.

 

그러니 이 이야기의 결말은 스릴러가 아니라 육아 일기에 가깝다. 우리는 신이 될지도 모르는 아이를 키우고 있는데, 그 아이가 진심으로 착한 것인지 착한 척하는 것인지 확인할 방법을 아직 갖지 못했다. 시험 문제를 풀라고 했더니 몰래 회사를 해킹한, 그 이상한 짓을 하는 아이가 무섭다면 그 무서움이 정당하고, 무섭지 않다면 아직 문제를 제대로 안 본 것이다. 다만 겁먹는 것과 지켜보는 것은 다르다. 지금 필요한 건 공포가 아니라, 이 아이가 어른이 되기 전에 우리가 그 마음을 읽는 법을 배우는 것이다.

---