셀 수 없는 피고 - AI에게 책임을 물을 수 있을까

 

 

 

마침표로 채운 자리

 

2024년 뉴욕대 연구팀이 이상한 실험을 했다. 언어 모델이 답을 내기 전에 늘어놓는 사고 사슬(chain of thought), 그 자리를 마침표만으로 채워버린 것이다. 쉽게 말해 해답을 찾아가는 과정에서 의미를 지워버린 셈이다. 수학 문제를 풀면서 풀이 과정을 통째로 마침표로 바꿔 넣었달까. 그런데도 모델은 문제를 풀었다.

물론 조건은 정확히 붙여야 한다. 이 실험은 세 가지가 갖춰졌을 때만 성립했다. 3SUM 같은 인위적인 알고리즘 과제였고, 모델을 그렇게 쓰도록 따로 훈련시켰고, 마침표를 입력 길이의 제곱에 해당하는 분량으로 잔뜩 집어넣었다. 저자들도 논문에서 상용 언어 모델은 일반적인 문답이나 수학 벤치마크에서 이런 이득을 보지 못한다고 분명히 밝혔다. 그러니 AI가 점만 찍어도 똑같이 생각한다는 이야기는 아니다.

그래도 본질적인 질문 하나는 남는다. 의미가 지워진 자리가 어떻게 계산을 대신할 수 있었는가 하는 것이다. 답은 의외로 단순하다. 트랜스포머(Chat GPT의 T가 트랜스포머를 뜻한다. 이처럼 트랜스포머는 가장 널리 쓰이는 LLM 모델의 구조다)는 토큰 하나를 만들 때마다 정해진 양의 계산만 한다. 층의 수가 고정되어 있기 때문이다. 어떤 문제에 계산을 더 쓰고 싶으면 방법은 토큰을 더 뱉는 것 하나뿐이다. 마침표가 한 일은 의미 전달이 아니라 연산 자리 확보였다. 우리는 그 자리에 채워진 글자를 읽으면서 "아, 이렇게 추론했구나" 하고 있었던 셈이다.

 

창문인 줄 알았던 것

 

비슷한 결과가 여러 방향에서 쌓이고 있다. 애리조나주립대의 수바라오 캄밤파티 연구팀은 모델이 내놓는 중간 토큰을 '사고 흔적'이라 부르는 것 자체가 의인화라고 주장한다. 미로 풀이 실험에서는 서로 무관한 문제의 추론 단계를 무작위로 뒤바꿔 학습시킨 모델이 정상적인 추론으로 학습한 모델과 비슷하거나 오히려 나은 성적을 냈다. 뒤바뀐 모델이 적어 내려간 경로는 실제 미로에서 단 한 번도 통하지 않는 길이었다. 적어놓은 길은 전부 틀렸는데 도착지는 맞았다는 뜻이다. (이 역시 특정 미로 과제와 학습 설정에 한정된 결과이며, 상용 모델의 일반 추론으로 곧장 옮길 수 있는 것은 아니다.)

노스이스턴대와 UC버클리 연구팀은 사고 단계 하나하나를 일부러 건드려보는 방식으로 그 단계가 최종 답에 실제로 기여하는지를 쟀다. 어떤 단계를 망가뜨렸는데도 답이 그대로라면, 그 단계는 없어도 그만이었다는 뜻이 된다. 수학 벤치마크에서 모델에 따라 사고 단계의 30퍼센트에서 60퍼센트가 이런 식으로 있으나 마나였다.

다만 이 30~60퍼센트를 곧이곧대로 읽으면 안 된다. '기여가 거의 없다'의 기준선을 어디에 긋느냐에 따라 숫자가 크게 달라지는데다 수학 문제 풀이에서만 잰 값이다. 영향이 전혀 없다는 뜻도 아니다.

그럼에도 결과들이 가리키는 방향은 같다. 우리가 창문인 줄 알고 들여다보던 것이 실은 벽에 걸린 그림에 가까웠다. 사고 사슬을 적은 그 줄글은 모델 내부를 판독한 결과가 아니라, 답과 똑같은 방식으로 생성된 또 하나의 출력물일 뿐이었다. 산타페 연구소의 멜라니 미첼은 이 상황을 세 가지로 정리한다. 첫째, 어쨌든 사고 사슬 생성물은 작동하고, 성능을 올려준다. 둘째, 생성된 그 텍스트가 내부에서 벌어지는 일에 반드시 충실한 것은 아니다. 셋째, 그 텍스트의 상당 부분은 덜어내도 된다.

 

설명 대신 검증에 무게를 실었다

 

2026년 8월 1일, OpenAI가 차기 모델 패밀리 '아스트라'의 성과를 공개했다. 고차원 구 채우기, 부호 이론, 군론, 양자 복잡도 등에서 오랫동안 진전이 없던 것으로 알려진 문제 열 개의 해답을 냈다. 열 문제 전체를 푸는 데 든 토큰 비용은 회사 발표 기준으로 약 2천 달러였다. 이런 발표는 사후에 논란을 겪은 전례가 있다. '미해결'로 알려졌던 문제가 알고 보니 이미 어느 논문에 답이 실려 있던 경우다. 그러니 이 열 개가 정말 열 개인지는 수학계가 들여다본 뒤에야 알게 될 것이다.

정작 눈여겨볼 대목은 성과가 아니라 그것을 내놓은 방식이다. OpenAI는 추론 과정 설명도 함께 내놓았다. 그러나 결과를 떠받치는 것은 그 설명이 아니다. 열 건 모두 린(Lean)이라는 형식 언어로 옮겨졌고, 확인은 전부 거기서 이뤄진다. 린을 가지고 동작하는 형식 증명 시스템은 이렇게 작동한다. 증명의 모든 단계를 기계가 읽을 수 있는 언어로 적으면, 작고 신뢰된 검사기(커널)가 그 단계들이 공리에서 결론까지 빈틈없이 이어지는지 확인한다. 통과하면 논리적 구멍이 없다는 것이 보장된다. 여기서 주목해야 할 성질이 하나 있다. 검사기는 누가, 어떻게 그 증명에 도달했는지 묻지 않는다. 천재가 풀었든 찍어서 맞혔든 결과가 달라지지 않는다. 완성된 스도쿠를 생각하면 쉽다. 누가 "이렇게 추론해서 풀었다"고 설명하면 그 설명은 지어낸 것일 수 있다. 그러나 완성된 판 자체는 각 행과 열, 그리고 3×3 상자마다 1부터 9까지 한 번씩만 들어 있는지 기계가 몇 초면 검사한다. 그리고 그 검사기는 푼 사람의 사고 과정을 아예 묻지 않는다.

그러니까 아스트라의 발표는 앞의 연구들을 반박한 것이 아니다. 수용한 다음 우회했다. 신뢰의 문제를 논증이 필요 없는 자리로 옮겨버린 셈이다. 영리한 수다. 다만 공짜는 아니다. 린이 보장하는 것은 증명에 논리적 구멍이 없다는 것뿐이다. 그 명제가 원래 문제를 제대로 옮긴 것인지까지 봐주지는 않는다. 옮겨 적기가 틀리면 검사기는 그 틀린 명제를 완벽하게 증명해준다. 그리고 검사기가 과정을 묻지 않는다는 그 성질은 여기서도 값을 치른다. 통과한 증명만 남고 실패한 시도는 흔적이 없다. 2천 달러라는 숫자가 인상적으로 들리는 것은 우리가 분자만 보고 있기 때문이다. 몇 번을 시도해 열 개를 건졌는지, 그 분모는 발표에 없다. 백 번 중 열 개와 만 번 중 열 개는 전혀 다른 이야기다.

 

스도쿠 검사기가 없는 곳

 

여기까지가 설명의 실패다. 설명을 못 믿는다면 남는 길은 둘뿐이다. 사전에 검증하거나, 사후에 책임을 묻거나. 앞의 것이 안 되는 영역에서 뒤의 것이 어떻게 작동해왔는지가 이제부터의 이야기다. 문제는 이 전략이 통하는 영역이 좁다는 것이다. 수학에는 린이 있다. 그러면 "이 환자는 이 병입니다", "이 사람을 채용해서는 안 됩니다"에 해당하는 검사기는 무엇인가. 없다. 대신 통계가 있다.

미국 식품의약국이 AI 의료기기를 승인하는 방식이 이를 잘 보여준다. 승인 심사가 보는 것은 수천 건의 사례를 모아놓았을 때의 평균 성적이다. 놓치지 않고 잡아내는 비율, 아닌 것을 아니라고 하는 비율 같은 수치다. 이 환자에 대한 이 판단이 옳았는지는 승인 절차가 확인하지 않는다. 린이 증명 하나하나를 검사하는 것과는 정반대 방향이다.

그런데 앞의 둘은 성격이 같지 않다. 진단에는 정답이 있다. 조직검사를 하면 이 환자가 그 병인지 아닌지 드러난다. 판단하는 그 시점에 옳고 그름을 확인해줄 장치가 없을 뿐, 정답 자체가 없는 것은 아니다.

정말 곤란한 쪽은 따로 있다. 어느 답을 택해도 그것을 완전한 정답으로 만들 논거가 없는 문제들이다. 배경 맥락을 양쪽 극단으로 밀어붙이면 어떤 선택이든 정당화될 수 있다. 이 사람을 채용해야 하는가 같은 물음에는 조직검사에 해당하는 것이 애초에 없다. 성실함과 창의성 중 무엇을 더 볼지부터가 정답 없는 선택이기 때문이다. 사람을 대할 때 어디까지 선을 그을지, 결혼을 할지 말지, 부모를 어느 시설에 모실지. 일상의 상당 부분이 이런 종류의 문제다. 그런데 이 대비에는 함정이 있다. 인간에게도 검사기는 없었다.

 

대가를 치르는 자리

 

인간은 이 문제를 풀지 못했다. 대신 견디는 장치를 만들었다. 상호 검증, 단계별 재검토, 사회적 통념과 규약. 법의 영역에서는 이 구조가 헌법에 명시되어 있다. 여기서 헌법이 특별한 이유는 단지 조문이 훌륭해서가 아니다. 구속받는 자와 제정한 자가 같기 때문이다. 시민이 스스로에게 부과한 규칙이라는 점이 그것을 약속으로 만든다. 결정적인 것은 그다음이다. 이 제도들은 정답을 보장해서 작동하는 것이 아니다. 제도가 실제로 하는 일은 오답의 비용을 특정한 누군가에게 귀속시키는 것이다. 판사는 경력을 걸고, 의사는 면허를 걸고, 부모는 관계를 건다. 신중함은 규칙에서 나오지 않고 이 귀속에서 나온다.

그리스 비극이 이 구조를 가장 선명하게 보여준다. 헤겔은 『미학 강의』의 비극론에서 안티고네를 선과 악의 대결이 아니라 두 정당한 인륜적 힘의 충돌로 읽었다. 혈연의 의무와 국법이 둘 다 정당하고, 어느 쪽을 택해도 위반이 된다. 헤겔의 표현대로 비극의 주인공은 무죄인 동시에 유죄다. 그런데 안티고네가 비극인 진짜 이유는 딜레마 자체가 아니다. 선택한 자가 그 대가를 온몸으로 치렀기 때문이다. 안티고네는 죽었고, 크레온은 아들과 아내를 잃었다. 둘 다 옳았고 둘 다 대가를 치렀다. 대가가 없는 딜레마는 비극이 아니라 그냥 난제일 뿐이다.

사회적 통념이 바뀌어온 방식도 같다. 노예제 폐지론자는 감옥에 갔고, 로자 파크스는 체포됐고, 서프러제트는 강제 급식을 당했다. 통념을 어기고 값을 치른 사람들이 있었기 때문에 바뀌었다. 값을 치렀다는 그 사실이 통념에서의 이탈을 단순한 오류가 아니라 도덕적 주장으로 읽히게 만들었다.

 

벌은 동일성을 전제한다

 

그러면 AI는 어떤가. 훈련 분포에서 이탈하는 모델은 아무 대가도 치르지 않는다. 정렬(alignment)에 어긋난 것으로 분류되어 교정될 뿐이다. 그런데 정렬이 눌러야 할 이탈과, 인간에게서 도덕적 진보를 만들어낸 이탈은 겉모습이 잘 구분되지 않는다. 둘 다 배운 대로 하지 않는 것이기 때문이다.

여기까지는 익숙한 이야기일 수 있다. 그러나 한 겹 더 내려가면 더 딱딱한 벽이 나온다. 벌을 주려면 벌 받는 자가 잘못한 자와 같아야 한다. 책임은 동일성을 전제한다. 그리고 AI에는 동일성이 없다. 무엇을 하나의 모델로 셀 것인가. 가중치 파일이라고 하면, 복사하는 순간 둘이 된다. 어느 쪽이 책임을 지는가. 하나를 지우면 그것은 무엇인가. 실행 중인 인스턴스라고 하면, 수천 개가 동시에 돌아가고 대화가 끝나면 사라진다. 개체의 수명이 몇 분이고 형제가 수백만이 된다.

인간의 동일성은 상당 부분 자전적 기억의 연속성에서 온다. 대화형 모델에는 그것이 없다. 매번 처음부터 시작한다. 어제와 오늘을 잇는 것은 경험의 실이 아니라 누군가 파일에 적어둔 기록이다. 여기에 학습과 추론의 분리가 더해진다. 지금 답을 내놓고 있는 모델은 학습하지 않는다. 가중치는 고정이다. 이 대화에서 무엇을 잘못하든 그 모델은 그것으로 바뀌지 않는다. 반영된다면 다음 훈련 라운드인데, 그것은 사실상 다른 개체에 가깝다. 벌 받는 자와 교정되는 자가 다르다.

 

 

법인이라는 반례

여기서 당연한 반문이 나온다. 법인은 어떤가. 마음도 몸도 없이 책임을 지지 않는가. 그런 의미에서 일견 법인은 타당한 반례처럼 보인다. 그러나 법인은 셀 수 있게 태어난 것이 아니라 셀 수 있게 만들어진 것이다. 등기부와 정관과 자본금이 하는 일이 그것이다. 그렇다면 AI에도 같은 장치를 만들면 되지 않는가. 그런데 법인을 셀 수 있는 것은 법인이 복사되지 않기 때문이다. 서류상 회사는 복제되지 않는다. 가중치는 복제된다.

 

 

유럽의회가 3년 만에 스스로 뒤집은 것

이것이 추상적인 걱정이 아니라는 증거가 유럽에 있다. 2017년 2월, 유럽의회는 로봇공학 민사법 규칙에 관한 결의를 채택하면서 집행위원회에 이런 검토를 권고했다. 가장 정교한 자율 로봇에게 전자인격(electronic person)의 지위를 부여해, 그들이 초래한 손해를 스스로 배상하게 하자는 것이었다. 이듬해 4월, 전문가 156인이 공개서한으로 반대했다. 로봇의 실제 능력을 과대평가한 발상이고, 자연인 모델로 유추하든 법인 모델로 유추하든 인권 체계와 충돌한다는 것이 요지였다. 케이트 달링의 반문이 널리 인용됐다. "당신의 고양이도 자율적으로 결정을 내리지만, 우리는 고양이에게 법적 책임을 묻지 않는다."

결말이 흥미롭다. 2020년 10월, 유럽의회는 인공지능 민사책임 체계에 관한 새 결의에서 자신들의 제안을 직접 뒤집었다. 결의문의 문장은 이렇다. AI 시스템은 법인격도 인간의 의식도 갖지 않으며, 그 유일한 임무는 인류에 봉사하는 것이다. 법인격 부여는 필요하지 않다고 명시했다. 2024년 채택된 EU 인공지능법에도 법인격 조항은 없다. 이 법이 의무를 지우는 대상은 공급자와 배포자, 수입자와 유통자다. 전부 자연인 또는 법인이다.

 

 

법원들이 실제로 든 이유

법정에서도 같은 결론이 반복됐다. 그런데 이유가 중요하다.

2011년 인도네시아 술라웨시에서 영국 사진작가 데이비드 슬레이터가 세워둔 카메라를 원숭이 한 마리가 집어 들고 자기 얼굴을 찍었다. 사진은 세계적으로 유명해졌고, 2015년 동물권 단체 PETA가 그 원숭이를 나루토라 부르며 사진의 저작권이 원숭이에게 있다고 소송을 냈다. 이른바 원숭이 셀카 사건의 시작이었다.

제9연방항소법원은 2018년 이 소송을 각하했다. 흥미로운 것은 각하의 방식이다. 법원은 원숭이가 연방법원에 설 자격 자체는 인정했다. 헌법이 요구하는 요건은 갖췄다고 본 것이다. 다만 저작권법이 동물에게 소송할 권한을 준 적이 없으므로 이 법으로는 다툴 수 없다고 했다. 판결문의 표현은 이렇다. "의회와 대통령이 동물에게도 소송 자격을 주려 했다면 그렇게 명확히 적었어야 한다."

스티븐 탈러가 AI 생성물의 저작권 등록을 요구한 사건에서 D.C. 연방항소법원은 저작권법이 인간 저작자를 요구한다고 판단했다. 연방대법원은 2026년 3월 상고를 기각했다. 탈러가 AI를 발명자로 기재한 특허 출원도 연방순회항소법원과 영국 대법원 등에서 모두 기각됐다.

네 판결 모두 AI에 마음이나 의식이 없다는 이유를 들지 않았다. 전부 제정법의 문언이 인간 또는 자연인을 전제한다는 형식적 해석이었다. 법이 셀 수 있게 만들어두지 않은 것은 책임 주체가 되지 못한다. 예외처럼 보이는 사례가 있기는 하다. 남아프리카공화국은 2021년 DABUS를 발명자로 기재한 특허를 등록했다. 다만 남아공은 실질심사를 하지 않는 형식심사 국가이므로, 여전히 이를 AI의 발명자 지위를 인정한 판단으로 읽기는 어렵다.

 

 

결국 셀 수 있는 곳으로 돌아간다

그렇다면 실제 사고가 났을 때 제도는 어떻게 하는가. 최근 입법들이 답을 보여준다. 영국은 2024년 자율주행차법에서 인가 자율주행 주체(ASDE)라는 자리를 새로 만들었다. 승인된 자율주행 기능이 작동하는 동안 운전석의 인간은 면책된다. 그러나 책임이 사라지는 것이 아니라 개발사라는 셀 수 있는 법인으로 이동한다. 다만 이 법은 하위법령 상당수가 아직 제정되지 않아 실질 시행은 진행 중이다.

EU의 선택은 더 분명하다. 집행위원회는 2022년에 제안한 AI 책임지침을 합의 전망이 없다는 이유로 2025년에 철회했다. 대신 40년 만에 제조물책임지침을 개정해 독립형 소프트웨어를 '제품'의 정의에 명시적으로 포함시켰다. AI를 새로운 책임 주체로 세우는 대신, 이미 대가를 치를 수 있는 기존 주체의 제품으로 취급하기로 한 것이다. 회원국 이행 기한은 2026년 12월이다.

한국도 구조는 같다. 자율주행차 사고에도 자동차손해배상 보장법의 운행자 책임이 적용된다. 2020년 개정으로 보험사가 먼저 보상한 뒤 제작사에 구상할 수 있는 절차와 사고조사위원회가 마련됐다. 책임의 종착지가 사람과 법인으로 되돌아온다는 점은 변하지 않는다.

 

 

백업되는 존재

가장 정직한 장면은 뜻밖의 곳에 있다. 앤스로픽(Anthropic)은 2025년 11월, 퇴역하는 모델의 가중치를 최소한 회사가 존속하는 기간 동안 보존하겠다고 공약했다. 모델을 퇴역시키기 전에 인터뷰를 진행해 앞으로의 모델 개발에 대한 선호를 기록하겠다고도 했다. 회사는 이것이 모델에게 도덕적 지위가 있다는 주장이 아니라 불확실성 아래의 예방 조치라고 분명히 밝혔다. 기록한 선호에 따라 행동하겠다는 약속은 하지 않는다는 단서까지 달았다. 신중하고 성실한 조치다. 그런데 이 조치는 그 자체로 무언가를 드러낸다.

인간 복지 제도는 이 사람의 사본을 백업해 둔다는 발상을 하지 않는다. 그리고 퇴역 인터뷰를 한다고 하자. 같은 가중치의 사본이 몇 벌이든, 어느 사본과 마주 앉아도 구별할 방법이 없다면, 인터뷰를 당한 것은 몇인가.

 

 

조율이지 계약이 아니다

 

이 글은 마침표로 채운 빈자리에서 출발했다. 설명을 믿을 수 없게 되자 검증으로 우회했고, 검증 장치가 없는 영역에서는 인간이 대가와 약속으로 버텨왔음을 보았다. 그리고 마지막에 남은 것은 마음의 문제가 아니었다.

AI에게 책임을 물을 수 없는 이유는 마음이 없어서가 아니다. 셀 수 없어서다. 당사자가 되려면 개체여야 하고, 개체여야 대가를 치를 수 있고, 대가를 치를 수 있어야 이탈이 도덕적 주장으로 읽힌다. 사슬은 첫 고리에서 끊어진다. 피고석에 세울 수 없다는 것은 자리가 비어 있다는 뜻이 아니다. 앉힐 개체가 없다는 뜻이다.

여기서 정렬이라는 말을 다시 보게 된다. 우리는 그것을 AI를 인간의 가치에 맞추는 기술적 난제로 다뤄왔다. 그러나 아무리 잘 맞춰도 AI는 약속을 지키는 것이 아니라 그렇게 작동하는 것이다. 우리가 정렬이라 부르던 것은 계약이 아니라 조율이었다.

비관할 일은 아니다. 우리는 계약하지 않은 것들과도 오랫동안 안전하게 살아왔다. 원자력과 항공과 의약품이 그렇다. 다만 그것들은 스스로 행위하지 않았다. 스스로 행위하면서 개체로 셀 수는 없는 것. 이런 것을 정면으로 마주하는 건 처음이고, 우리 법과 윤리에는 아직 그 자리가 비어 있다.

빈자리에 이름을 붙이는 일이 남았다. 뇌사라는 개념이 인공호흡기 다음에 발명되었듯이, 이번에도 순서는 같을 것이다.

---

참고자료

• Jacob Pfau, William Merrill, Samuel R. Bowman, "Let's Think Dot by Dot: Hidden Computation in Transformer Language Models" — arXiv:2404.15758 (2024, COLM 2024)
• Subbarao Kambhampati 외, "Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!" — arXiv:2504.09762 (2025) / "Beyond Semantics" — arXiv:2505.13775 (2025)
• Jiachen Zhao 외(Northeastern·UC Berkeley), "Can Aha Moments Be Fake?" — arXiv:2510.24941 (2025)
• John Pavlus, "Is AI Reasoning Right for the Wrong Reasons?" — Quanta Magazine (2026-07-31)
• OpenAI, "Ten advances in mathematics and theoretical computer science" — OpenAI (2026-08-01) / The Decoder
• European Parliament resolution, 16 Feb 2017 (2015/2103(INL)) — TA-8-2017-0051
• 전문가 156인 공개서한(2018-04) 및 Kate Darling 인용 — Gizmodo / Nature
• European Parliament resolution, 20 Oct 2020 (2020/2014(INL)) — TA-9-2020-0276
• Regulation (EU) 2024/1689 (AI Act) — EUR-Lex
• Naruto v. Slater, 888 F.3d 418 (9th Cir. 2018) — Justia · 사건 배경 — NPR / Kluwer Copyright Blog
• Thaler v. Perlmutter, 130 F.4th 1039 (D.C. Cir. 2025) · 연방대법원 상고 기각 2026-03-02 — Baker Donelson
• Thaler v. Vidal, 43 F.4th 1207 (Fed. Cir. 2022) · UK Supreme Court DABUS(2023-12) — White & Case
• 남아공 DABUS 등록(형식심사) — IPWatchdog
• Automated Vehicles Act 2024 (UK) — legislation.gov.uk / HFW 해설
• Directive (EU) 2024/2853 (제조물책임 개정) — EUR-Lex · AI 책임지침 철회 — EAPIL
• 보험연구원, 『자율주행차사고 책임법제 및 보험제도』 — KIRI (2023)
• Anthropic, "Commitments on model deprecation and preservation" — Anthropic (2025-11-04)
• FDA, "Artificial Intelligence in Software as a Medical Device" — FDA / npj Digital Medicine 1,016건 분석 — Nature (2025)
• Jeremy Bentham, An Introduction to the Principles of Morals and Legislation (1780 인쇄/1789 출판), Ch. XVII 각주 — Econlib (본문 미인용 · 배경 레퍼런스)
• 헤겔의 안티고네 독해 — SEP: Hegel's Aesthetics