애플 AI '추론 붕괴' 논란과 반박, 진짜 한계는 어디인가?

 

2025년 AI 연구, 왜 '추론 붕괴' 논란이 뜨거운가?

애플 AI 논문 공식 arXiv 바로가기

 

2025년, AI 업계는 한 편의 논문으로 발칵 뒤집혔습니다. 애플의 연구진이 발표한 “The Illusion of Thinking” 논문이 바로 그 주인공이죠. 이 논문은 최신 대형 추론 모델(LRM)들이 복잡한 퍼즐 문제에서 갑자기 성능이 바닥을 친다고 선언하며, “AI는 진짜 생각하지 않는다”는 도발적인 결론을 내렸습니다.

그런데, 이 논문이 던진 파문은 단순한 기술 논쟁을 넘어, 우리가 AI의 ‘지능’을 어떻게 정의하고 평가해야 하는지에 대한 근본적인 질문으로 번지고 있습니다. 과연 AI는 진짜로 ‘생각’을 못하는 걸까요, 아니면 우리가 그 능력을 제대로 재지 못하고 있는 걸까요?

애플의 실험, 무엇을 어떻게 평가했나?

애플 연구진은 타워 오브 하노이, 블록스 월드, 강 건너기, 체커 점프 등 고전적인 추론 퍼즐 4가지를 선정해, 오픈AI, 구글, 앤트로픽 등 주요 AI 모델들의 ‘추론력’을 측정했습니다.

이 퍼즐들은 단계가 늘어날수록 난이도가 기하급수적으로 상승하는 특징이 있습니다. 연구진은 단순히 정답만 보는 것이 아니라, 중간 사고 과정(Chain-of-Thought)까지 꼼꼼히 분석했죠.

결과는 충격적이었습니다. 퍼즐이 조금만 복잡해져도, 모델들의 정답률이 급락하고, 사고 과정의 길이(토큰 수)도 오히려 줄어들었습니다. 연구진은 이를 두고 “모델이 문제를 포기하고, 사실상 생각을 멈춘다”고 해석했습니다.

Lawsen의 반격: 진짜 문제는 '평가 방식'?

하지만, 여기서 반전이 등장합니다. 독립 연구자 Alex Lawsen과 AI 모델 Claude Opus가 공동 저자로 참여한 “The Illusion of the Illusion of Thinking” 논문이 등장하며, 애플의 결론에 정면으로 반박하고 나선 것이죠.

Lawsen의 핵심 비판 세 가지

• 토큰 한계 무시: 타워 오브 하노이 8단 이상 문제에서 모델이 실패한 것처럼 보이지만, 실제로는 출력 토큰 한도(예: 128,000토큰)에 먼저 도달해 중단된 경우가 많았습니다. 심지어 모델이 “토큰 절약을 위해 여기서 멈춥니다”라고 직접 언급하기도 했죠.
• 불가능한 퍼즐도 실패로 간주: 강 건너기 퍼즐의 경우, 수학적으로 불가능한(예: 6쌍 이상, 보트 용량 부족) 문제까지 포함시켜, 모델이 “불가능하다”고 답하면 오히려 실패로 처리했습니다.
• 평가 스크립트의 한계: 애플은 무조건 ‘모든 이동을 나열’해야만 정답으로 인정했습니다. 하지만 토큰 한계로 인해 불가피하게 중단된 경우도 모두 ‘추론 실패’로 간주해, 실제 사고력과 무관하게 점수가 깎였습니다.

“문제는 LLM이 생각을 못하는 게 아니라, 우리가 ‘생각’과 ‘타이핑’을 구분 못하는 평가 방식을 쓴다는 데 있다.”
— Alex Lawsen, 2025

실험을 바꿔보니, 결과도 달라졌다

Lawsen은 퍼즐의 해답을 ‘모든 이동 나열’ 대신, 코드 함수(예: Lua 함수)로 압축해서 출력하도록 실험을 재설계했습니다. 그 결과, 기존에 8단 이상에서 ‘완전 붕괴’라던 모델들이 15단 문제까지도 무난히 해결하는 모습이 관측됐습니다.

예를 들어, 10단 하노이 문제는 1,023번의 이동이 필요하고, 각 이동 설명에 약 10토큰이 소모됩니다. Claude 3.7 Sonnet(128,000토큰 한도)이나 DeepSeek R1(64,000토큰 한도) 등 최신 모델도 물리적으로 모든 이동을 나열할 수 없는 구조였던 셈이죠.

즉, 실제 추론 능력과 출력 한계(토큰 한도)를 구분하지 않은 평가 방식이 ‘붕괴’라는 착시를 불러왔다는 것이 Lawsen의 주장입니다.

이 논쟁이 AI 평가에 남긴 것들

이번 논란은 AI 평가의 본질을 다시 묻는 계기가 되었습니다.

1. 실험 설계의 중요성: 퍼즐이 실제로 풀 수 있는 문제인지, 그리고 평가 방식이 현실적인지 꼼꼼히 따져야 합니다.
2. 출력 한계와 사고력 구분: 토큰 한도 등 물리적 제약과 진짜 추론 실패를 구분하는 평가 기준이 필요합니다.
3. 다양한 해답 표현 허용: 모든 이동을 나열하는 대신, 코드나 규칙 등 압축된 형태의 해답도 인정하는 유연성이 요구됩니다.

“AI가 정말 생각하는지 아닌지보다, 우리가 그 생각을 어떻게 검증할 것인지가 더 중요한 시대가 왔다.”

결론 및 통찰
2025년 기준, AI의 ‘지능’ 논쟁은 기술적 한계보다도 평가의 한계에서 비롯되는 경우가 많습니다. 애플의 논문은 우리에게 AI의 진짜 한계를 묻는 동시에, 평가 방식의 중요성을 일깨워줬죠.

앞으로 AI 연구는 단순한 정답 맞히기를 넘어, 사고 과정의 질, 문제의 구조, 그리고 평가의 공정성을 균형 있게 고려해야 할 것입니다. 여러분도 AI가 내놓는 답을 볼 때, “이게 정말 틀린 건가, 아니면 우리가 제대로 재지 못한 걸까?” 한 번쯤 생각해보는 건 어떨까요?

 

세계 최초, 원자 한 층 두께의 2D 컴퓨터가 열어갈 미래

 

아마존·월마트, 스테이블코인 도입 추진! 글로벌 결제 혁신의 신호탄?

 

2025년 비자·마스터카드 주가 급락, 스테이블코인 위협과 투자 기회 분석

 

이스라엘-이란 공습과 호르무즈 해협: 2025년 중동발 에너지 위기와 글로벌 파장

 

2025년 미국 관세정책 변화, 한국 수출기업이 살아남는 법