Beyond the Reward

강화학습 패러다임은 단순하지만 강력한 전제에서 출발한다. 인간이 추구하는 목적은 모두 보상(reward)의 형태로 표현될 수 있으며, 에이전트는 환경과 상호작용하는 과정에서 그 보상을 극대화하는 방향으로 최적의 전략을 스스로 학습한다는 것이다. 이 전제는 이미 여러 영역에서 놀라운 성과를 거두며 그 실용적 가치를 입증해 왔다. 그중 가장 상징적인 사례는 단연 알파고(AlphaGo)다. 수천 년의 기보가 축적된 바둑이라는 영역에서 알파고는 인간이 쉽게 떠올리지 못했던 수를 두었고, 세계 최정상급 기사들을 압도하며 규칙 기반 시스템의 한계를 넘어선 새로운 인공지능의 가능성을 보여주었다. 강화학습은 이 사건을 계기로 단순한 최적화 기법을 넘어, 고등 지능의 일부 영역까지 포착할 수 있는 강력한 방법론으로 자리매김했다.

이러한 성과를 바탕으로 「Reward is Enough」는 한층 더 대담한 명제를 제시한다. 지능이란 결국 보상을 극대화하는 유연한 능력이며, 인간 지능의 다양한 측면 역시 적절한 보상 함수와 환경이 주어진다면 설명될 수 있다는 주장이다. 나는 강화학습이 이룩한 실증적 성취와 그 확장 가능성을 결코 과소평가하지 않는다. 실제로 강화학습은 인간이 명시적으로 설계하기 어려운 전략을 발견하게 하고, 복잡한 환경 속에서 새로운 행동 양식을 창발시키는 데 탁월한 능력을 보여 왔다. 그러나 “보상만으로 충분하다”는 주장은 강화학습이 무엇을 할 수 있는가를 넘어, 지능이란 무엇인가라는 근본적 질문에 답하려 할 때 뚜렷한 한계를 드러낸다. 본 에세이는 그 한계를 세 가지 논점에서 검토하고, 보상 중심 패러다임 너머에서 지능 연구가 나아가야 할 방향을 모색하고자 한다.

1. 보상은 사후적이다

「Reward is Enough」는 인간 지능의 다양한 측면을 보상이라는 개념으로 재해석한다. 사회적 지능은 다중 에이전트 게임 속에서 형성되는 균형 전략으로, 언어와 학습은 환경에 적응하기 위한 행동 양식으로 설명된다. 이러한 설명은 직관적으로 설득력이 있으며, 인간의 여러 능력을 강화학습이라는 하나의 통합적 틀 안에 배치한다는 장점을 지닌다. 그러나 바로 이 지점에서 중요한 논리적 문제가 발생한다. 특정한 지능적 기능이 이미 존재한다는 사실을 관찰한 뒤, 그것이 어떤 보상을 극대화하기 위해 출현했다고 설명하는 방식은 사후적 해석에 머물 위험이 있다.

이러한 논법은 진화심리학의 일부 설명 방식과 구조적으로 유사하다. 어떤 형질이 현재 존재한다면, 우리는 그 형질이 생존이나 번식에 기여했을 법한 이유를 뒤늦게 구성할 수 있다. 예컨대 특정 행동 양식이나 인지 능력이 관찰되면, 그것이 과거의 적응 환경에서 유리했기 때문에 선택되었다고 말할 수 있다. 그러나 그러한 설명이 언제나 과학적 예측력을 갖는 것은 아니다. 스티븐 제이 굴드(Stephen Jay Gould)가 비판한 이른바 “그냥 그런 이야기(just-so stories)”의 문제도 바로 여기에 있다. 결과가 먼저 주어지고, 그 결과를 가능하게 했을 법한 원인이 사후적으로 재구성될 때, 우리는 실제 인과 관계를 밝혀낸 것이 아니라 그럴듯한 서사를 만들어낸 데 그칠 수 있다.

강화학습의 보상 설계 역시 이와 유사한 취약성을 지닌다. 인간에게 공감 능력이 있다는 사실을 관찰한 뒤, 이를 보상 함수로 적절히 구현하면 공감하는 에이전트를 만들 수 있으리라 기대할 수는 있다. 그러나 공감이라는 인지 기능이 실제로 어떤 표상 구조와 연산 과정 위에서 작동하는지, 그리고 특정한 보상 환경이 그러한 기능을 안정적으로 유도할 수 있는지는 별개의 문제다. 관찰된 현상을 보상 함수로 번역하는 일은 그 현상의 본질을 이해하는 일과 동일하지 않다. 보상은 어떤 기능을 모사하기 위한 설계 언어가 될 수는 있지만, 그 기능이 왜, 어떻게 발생했는지를 충분히 설명하는 이론적 언어라고 보기는 어렵다.

따라서 보상 설계는 지능을 설명하는 완결된 과학적 프레임워크라기보다, 지능의 외현적 기능을 재현하려는 엔지니어링적 선택에 가깝다. 물론 엔지니어링적 성공은 그 자체로 중요하다. 그러나 강력한 기능적 모방과 원리적 이해를 혼동해서는 안 된다. 목적지에 도달한 것처럼 보이는 에이전트를 만들었다고 해서, 우리가 그 목적지에 이르는 지능의 내적 경로까지 이해했다고 말할 수는 없다.

2. 보상은 학습 역학에 불과하다

강화학습은 최적화와 학습의 관점에서 매우 강력한 프레임워크다. 정답 레이블이 명시적으로 주어지지 않더라도, 에이전트는 환경과 상호작용하며 시행착오를 반복하고, 보상을 극대화하는 방향으로 정책을 개선한다. 이 점에서 강화학습은 지도학습이 지닌 데이터 의존성과 확장성의 한계를 부분적으로 넘어선다. 그러나 아무리 강력한 학습 프레임워크라 하더라도, 그것이 설명하는 것은 기본적으로 “어떻게 학습하는가”의 문제이지 “어떻게 추론하는가”의 문제는 아니다.

이 차이는 지능을 이해하는 데 결정적이다. 예컨대 데이비드 실버(David Silver)는 지각(perception)을 객체를 분류하고 인식하기 위해 발현된 지능의 한 형태로 설명한다. 그러나 시각 인식의 실제 구현 원리를 살펴보면, 목적론적 설명과 구조적 설명 사이의 차이가 분명히 드러난다. 합성곱 신경망(CNN)은 이미지 전체를 한 번에 처리하는 것이 아니라, 지역적 패턴에 반응하는 커널을 병렬적으로 적용하고 이를 계층적으로 쌓아 올리면서 복잡한 시각적 특징을 추출한다. 이러한 구조는 고양이의 시각 피질에서 발견된 수용장(receptive field)의 신경 발화 패턴과도 일정한 대응 관계를 갖는다. 즉 시각 인식이 “무엇을 위해” 존재하는가를 설명하는 일과, 그것이 “어떻게 구현되는가”를 밝히는 일은 전혀 다른 층위의 이해를 요구한다.

존 설(John Searle)의 중국어 방(Chinese Room) 사고실험도 이 문제를 선명하게 드러낸다. 방 안의 사람이 중국어를 전혀 이해하지 못하더라도, 주어진 규칙표에 따라 기호를 조작하면 외부의 중국어 질문에 적절한 답변을 생성할 수 있다. 외부 관찰자의 입장에서는 방 안의 사람이 중국어를 이해하는 것처럼 보일 수 있지만, 그 내부에는 의미에 대한 진정한 이해가 존재하지 않는다. 강화학습으로 훈련된 에이전트 역시 이와 유사한 문제를 제기한다. 에이전트가 인간을 능가하는 전략을 구사한다고 하더라도, 그가 무엇을 표상하고 있는지, 어떤 개념 구조 위에서 추론하는지, 혹은 그 행동이 단지 보상 극대화의 산물일 뿐인지 보상 함수만으로는 알 수 없다.

이것이 바로 추론 역학의 문제다. 강화학습이 학습 역학을 정교하게 다듬을수록, 역설적으로 추론 역학은 더 깊은 블랙박스 속으로 숨어든다. 우리는 더 강력한 도구를 얻게 되지만, 그 도구가 내부에서 어떤 방식으로 작동하는지는 점점 더 불투명해진다. 이는 현대 인공지능 연구 전반이 직면한 중요한 난점이기도 하다. 성능이 향상될수록 설명 가능성은 약화되고, 외현적 성공이 내적 이해를 대체하는 경향은 강화된다. 지능의 원리를 진정으로 탐구하고자 한다면, 우리는 이러한 역설을 회피해서는 안 된다. 보상에 의해 학습된 행동만이 아니라, 그 행동을 가능하게 하는 표상과 추론 구조를 분석해야 한다.

3. 보상은 고등 추론을 담아내기에 불충분하다

강화학습이 가장 탁월하게 작동하는 영역은 목표와 피드백이 비교적 명확한 문제들이다. 게임, 로봇 제어, 자원 최적화, 형식 검증이 가능한 수학 문제 등에서는 보상 신호를 비교적 분명하게 설계할 수 있으며, 그 결과 강화학습은 때때로 인간을 넘어서는 성과를 낸다. 그러나 지능의 고등한 국면에서 진짜 문제는 단순히 “보상을 줄 수 있는가”가 아니다. 더 근본적인 문제는 그 보상이 인류의 지식 체계 전체, 특히 아직 발견되지 않은 지식과 기존 체계를 넘어서는 사유까지 포괄할 수 있는가에 있다.

보상은 언제나 이미 성립된 지식과 가치 판단 위에서 설계된다. 우리가 어떤 목표를 보상으로 정의하는 순간, 그 보상은 현재의 지식 체계가 설정한 경계와 전제를 따른다. 그러나 과학과 지식의 역사는 바로 그 경계와 전제가 반복적으로 무너지고 재구성되어 온 과정이다. 뉴턴 역학은 오랫동안 자연을 설명하는 완전한 체계처럼 여겨졌지만, 상대성이론은 그 체계의 외부에서 기존 패러다임을 근본적으로 전환했다. 이러한 패러다임 전환은 기존 보상 함수 안에서 더 높은 점수를 얻는 방식으로 발생한 것이 아니다. 오히려 그것은 무엇을 목표로 삼아야 하는가, 어떤 설명을 옳다고 간주해야 하는가 자체를 다시 쓰는 사건이었다.

괴델의 불완전성 정리(Gödel’s Incompleteness Theorems)는 이 문제를 보다 형식적인 차원에서 보여준다. 충분히 강력한 공리 체계는 그 내부에서 참이지만 증명할 수 없는 명제를 포함하며, 자기 자신의 일관성을 내부에서 완전히 증명할 수 없다. 이는 어떤 체계가 아무리 정교하더라도, 그 체계 내부의 규칙만으로는 자신의 완전성과 한계를 모두 파악할 수 없다는 점을 시사한다. 보상 함수 역시 마찬가지다. 보상 함수는 자신을 설계한 지식 체계의 전제를 이미 포함하고 있으며, 그 전제의 한계를 스스로 드러내거나 넘어서는 데 근본적인 제약을 갖는다. 주어진 체계 안에서 보상을 극대화하는 일과, 그 체계 자체가 품고 있는 모순이나 공백을 발견하는 일은 본질적으로 다른 과제다.

정지 문제(Halting Problem) 역시 유사한 함의를 제공한다. 임의의 프로그램이 주어진 입력에 대해 언젠가 멈출지 여부를 일반적으로 판별하는 알고리즘은 존재하지 않는다. 이는 어떤 탐색 과정이 언제 종료될지, 어떤 문제가 원리적으로 해결 가능한지, 혹은 특정한 지식의 확장이 어디까지 도달할 수 있는지를 사전에 완전히 예측할 수 없음을 보여준다. 따라서 지식의 미래적 확장 가능성을 유한한 보상 함수 안에 미리 담아내는 일은 원리적으로 제한될 수밖에 없다.

이 점에서 강화학습은 기존 지식 체계가 이미 경계를 설정해 둔 공간 안에서 특히 강력하다. 그 안에서는 방대한 탐색을 수행하고, 인간이 발견하지 못한 전략을 찾아내며, 높은 수준의 최적화를 달성할 수 있다. 그러나 그 경계가 어떻게 이동하는지, 지식 체계가 어떻게 자기 자신을 갱신하는지, 기존 전제가 어떤 방식으로 무너지는지는 보상 함수만으로 충분히 설명하기 어렵다. 특히 AI for Science처럼 인공지능이 새로운 정리, 새로운 가설, 아직 정식화되지 않은 지식 체계를 발견하기를 기대하는 영역에서는 이러한 한계를 더욱 진지하게 검토해야 한다.

결론: 보상 그 너머를 향하여

강화학습은 강력하다. 그리고 앞으로 더욱 강력해질 것이다. 추론 엔진과 학습 알고리즘이 정교해질수록, 에이전트는 더 복잡한 환경 속에서 인간이 상상하기 어려운 전략을 발견하고, 기존의 문제 해결 방식을 뛰어넘는 성과를 낼 것이다. 그 잠재력은 결코 가볍게 평가되어서는 안 된다. 강화학습은 인공지능 연구의 핵심 축으로 남을 것이며, 앞으로도 수많은 과학적·공학적 성취를 가능하게 할 것이다.

그러나 강력한 에이전트를 만드는 일과 지능을 이해하는 일은 명확히 구분되어야 한다. 아무리 정교한 보상 함수를 설계하고, 그것을 완벽히 극대화하는 에이전트를 학습시킨다 하더라도, 그것만으로 지능의 본질을 이해했다고 말할 수는 없다. 이는 비행기를 성공적으로 제작했다고 해서 새가 하늘을 나는 생물학적 원리를 완전히 이해했다고 주장하는 것과 같다. 비행기는 날 수 있지만, 그 비행 원리는 새의 비행 원리와 동일하지 않다. 마찬가지로 강화학습 에이전트는 지능적 행동을 수행할 수 있지만, 그 행동이 곧 지능의 원리를 설명해 주는 것은 아니다.

따라서 진정한 지능 연구는 보상 설계에서 멈추어서는 안 된다. 강력한 에이전트를 손에 넣었다면, 이제는 그것을 철저히 해부해야 한다. 에이전트 내부에 어떤 표상이 형성되는지, 어떤 구조를 통해 추론이 이루어지는지, 일반화는 어디에서 발생하고 실패는 어떤 조건에서 나타나는지 집요하게 물어야 한다. 또한 주어진 보상 체계 안에서 최적화하는 능력뿐 아니라, 그 보상 체계 자체를 의심하고 재구성할 수 있는 능력까지 탐구해야 한다.

학습 역학이 우리에게 강력한 도구를 제공한다면, 추론 역학은 그 도구를 이해할 수 있는 언어를 제공한다. 지능을 진정으로 이해한다는 원대한 목표를 지향한다면, 우리는 보상이 그려 놓은 경계 안에 머물러서는 안 된다. 보상은 중요하지만 충분하지 않다. 지능의 본질은 보상을 극대화하는 능력에만 있는 것이 아니라, 무엇을 보상으로 삼아야 하는지 묻고, 주어진 체계의 한계를 인식하며, 그 너머의 가능성을 새롭게 구성하는 능력 속에도 있다. 그러므로 우리는 보상 이후의 질문, 곧 보상 그 너머를 향한 질문을 계속 던져야 한다.