효율의 극한에서 발견한 사회라는 계산 구조

Q. 언어는 너무 비효율적인 것 아닌가?

사람은 언어를 통해 생각을 전달한다. 하지만 LLM은 이미 내부적으로 의미를 벡터 형태로 표현하고 있다. 그렇다면 굳이 자연어로 펼쳤다가 다시 압축할 필요가 있을까?

최근에는 실제로 Hidden State나 Latent Space를 직접 전달하는 연구가 등장하고 있다. 사람에게는 언어가 필요하지만, AI끼리는 더 효율적인 프로토콜을 사용할 수 있을지도 모른다.

Q. 그렇다면 미래에는 언어가 사라질까?

꼭 그렇지는 않을 것 같다.

언어는 단순한 전달 수단이 아니다. 모호함과 해석의 여지를 남긴다. 그 과정에서 예상하지 못했던 연결과 새로운 아이디어가 탄생하기도 한다.

정확한 협업에는 Latent Communication이 유리할 수 있지만, 창의적인 탐색에서는 자연어가 오히려 장점일 수도 있다.

Q. 그렇다면 “하나의 거대한 뇌”가 가장 이상적인 형태 아닐까?

직관적으로는 그렇다.

하지만 모든 구성원이 항상 같은 정보를 공유한다면, 다양한 가설이 오래 살아남기 어렵다.

인간 사회는 오히려 서로 다른 기억과 경험을 유지하기 때문에 새로운 아이디어가 나타난다.

효율성과 다양성은 때로 서로 긴장 관계에 있다.

Q. 그렇다면 사회를 거대한 뇌 안에 구현하면 되지 않을까?

흥미로운 질문이다.

만약 사회가 단순히 여러 개체의 집합이 아니라 특정한 정보 흐름 구조라면, 하나의 시스템 안에서도 구현할 수 있을지 모른다.

하지만 그렇게 하려면 일부러 독립성을 유지해야 한다.

• 메모리를 분리하고,
• 통신을 제한하고,
• 서로 다른 목표를 부여하고,
• 때로는 오해와 지연까지 허용해야 한다.

결국 “하나의 뇌 안에 사회를 만드는” 역설적인 구조가 된다.

Q. 그런데 이런 시도는 이미 있지 않았나?

있다.

Random Forest, Ensemble Learning, Mixture of Experts는 모두 “다양성이 성능을 높인다”는 아이디어를 이용한다.

다만 대부분은 계산 효율이나 전문화가 목적이었다.

사회 자체를 계산 원리로 사용하는 것은 아직 주류라고 보기는 어렵다.

Q. 그렇다면 MoE는 사회와 비슷한가?

절반 정도만 그렇다.

MoE는 전문가마다 다른 파라미터를 가지므로 경험은 분리된다.

하지만 모두 같은 목적 함수를 학습하며, 같은 Hidden State를 공유한다.

전문가들의 사회라기보다 하나의 뇌 안에 있는 여러 기능 영역에 더 가깝다.

Q. 그렇다면 굳이 뉴럴넷이라는 메타포에 집착할 필요가 있을까?

바로 그 지점이 흥미롭다.

현재 AI는 “더 큰 신경망”을 만드는 방향으로 발전하고 있다.

하지만 정말 중요한 것은 뉴런의 개수가 아니라 계산 구조일 수도 있다.

작은 모델 안에서도 충분히 사회적 계산이 가능하다면, 지능의 핵심은 파라미터 수가 아니라 조직 구조일 가능성도 있다.

Q. 실제 연구는 어디까지 와 있을까?

최근에는

• Cognitive Architecture
• Global Workspace
• Society of Mind
• Multi-Agent Systems

같은 분야에서 활발한 연구가 진행되고 있다.

다만 대부분은 LLM 바깥에 여러 에이전트를 두는 방식이다.

LLM 내부의 계산 자체를 사회적으로 재구성하려는 시도는 아직 초기 단계다.

Q. Smallville 같은 사회 시뮬레이션도 같은 방향인가?

출발점은 비슷하지만 목적은 다르다.

Smallville은 “사회를 재현”하는 프로젝트다.

내가 궁금한 것은 사회를 흉내 내는 것이 아니다.

사회가 가진 계산적 장점을 추론 알고리즘으로 사용할 수 있는지이다.

Q. 그렇다면 실제로 무엇을 만들어 볼 수 있을까?

거대한 Foundation Model을 만들 필요는 없다.

오히려 작은 LLM 하나를 준비한 뒤,

• Explorer
• Critic
• Planner
• Archivist
• Judge

같은 역할을 만들고,

각자의 기억을 분리하고,

통신 규칙을 제한한 뒤,

장시간 상호작용하게 해 보는 것이 더 흥미로운 실험일 수 있다.

Q. 결국 이 대화는 무엇을 향하고 있었을까?

처음에는 “언어는 비효율적이다.”라는 질문에서 시작했다.

하지만 끝에 도달한 질문은 조금 달랐다.

사회는 계산적으로 어떤 이점을 가지는 구조인가?

만약 그 답을 찾을 수 있다면,

우리는 더 큰 모델을 만드는 대신,

더 좋은 계산 구조를 설계하는 방향으로 AI를 발전시킬 수도 있을지 모른다.

효율을 높이기 위해 언어를 줄이려 했는데,

아이러니하게도 그 과정에서 다시 ‘사회’를 발견했다.