BroadChain获悉，4月25日 13:02，영화 《메멘토》에서 주인공은 뇌 손상으로 인해 새로운 기억을 형성하지 못하고, 문신과 즉석 사진에 의존해 현실을 조각내야 한다. 대규모 언어 모델(LLM)도 비슷한 딜레마에 직면해 있다: 훈련이 완료되면 방대한 지식이 파라미터에 고정되어 새로운 경험을 바탕으로 스스로 업데이트할 수 없다. 이러한 결함을 보완하기 위해 개발자들은 '비계'를 구축했다—채팅 기록은 단기 메모 역할을 하고, 검색 시스템은 외부 노트 역할을 하며, 시스템 프롬프트는 문신과 같다. 하지만 모델 자체는 이러한 새로운 정보를 진정으로 내재화하지 않는다.
점점 더 많은 연구자들은 이러한 문맥 학습(ICL)이 근본적인 한계를 가진다고 본다. 이는 이미 세계 어딘가에 답이 존재하는 문제만 해결할 수 있으며, 완전히 새로운 발견(예: 새로운 수학적 증명), 적대적 시나리오(예: 보안 공격 및 방어), 또는 설명하기 어려운 암묵적 지식이 필요한 경우 모델은 배포 후에 새로운 지식과 경험을 파라미터에 직접 통합할 수 있어야 한다. 문맥 학습은 일시적이며, 진정한 학습은 압축이 필요하다.
이 연구 분야는 '지속적 학습'이라고 불린다. 개념 자체는 새로운 것이 아니지만(1989년 논문까지 거슬러 올라간다), a16z crypto는 이것이 현재 AI에서 가장 중요한 연구 방향 중 하나라고 생각한다. 지난 2~3년 동안 모델 능력의 폭발적 성장으로 인해 모델이 '알고 있는 것'과 '알 수 있는 것' 사이의 격차가 더욱 두드러졌다. 이 글은 이 분야 최고 연구자들의 통찰력을 공유하고, 지속적 학습의 다양한 경로를 명확히 하며, 이 주제를 창업 생태계에 적용하는 것을 촉진하기 위한 것이다.
파라미터 학습(즉, 모델 가중치 업데이트)을 논증하기 전에, 문맥 학습이 실제로 효과적이며 그것이 계속 우위를 점할 충분한 이유가 있음을 인정해야 한다. Transformer의 본질은 시퀀스 기반 조건부 토큰 예측기이다. 올바른 시퀀스가 주어지면 가중치를 건드리지 않고도 놀라울 정도로 풍부한 행동을 얻을 수 있다. Cursor의 자율 코딩 에이전트 확장에 관한 글이 그 예시이다: 모델 가중치는 고정되어 있고, 시스템을 진정으로 구동하는 것은 문맥의 정교한 편성이다. OpenClaw는 또 다른 모범 사례로, 에이전트의 '외부 설계'를 독립적인 학문으로 승격시켰다.
프롬프트 엔지니어링이 처음 등장했을 때, 많은 연구자들은 '단순한 프롬프트'만으로 합법적인 인터페이스가 될 수 있는지 의문을 제기했다. 그러나 이것은 Transformer 아키텍처의 본래 산물이며, 재훈련이 필요 없고 모델 업그레이드에 따라 자동으로 강화된다. 모델이 강력할수록 프롬프트도 강력해진다. 그러나 지속적 학습의 목표는 모델이 외부 맞춤형 도구에 의존하지 않고 스스로 기억 아키텍처를 학습하도록 하는 것이다. 이를 실현할 수 있다면 완전히 새로운 확장 차원을 열 수 있을지도 모른다.