BroadChain에서 확인한 바, 4월 24일 14:00, 대규모 언어 모델(LLM)은 훈련 완료 후 '고정' 상태가 되며, 배포 후에는 컨텍스트 윈도우와 검색 증강 생성(RAG) 같은 외부 패치에만 의존해 작동합니다. a16z의 두 파트너는 이를 영화 《메멘토》의 주인공에 비유했습니다: 정보를 검색할 수는 있지만, 진정으로 새로운 지식을 학습할 수는 없다고 말입니다. 그들은 '지속적 학습'이라는 최전선 연구 방향을 체계적으로 정리하며, 컨텍스트, 모듈, 가중치 업데이트라는 세 가지 차원에서 이 분야를 분석했습니다.
컨텍스트 학습(ICL)은 효과적이지만, 답변이나 조각이 이미 세상에 존재하는 문제에만 적용 가능합니다. 진정한 발견(예: 새로운 수학적 증명), 대결 시나리오(예: 보안 레드팀 테스트), 또는 설명하기 어려운 암묵적 지식이 필요한 경우, 모델은 배포 후에 새로운 경험을 파라미터에 직접 기록해야 합니다. 컨텍스트 학습은 일시적이며, 진정한 학습에는 압축이 필요합니다.
지속적 학습은 새로운 개념이 아니지만(1989년으로 거슬러 올라감), a16z는 이를 현재 AI에서 가장 중요한 방향 중 하나로 봅니다. 지난 2~3년 동안 모델 능력의 폭발적 성장은 모델이 '알고 있는 것'과 '알 수 있는 것' 사이의 격차를 더욱 벌렸습니다. 모델이 외부 도구에 의존하지 않고 자체 메모리 아키텍처를 학습할 수 있다면, 새로운 확장 차원을 열 수 있을지도 모릅니다.