BroadChain获悉，4月24日 14:00，大型语言模型（LLM）在训练完成后便处于“冻结”状态，部署后只能依赖上下文窗口和检索增强生成（RAG）等外部补丁来运作。a16z两位合伙人指出，这如同电影《记忆碎片》中的主角：能检索信息，却无法真正学习新知识。他们系统梳理了“持续学习”这一前沿研究方向，从上下文、模块和权重更新三个维度剖析该领域。
上下文学习（ICL）虽有效，但仅适用于答案或片段已存在于世界中的问题。对于需要真正发现（如新数学证明）、对抗场景（如安全红队测试）或难以言说的隐性知识，模型需在部署后直接将新经验写入参数。上下文学习是暂时的，真正的学习需要压缩。
持续学习并非新概念（可追溯至1989年），但a16z认为这是当前AI最重要的方向之一。过去两三年模型能力的爆炸式增长，拉大了模型“已知”与“可知”之间的鸿沟。若能让模型学会自身记忆架构，而非依赖外挂工具，或将解锁全新的扩展维度。