博链BroadChainが入手した情報によると、4月25日13:02、映画『メメント』では、主人公が脳損傷により新しい記憶を形成できず、タトゥーやインスタント写真だけを頼りに現実を組み立てる。大規模言語モデル（LLM）も同様の困難に直面している：訓練が完了すると、膨大な知識がパラメータに凍結され、新しい経験に基づいて自身を更新することができない。この欠陥を補うため、開発者は「足場」を構築した——チャット履歴は短期メモとして機能し、検索システムは外部ノートブックとして、システムプロンプトはタトゥーのように働く。しかし、モデル自体はこれらの新しい情報を真に内面化することはない。
ますます多くの研究者が、この文脈内学習（ICL）には根本的な限界があると考えている。これは、答えがすでに世界のどこかに存在する問題しか解決できないが、真の発見（例えば新しい数学的証明）や対抗的なシナリオ（例えばセキュリティ攻防）、あるいは言葉にしにくい暗黙知を必要とする場合、モデルは展開後に新しい知識や経験を直接パラメータに組み込む必要がある。文脈内学習は一時的なものであり、真の学習には圧縮が必要である。
この研究分野は「継続学習」と呼ばれている。概念自体は新しいものではない（1989年の論文に遡ることができる）が、a16z cryptoは、これが現在のAIにおける最も重要な研究方向の一つであると考えている。過去2〜3年のモデル能力の爆発的な成長により、モデルの「既知」と「可知」の間の溝がますます顕著になっている。本稿は、この分野のトップ研究者からの洞察を共有し、継続学習の異なる道筋を明確にし、このトピックを起業エコシステムで実現することを目的としている。
パラメータ学習（すなわちモデル重みの更新）を論じる前に、文脈内学習が確かに有効であり、それが引き続き優位を占め続ける十分な理由があることを認める必要がある。Transformerの本質は、シーケンスに基づく条件付きトークン予測器である。正しいシーケンスが与えられれば、重みに触れることなく驚くほど豊かな振る舞いを得ることができる。Cursorによる自律的なプログラミングエージェントの拡張に関する記事はその例である：モデルの重みは固定されており、システムを実際に駆動するのは文脈の巧みな構成である。OpenClawは別の模範であり、エージェントの「シェル設計」を独立した学問に昇華させている。
プロンプトエンジニアリングが登場した当初、多くの研究者は「プロンプトだけ」が正当なインターフェースになり得るか疑問視していた。しかし、これはまさにTransformerアーキテクチャの自然な産物であり、再訓練を必要とせず、モデルのアップグレードに伴って自動的に強化される。モデルが強くなれば、プロンプトも強くなる。しかし、継続学習の目標は、モデルが外部のカスタムツールに依存するのではなく、自身の記憶アーキテクチャを学習できるようにすることである。これが実現できれば、全く新しい拡張の次元を解き放つ可能性がある。