BroadChain tarafından öğrenildiği üzere, 4 Nisan 24, saat 14:00'te, büyük dil modelleri (LLM'ler) eğitim tamamlandıktan sonra "donmuş" bir durumda kalır ve dağıtım sonrasında yalnızca bağlam pencereleri ve geri alma artırımlı üretim (RAG) gibi harici yamalara dayanarak çalışır. a16z'nin iki ortağı, bunun "Memento" filmindeki ana karaktere benzediğini belirtiyor: bilgiyi geri alabilir, ancak gerçekten yeni bilgi öğrenemez. "Sürekli öğrenme" adı verilen bu öncü araştırma yönünü sistematik olarak ele alıyorlar ve alanı bağlam, modül ve ağırlık güncellemesi olmak üzere üç boyutta inceliyorlar.
Bağlam içi öğrenme (ICL) etkili olsa da, yalnızca cevabın veya parçanın dünyada zaten var olduğu sorular için geçerlidir. Gerçek keşif gerektiren (örneğin yeni matematiksel kanıtlar), karşıt senaryolar (örneğin güvenlik kırmızı takım testleri) veya ifade edilmesi zor örtük bilgi gibi durumlarda, modelin dağıtım sonrasında doğrudan parametrelere yeni deneyimler yazması gerekir. Bağlam içi öğrenme geçicidir; gerçek öğrenme sıkıştırma gerektirir.
Sürekli öğrenme yeni bir kavram değildir (1989'a kadar uzanır), ancak a16z bunu mevcut AI'nın en önemli yönlerinden biri olarak görüyor. Son iki-üç yılda model yeteneklerindeki patlama, modelin "bildiği" ile "bilebileceği" arasındaki uçurumu büyüttü. Modelin harici araçlara güvenmek yerine kendi bellek mimarisini öğrenmesine izin verilebilirse, bu yeni bir genişleme boyutunun kilidini açabilir.