BroadChain، في 24 أبريل الساعة 14:00، تكون نماذج اللغة الكبيرة (LLM) في حالة "تجميد" بعد اكتمال التدريب، ولا يمكنها العمل بعد النشر إلا بالاعتماد على نافذة السياق والتوليد المعزز بالاسترجاع (RAG) وغيرها من التصحيحات الخارجية. يشير شريكان من a16z إلى أن هذا يشبه بطل فيلم "Memento": يمكنه استرجاع المعلومات، لكنه لا يستطيع تعلم معرفة جديدة حقًا. قاموا بتنظيم اتجاه البحث المتقدم "التعلم المستمر" بشكل منهجي، وتحليل هذا المجال من ثلاثة أبعاد: السياق، والوحدات النمطية، وتحديث الأوزان.
التعلم السياقي (ICL) فعال، لكنه ينطبق فقط على الأسئلة التي توجد إجاباتها أو أجزاؤها بالفعل في العالم. بالنسبة للاكتشافات الحقيقية (مثل البراهين الرياضية الجديدة)، أو السيناريوهات المعادية (مثل اختبار الفرق الأمنية الحمراء)، أو المعرفة الضمنية التي يصعب التعبير عنها، تحتاج النماذج إلى كتابة الخبرات الجديدة مباشرة في المعلمات بعد النشر. التعلم السياقي مؤقت، والتعلم الحقيقي يتطلب ضغطًا.
التعلم المستمر ليس مفهومًا جديدًا (يمكن تتبعه إلى عام 1989)، لكن a16z يعتبره أحد أهم الاتجاهات الحالية للذكاء الاصطناعي. أدى الانفجار الهائل في قدرات النماذج خلال العامين أو الثلاثة أعوام الماضية إلى توسيع الفجوة بين ما "تعرفه" النماذج وما "يمكنها معرفته". إذا تمكنت النماذج من تعلم بنية الذاكرة الخاصة بها بدلاً من الاعتماد على أدوات خارجية، فقد يفتح ذلك أبعادًا جديدة تمامًا للتوسع.