BroadChain informa que, às 14:00 de 24 de abril, os Modelos de Linguagem de Grande Escala (LLMs) entram em um estado "congelado" após a conclusão do treinamento, operando apenas com base na janela de contexto e em patches externos, como a Geração Aumentada por Recuperação (RAG), após a implantação. Dois sócios da a16z apontam que isso é semelhante ao protagonista do filme "Memento": capaz de recuperar informações, mas incapaz de realmente aprender novos conhecimentos. Eles sistematizaram a direção de pesquisa de ponta chamada "aprendizado contínuo", analisando o campo a partir de três dimensões: contexto, módulos e atualizações de peso.
O aprendizado no contexto (ICL) é eficaz, mas aplicável apenas a problemas cujas respostas ou fragmentos já existem no mundo. Para questões que exigem descoberta genuína (como novas provas matemáticas), cenários adversariais (como testes de segurança de equipe vermelha) ou conhecimento tácito difícil de articular, o modelo precisa incorporar novas experiências diretamente nos parâmetros após a implantação. O aprendizado no contexto é temporário; o verdadeiro aprendizado requer compressão.
O aprendizado contínuo não é um conceito novo (datado de 1989), mas a a16z considera esta uma das direções mais importantes da IA atualmente. O crescimento explosivo das capacidades dos modelos nos últimos dois ou três anos ampliou o fosso entre o que o modelo "sabe" e o que "pode saber". Se for possível fazer o modelo aprender sua própria arquitetura de memória, em vez de depender de ferramentas externas, isso pode desbloquear uma nova dimensão de escalabilidade.