BroadChain获悉，4月24日 14:00，Los modelos de lenguaje de gran escala (LLM) quedan en un estado "congelado" una vez completado el entrenamiento, y solo pueden funcionar mediante parches externos como ventanas de contexto y generación aumentada por recuperación (RAG) tras su implementación. Dos socios de a16z señalan que esto es como el protagonista de la película *Memento*: capaz de recuperar información, pero incapaz de aprender realmente nuevos conocimientos. Han sistematizado la dirección de investigación de vanguardia del "aprendizaje continuo", analizando el campo desde tres dimensiones: contexto, módulos y actualización de pesos.
El aprendizaje en contexto (ICL) es efectivo, pero solo se aplica a problemas cuyas respuestas o fragmentos ya existen en el mundo. Para tareas que requieren descubrimientos reales (como nuevas demostraciones matemáticas), escenarios adversariales (como pruebas de seguridad en equipos rojos) o conocimiento tácito difícil de expresar, el modelo necesita escribir nuevas experiencias directamente en sus parámetros después de la implementación. El aprendizaje en contexto es temporal; el verdadero aprendizaje requiere compresión.
El aprendizaje continuo no es un concepto nuevo (se remonta a 1989), pero a16z considera que es una de las direcciones más importantes de la IA actual. El crecimiento explosivo de las capacidades de los modelos en los últimos dos o tres años ha ampliado la brecha entre lo que el modelo "sabe" y lo que "puede saber". Si se logra que el modelo aprenda su propia arquitectura de memoria, en lugar de depender de herramientas externas, podría desbloquear una nueva dimensión de escalado.