谷歌研究院近日发布了名为“Titans”的新型模型架构，该架构采用“仿生设计”，结合了短期记忆、长期记忆和注意力机制，支持超过200万个Token的上下文长度。这一突破性设计灵感来源于人类的记忆系统，旨在解决现有Transformer模型在处理长文本或多轮对话时语义连贯性和信息准确性不足的问题。 Titans系列模型通过引入深度神经长期记忆模块，显著提升了处理大规模上下文任务的能力。其三种架构变体 ...