记忆张量发布并开源 MemT 1.0 记忆原生大模型
先了解这件事
记忆张量发布并开源了 MemT 1.0 记忆原生大模型,把记忆从外挂模块内化进底层架构,由模型自己学会读写、更新和调用记忆。代码与模型已在 GitHub 和 Hugging Face 开放。 据记忆张量介绍,该模型将主干网络与动态记忆状态分离,每轮对话结束时以 token 级更新刷新记忆状态,由训练学出的门控机制决定保留或覆盖,并用 Mixture-of-Storage(MoS)架构在固定体积内分配存储。团队用 340 亿 token 分两步训练,其中 200 亿做继续预训练、140 亿做后训练。 记忆张量称,在 11 项系统记忆基准中,MemT-1.0-Flash 和 MemT-1.0-Nano 均分分别为 50.6 和 47.0,领先同组最强参数化记忆基线 12.5 分和 8.9 分。在 SWE-bench Verified 上,按实时反馈更新记忆状态让 Nano 平均成功率从 66.07% 升至 69.73%,三次全成率从 54.00% 提到 62.80%。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- 爱范儿记忆张量发布并开源记忆原生大模型 MemT 1.0
记忆张量发布并开源记忆原生大模型 MemT 1.0,把记忆从外挂模块内化进底层架构,由模型自己学会读写、更新和调用记忆。模型将主干网络与动态记忆状态分离,每轮对话结束时以 token 级更新刷新记忆状态,由训练学出的门控机制决定保留或覆盖,并用 Mixture-of-Storage(MoS)架构在固定体积内分配存储。团队用 340 亿 token 分两步训练,其中 200 亿做继续预训练、140 亿做后训练。在 11 项系统记忆基准中,MemT-1.0-Flash 和 MemT-1.0-Nano 均分分别为 50.6 和 47.0,领先同组最强参数化记忆基线 12.5 分和 8.9 分。在 SWE-bench Verified 上,按实时反馈更新记忆状态让 Nano 平均成功率从 66.07% 升至 69.73%,三次全成率从 54.00% 提到 62.80%。代码与模型已在 GitHub 和 Hugging Face 开放。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。