Hugging Face Blog·· 4 天前精选AI 评分72
Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式
Apertus 1.5 Release Notes
AI 导读
Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选思考模式、4 倍更长的上下文窗口,并改进指令遵循和工具调用能力,权重以 Apache 2.0 许可发布于 Hugging Face。模型采用继续预训练方式,8B 增加 4 万亿 token、70B 增加 2 万亿 token,总量分别达 19T 和 17T;上下文窗口扩展到 262,144 tokens。
推荐理由
原文完整披露了 Apertus 1.5 的预训练与后训练流程、中间检查点和评测方式,便于对照复现。
来源:Hugging Face Blog · huggingface.co