NVIDIA发布手术实时生成模拟模型Cosmos3-H-Dreams
先了解这件事
NVIDIA 发布 Cosmos3-H-Dreams，把交互式生成模拟扩展到临床胆囊切除场景：模型依据器械动作实时生成体内手术画面，可在单张 NVIDIA RTX PRO 6000 GPU 上交互运行。 模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano，用 CMR Surgical Versius 平台的临床录像与机器人运动学数据训练，采用 28 维动作输入、832 x 480 视频和 10 Hz 动作对齐。训练流程先把双向教师模型从 24 帧扩展到 72 帧，再通过 Self-Forcing 蒸馏为因果学生模型。 发布包含四步与两步去噪两个检查点。NVIDIA 称两步模型为单独训练，推理更快但画质更低。运行时由 FlashDreams 加速，并用改造的 FadeMem 模块合并长序列中的 key/value cache。 NVIDIA 同时开源模型、代码与教师微调蒸馏教程，并说明该模拟器仅用于研究，不是经过验证的患者诊疗系统。NVIDIA 称，该系统可借助同步视频和兼容的动作表示适配其他数据集与本体。
AI 根据报道生成 · 53 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face Blog精选NVIDIA 发布 Cosmos3-H-Dreams 实时生成式手术模拟模型
NVIDIA 发布 Cosmos3-H-Dreams，把交互式生成模拟扩展到临床胆囊切除场景，可依据器械动作实时生成体内手术画面。模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano，用 CMR Surgical Versius 平台临床录像与机器人运动学数据训练，采用 28 维动作输入、832 x 480 视频和 10 Hz 动作对齐。训练流程先把双向教师模型从 24 帧扩展到 72 帧，再通过 Self-Forcing 蒸馏为因果学生模型，发布四步与两步去噪两个 checkpoint，两步模型为单独训练，推理更快但画质更低。运行时由 FlashDreams 加速，并用改造的 FadeMem 模块合并长序列中的 key/value cache，可在单张 NVIDIA RTX PRO 6000 GPU 上交互运行。官方同时开源模型、代码与教师微调蒸馏教程，并说明该模拟器仅用于研究，不用于患者诊疗。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。