RadixArk 发布 DaisyRose-27B,强化学习提升 Agent 效率

RadixArk 团队发布了基于 Qwen3.8-27B 构建的 DaisyRose-27B 模型。该模型通过强化学习在长周期 Agent 任务上进行后训练,显著提升了终端基准测试表现。文章将解析其训练架构、数据筛选策略及推理部署方案,探讨高效后训练对 AI 创作工具链的影响。

图片来源:Hugging Face
图片来源:Hugging Face

模型发布与核心性能提升

RadixArk 正式推出 DaisyRose-27B,这是其首个公开模型,基于 Qwen3.8-27B 架构,保留了原有的分词器、聊天模板、图像理解能力及 256K 上下文窗口。模型提供 BF16、FP8 和 NVFP4 三种精度检查点,采用 Apache 2.0 开源协议。在性能方面,DaisyRose-27B 在 Terminal-Bench 4.1 上的 pass@1 指标从基座的 5.6% 提升至 12.0%,实现了翻倍增长。此外,在 SWE Bench Pro v2、GPQA Diamond 等推理与编码基准上,该模型也全面超越了原始 Qwen3.8-27B。这种提升主要归功于针对长周期 Agent 任务的专项优化,使其在处理复杂多步任务时表现更稳定。

图片来源:Hugging Face
图片来源:Hugging Face

高效后训练架构与成本优化

该模型使用了 RadixArk 自研的开源强化学习框架 Miles 进行训练。训练过程采用全异步模式:128 块 H200 GPU 负责 Agent 推理,16 块 H200 负责模型训练,两者并行工作互不阻塞。这种架构使得模型在 144 块 H200 GPU 上仅用 18 天、1200 个精选任务就完成了训练。相比基于 Megatron 的开源训练器,RadixArk 的内部后端将模型 FLOPs 利用率(MFU)从 16% 提升至 37%,从而降低了 57% 的训练成本。在混合专家模型上,效率提升更为显著,最高可达 10 倍以上。这种高效的后训练方法为大规模模型微调提供了新的工程参考。

图片来源:Hugging Face
图片来源:Hugging Face

数据筛选与沙箱环境稳定性

训练数据的质量是性能提升的关键。RadixArk 与 Eigent AI 合作,从数千个候选任务中筛选出 1200 个高质量任务。筛选标准包括:任务必须针对基座模型的具体错误进行设计,要求多步依赖推理,且必须奖励真正的解题过程而非捷径。每个任务在沙箱中允许长达 1.5 小时的执行时间,涉及超过 100 次工具调用。为了支撑这一过程,团队基于 AgentENV 项目构建了稳健的沙箱服务,在九周内运行了约 94.4 万个沙箱实例,并发数峰值达 1566。该服务在训练期间持续升级,确保了 99% 以上的运行稳定性,为长轨迹强化学习提供了可靠的基础设施。

图片来源:Hugging Face
图片来源:Hugging Face

推理部署与使用建议

官方推荐使用 SGLang 配合 DSpark 推测解码来部署 DaisyRose-27B。SGLang 的 cookbook 提供了针对不同 GPU 和检查点格式的启动配置。模型默认开启思考模式,推理过程返回在 reasoning_content 字段,最终答案在 content 字段。开发者可通过 OpenAI Python 客户端连接本地服务,设置 temperature 为 1.0,top_p 为 0.95,top_k 为 20。这种部署方式兼顾了推理速度与输出质量,适合需要处理复杂逻辑和长上下文的应用场景。对于国内从业者,关注其异步训练架构和沙箱管理策略,有助于优化自有 AI 工具链的训练效率。

图片来源:Hugging Face
图片来源:Hugging Face

小编总结

小编总结:DaisyRose-27B 的发布展示了后训练阶段工程优化对模型能力的巨大影响。对于国内 CG 和 AI 创作从业者,其价值不仅在于模型本身,更在于其揭示的高效训练范式。异步强化学习架构和低成本训练后端,意味着未来垂直领域模型(如 3D 生成、动画辅助)的训练门槛可能降低。建议关注其开源的 Miles 框架和 AgentENV 沙箱方案,评估是否可应用于内部工具链。同时,注意其长上下文处理能力对复杂场景生成的潜在优势,但需结合具体业务场景验证其实际效果,避免盲目跟风。

本文由 CG热榜基于公开资料重新撰写,以原始资料为准。来源:Hugging Face
© 版权声明

相关文章