aifollow.news Search
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time Selected

Ant Ling opens Ling-3.1-flash with support for up to 1M contextMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI-assisted summary

Ant Ling announced the release of Ling-3.1-flash as an open-source model. It supports up to 1M context and has improved JSON Schema support for tool calls. In the specified Hopper GPU test configuration, quantization reduced weight storage from about 534GB to 292GB and the serving setup from eight GPUs to four; actual requirements still vary with context length, concurrency and service configuration.

Why it matters

长资料处理和工具调用能力对使用者有直接参考价值;部署数据同时给出了明确的测试配置与适用限制。

Article · Original

The article text is unavailable in this language; an existing version is shown.

IT之家 10 月 16 日消息,蚂蚁百灵昨日宣布开源 Ling-3.1-flash 模型,Ling-3.1-flash 总参数约 560B,每个 Token 激活约 25B,最高支持 1M 上下文。

在 Artificial Analysis 的公开评测中,Ling-3.1-flash 的智能指数为 41、输出速度约为每秒 210 Token。

针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB。在对应的 Hopper GPU 测试配置中,服务部署由 8 卡降至 4 卡,让具备服务器级 GPU 的团队以更少卡数运行模型;实际需求仍随上下文、并发量和服务配置而变。

针对长资料处理,团队提供长上下文并行推理方案(PCP / DCP);工具调用也加强了对 JSON Schema 的支持,方便与现有业务接口对接。

企业知识问答、办公助手常要先读取较长资料,用户仍希望尽快看到回复。团队通过算子融合与 DSpark 投机解码减少推理开销:在平均输入约 25.47K Token、输出约 224 Token、缓存命中率为 76% 的模拟生产请求中,8 卡 Hopper 配置下的平均首 Token 时间为 604 毫秒,相邻输出 Token 平均间隔为 3.28 毫秒。这为长资料输入后的交互响应提供测试参考。

持续提供服务的业务系统,还需要在固定 GPU 预算内评估单实例能承接多少请求。在平均输入约 8.5K Token、输出约 800 Token 的 4 卡 Hopper 吞吐测试中,模型达到约 1.36 QPS,同时满足首 Token 时间 P50 小于 3 秒、相邻输出 Token 间隔 P90 小于 70 毫秒的测试约束。这为自有部署的容量规划提供参考。

在线体验方面,Ling-3.1-flash 目前提供限时 2.5 折优惠,优惠后价格如下:

OpenRouter(美元计价):输入 0.075 美元;输出 0.225 美元;缓存读取 0.015 美元。

Ling Studio(人民币计价):输入 0.5 元;输出 1.5 元;缓存读取 0.1 元。

IT之家附开源链接:

Hugging Face:https://huggingface.co/inclusionAI/Ling-3.1-flash

ModelScope:https://modelscope.cn/models/inclusionAI/Ling-3.1-flash

相关阅读:

《蚂蚁百灵发布 Ling-3.1-flash 模型:约 560B 总参数、25B 激活参数》

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

Found an error? Send a correction