Together AI 推出持续优化模型推理的 Together Compiler
Together Compiler 用编程智能体改写模型计算过程,并随实际请求变化重新优化;目前已用于 Together AI 的部分无服务器端点,面向客户提供有限测试。Together AI 自报,在所测试配置中,其每用户吞吐量较 InferenceX 最佳公开配置最高提高 2.6 倍,但不同配置的增幅差异很大。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读Together Compiler 用编程智能体改写模型计算过程,并随实际请求变化重新优化;目前已用于 Together AI 的部分无服务器端点,面向客户提供有限测试。Together AI 自报,在所测试配置中,其每用户吞吐量较 InferenceX 最佳公开配置最高提高 2.6 倍,但不同配置的增幅差异很大。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读