aifollow.news
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time AI score40

LG U+ plans to enter the enterprise AI token market next yearMachine translation

LG U+ 计划明年进军企业 AI Token 业务

AI-assisted summary

South Korean telecom operator LG U+ plans to launch an enterprise AI token service next year, Etnews reports. It aims to reduce repeated searches and checks by AI agents, route questions to suitable models, and use different chips for question analysis and answer generation to lower infrastructure costs.

Article · Original

IT之家 11 月 15 日消息,据韩媒 Etnews 今天报道,韩国电信运营商 LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术,帮助企业降低 AI 转型(AX)成本。

据介绍,这项服务拥有用于设计 Agent 任务执行路径的“Harness Engineering”、根据问题类型分配模型的“智能路由”,以及为优化推理过程而采用异构半导体的“芯片组合”三项技术。

IT之家从原报道获悉,LG U+ 将减少 AI Agent 执行任务时不必要的重复搜索和验证,并根据任务难度匹配最合适的模型。同时结合模型轻量化和推理技术,该公司的自研端侧 AI 模型在体积缩小三分之一的情况下,性能仍达到通用云端模型的 95% 以上。通过让小模型快速生成答案、再由大模型进行验证的技术,Token 生成速度提升两倍以上。

基础设施方面,LG U+ 采用芯片组合策略,将英伟达、AMD GPU 与韩国本土企业 FuriosaAI 的神经网络处理器(NPU)结合使用,分别处理问题分析(Prefill)和答案生成(Decode)任务。通过将需要大规模计算的任务与对内存带宽要求较高的任务分开处理,降低基础设施成本。

LG U+ 将同时采用与合作伙伴联合提供服务和自主建设两种方式,从明年开始全面进军 B2B AI Token 市场。随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。

Found an error? Send a correction