Article · Original
Agent开始参与GPU底层算子优化
允中 发自 凹非寺
量子位 | 公众号QbitAI
允中 发自 凹非寺
量子位 | 公众号QbitAI
近日，在NVIDIA Research推出的GPU算子性能评测榜单SOL-ExecBench [1] 上，无问芯穹（Infinigence AI）取得亮眼成绩：
先后登顶L1基础算子、L2融合算子、Quant量化算子与FlashInfer-Bench推理算子全部四大赛道。
SOL-ExecBench是什么？
SOL-ExecBench是NVIDIA Research于2026年3月19日推出的算子优化Benchmark。SOL是Speed of Light的缩写，意为“光速”，在这里指代基于硬件能力推导出的理论性能边界。
与传统评测主要比较相对软件基线的加速效果不同， SOL-ExecBench引入了以硬件性能上限为参照的SOL Score，并在高性能计算卡上进行实际测试。
榜单包含从124个真实及前沿AI模型中提取的235道算子优化题目，覆盖语言、视觉、语音、视频及多模态等领域，并划分为四大赛道：
L1基础算子： 考察基础计算模块的高效实现。
L2融合算子： 考察多个计算步骤的融合执行与协同优化，减少访存、数据搬运和执行开销。
Quant量化算子： 覆盖FP8、NVFP4等低精度计算技术，与大模型推理的性能和成本密切相关。
FlashInfer-Bench推理算子： 聚焦注意力机制、混合专家网络等大模型在线推理中的关键计算。
SOL-ExecBench的一个突出特点是， 从真实前沿模型的计算图中直接提取工作负载，并重点考察这些计算在新一代GPU上的性能极限 。
注：这是一个持续竞争、高频动态刷新的全球榜单。随着各支团队不断提交新的优化方案，排名也会随之变化，竞争十分激烈。
截至2026年10月26日，无问芯穹仍在L1与Quant两大赛道总分位列全球第一，L2与FlashInfer-Bench赛道总分位列全球第二；在全部235道GPU算子优化题目中， 以88项单题第一，位居所有参赛团队之首，超过第二名单题第一数量的2倍。
尤其是在考验复杂计算优化能力的L2融合算子赛道，无问芯穹拿下82道题目中的 39项第一 ，接近半数。
这场汇集全球顶尖AI基础设施和智能体研发力量的竞争，正在成为检验新一代AI算力优化能力的重要舞台。
AI生产力的价值落地，背后是一条“投入-电/卡-Token-生产力-价值”的完整转化链条。
在早期Scaling Law的推动下，投入更多计算资源，最大化GPU效率，是推动模型性能突破、提高Token生产的重要手段。
而随着Agent的发展，Token成为任务执行的投入，而非最终交付物， 模型可以通过更长的推理、更多轮的尝试和验证，突破原本难以解决的问题，但单纯增加Token投入却并不必然带来任务效果的提升。
如果始终重复相似的尝试，无法从执行反馈中修正方向，再多的Token也可能消耗在原地打转之中。
行业关注的核心正从GPU Maxxing进一步走向Token Maxxing： 不仅要提升从“电”到“Token”的转化效率，还要让更多Token真正转化为模型能力与任务成果，实现从“Token”到“生产力”的高效转化。
SOL-ExecBench为检验这一能力提供了具体场景。 它从真实前沿模型中提取计算负载，覆盖基础算子、复杂融合、低精度计算与推理优化，要求提交的代码同时满足正确性与性能要求。在这里，Agent需要经历代码生成、编译运行、性能分析与反复调优，其工作成果最终由真实硬件上的执行结果衡量。
这一评测吸引了 包括全球数据与AI平台企业Databricks、Y Combinator孵化的AI Infra创业公司SF Tensor、知名AI编程工具团队Cursor，以及Recursive、doubleAI、Geometric等活跃于自动化算子优化领域的技术团队参与 。
据SF Tensor于2026年9月25日公布的数据，当时已有 583支团队累计提交超过3.1万次评测，以平均约每8分钟一条公开提交的高频次，持续推动榜单刷新 。
众多参赛团队借助Agent自动生成、测试和优化底层计算代码，使这场竞赛既考验GPU Kernel优化水平，也考验如何将模型能力组织成能够持续完成复杂工程任务的系统。
在这样激烈的全球竞逐中，无问芯穹先后取得L1、L2、Quant与FlashInfer-Bench四大赛道全球第一。
这 既体现了团队在算子优化与软硬件协同方面的技术积累，也检验了团队通过Agentic Infra将Token投入转化为经过验证的计算性能收益，并以此探索AI自主完成复杂任务的有效路径的能力 。
从资源投入到Token生产，再到实际生产力的交付与价值兑现，无问芯穹Agentic Infra始终致力于推动这条链路从单向推进走向闭环进化。
团队希望 让Agent不仅消耗Token完成任务，更能够将创造的生产力反哺于基础设施本身，持续提升Token的生产，探索AI基础设施RSI的实现路径。
算子优化任务，为探索这一过程提供了具体切入点： GPU Kernel的执行效率直接影响硬件性能的发挥；Agent找到的高效实现，在经过验证并应用于训练与推理系统后，有望进一步降低计算开销，让算子优化的收益延伸至Token的生产环节。
沿着这一方向，首先需要解决的是如何让Agent持续产出可靠的优化成果。代码能否正确执行、性能瓶颈在哪里、一次修改是否带来了真实收益，都需要通过实际运行来判断，并成为下一轮探索的依据。
为此，无问芯穹围绕SOL-ExecBench构建了一套算子优化Agent，将代码生成、执行验证、性能分析与经验积累组织成连续的工作流程。
下面将从容器隔离执行、Skills感知与共享Memory，以及面向不同任务的优化策略这三个方面，介绍无问芯穹具体如何支持Agent在真实硬件反馈下实现持续改进。
在执行架构上，系统采用容器化隔离，将Agent工作区、评测区与调试区解耦。 Agent在允许联网、不直接分配GPU的工作区中，通过外部挂载加载Skills、共享Memory与优化策略，完成代码编写并提交计算请求。
宿主侧资源调度器统一管理GPU，对请求进行排队与按需分配，分别在与官方评测环境对齐的镜像、集成性能剖析工具的镜像中执行评测与调试。两类执行容器均禁用网络访问，结果回传至Agent，形成“代码生成—评测验证—性能分析—策略调整”的迭代闭环。
这一隔离设计服务可以 防止Agent在自动优化过程中绕过评测约束。 当Agent以性能指标为优化目标时，其探索可能偏离算子实现本身，转而尝试修改评测脚本、干预计时逻辑、访问参考结果或利用环境漏洞，获得并非来自真实计算效率提升的分数。 容器隔离、权限控制与受控提交接口共同构成执行边界，使Agent能够持续优化候选算子，同时限制其对评测过程本身的干预。
在Agent能力构建上，系统不仅通过模块化Skills接入开源社区的技术积累，还通过专门的框架感知Skill，帮助Agent理解并使用相关框架，同时利用共享Memory持续沉淀与复用优化经验。
知识库及性能调试Skills：来自开源社区，为Agent提供GPU编程知识、性能分析方法及优化工具等能力支持。
面向运行框架的交互Skill：让工作区内的Agent明确自身所处的执行环境、可调用的能力及操作边界，通过统一的CLI入口发起调试、提交评测、查询任务状态和读取结果。
共享Memory：用于记录实际优化过程中验证有效的策略、适用条件与实践经验，使不同任务能够复用已有探索成果。
这些机制共同驱动Agent调用专业能力、正确使用运行框架，并在持续迭代中积累经验、减少重复探索。
在优化策略上，系统围绕工作负载特征、性能瓶颈与时间预算，组织分层探索。
系统引导Agent根据优化时间预算选择合适的编程抽象与DSL（领域特定语言），在Triton、TileLang、CuTe DSL等不同粒度的DSL之间权衡开发效率与性能潜力，并通过逐层生成低层语言（如CUDA、PTX），持续挖掘硬件性能空间。
针对不同计算场景，优化策略进一步细化：
计算密集型任务： 重点评估Tensor Core利用率、分块方式与数据复用，探索异步数据搬运和流水线重叠，同时权衡寄存器、共享内存占用与有效并行度。
访存密集型任务： 优先减少冗余读写和中间结果落地，优化合并访存、向量化访问与缓存复用，降低单位有效计算所需的数据搬运量。
多算子计算链路： 评估算子融合对访存与启动开销的收益，同时关注融合后寄存器压力、同步复杂度及并行度变化。对于适用的依赖链路，可探索程序化依赖启动（PDL），让后继Kernel中不依赖前序结果的工作提前执行，并在读取依赖数据前完成必要同步；对于适合持久化执行的任务，则探索Persistent Kernel，通过CTA持续驻留与循环处理多个工作单元，摊薄线程块调度及初始化开销，并利用流水线并行进一步提升执行效率。
小Shape、低延迟任务： 重点控制线程块数量、无效线程、边界处理、指令与同步开销，避免过度分块或复杂流水线导致引入过度无法被有效计算摊薄的固定成本。
通过开放能力复用、分层性能优化与真实硬件反馈的结合，无问芯穹希望将高度依赖专家经验的GPU算子调优，转化为Agent可以自主探索、持续学习和规模化执行的优化过程。
SOL-ExecBench的成果并非一次孤立的技术突破，而是无问芯穹长期深耕Agenetic Infra技术创新的自然延伸。
从连接“M种模型”与“N种芯片”，到以“多元异构、软硬协同、自主式AI”为核心的“前店后厂一中心”的Agentic Infra战略布局，无问芯穹始终围绕AI生产力链条的核心环节展开技术探索与实践。
此次在SOL-ExecBench上的探索与成果，不仅是其长期技术路线在底层计算优化领域的阶段性体现。更重要的是，其证明了 将这种效率优化能力进一步交给AI本身这一RSI路径的可行性，初步实现了从Token生产到生产力创造，再由生产力反哺Infra的进化闭环。
下一步，无问芯穹希望将这一探索延伸至Agent自身的任务执行框架。通过修改和验证任务规划、工具调用、记忆管理与反馈机制，让Agent在完成任务的过程中，逐步改进自己解决问题的方法。
当优化成果不仅能提高计算效率，还能改善产生优化方案的机制，持续探索就有机会转化为持续的能力增长。
面向RSI与AGI的未来演进，在充满信心的同时，无问芯穹的技术团队也清醒地认识到，单点技术突破距离真正的系统级能力仍有很长的路要走，要让局部优化真正转化为实际的生产力，同样也需要更多的技术探索与协同。
从让AI更高效地使用算力，到让AI参与算力系统自身的优化，无问芯穹正持续推动基础设施从支撑AI创新，走向与AI协同进化，为有效AI生产力的持续交付探索新的路径。
致谢：
Humanize社区（https://github.com/humanfia/humanize）
参考文献：
[1] SOL-ExecBench: Speed-of-Light Benchmarking for Real-World GPU Kernels Against Hardware Limits. 2026. https://arxiv.org/abs/2603.19173
[2] KernelBench: Can LLMs Write Efficient GPU Kernels? ICML 2025. https://arxiv.org/abs/2502.10517
[3] MultiKernelBench: A Multi-Platform Benchmark for Kernel Generation. 2025. https://arxiv.org/abs/2507.17773
[4] CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits. 2026. https://arxiv.org/abs/2607.20518
*本文系量子位获授权刊载，观点仅为原作者所有。