aifollow.news Search
Back 量子位 AI 报道
量子位 AI 报道· · Original publication time AI score33

Article proposes agent access controls and insurance to support AI adoption at scaleMachine translation

AI安全文章建议将智能体权限控制与保险纳入规模化应用保障

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI-assisted summary

An article provided by China Telecom and republished by QbitAI argues that as agents gain the ability to call tools and operate systems, AI errors can extend from wrong answers to business actions. It proposes identity checks, least-privilege access, behavior audits and commercial insurance for residual risks such as data breaches and system outages, while noting unclear liability and limited historical data as obstacles to AI insurance.

Article · Original

AI安全不是AI发展的“刹车片”,而是AI高质量发展的“加速器”。

人工智能正在加速进入生产系统和核心业务。当AI真正参与业务决策、调用工具、操作系统乃至控制设备时,决策者关心的,不只是“能力有多强”,还关心“安全不安全”。进入智能体时代,AI安全也已不只是防止数据泄露或回答错误,而是关系到现实资产、业务连续性和责任承担。

由此,一个常被讨论的问题正在发生变化:AI安全究竟是技术发展的约束,还是产业应用的前提条件?目前看,AI安全已从附加条件转变为AI进入生产系统、核心业务和关键行业的基础能力。进一步说,AI安全决定了AI能不能用、能用到什么程度、能够以多快速度实现规模化应用。

AI发展新趋势对AI安全提出新挑战

当前AI能力呈现出六个相互关联的变化。

第一,AI从生成内容“回答问题”走向自主行动 ,可以调用工具、执行任务、操作系统和控制设备,风险从“说错了”升级为“做错了”。

第二,AI从单模型走向多智能体协作 ,可以任务拆解、记忆共享、相互调用,提升效率。风险随之从一个单点错误,沿着任务拆解或记忆共享,或工具调用,演变为系统性、链式风险。

第三,AI从辅助工具逐渐成为业务基础设施 ,AI进入金融、医疗、工业、能源、政务等关键领域。模型输出会直接影响核心业务决策与连续运行,AI的影响更广、代价更高、责任链更长。

第四,AI从封闭模型走向开源普及 ,开源开放降低了创新门槛,使更多行业、更多专业人员可以参与AI创新,这是我国发展人工智能的重要条件。但能力扩散的同时,风险也会同步扩散,恶意使用成本下降,下游责任更加分散。

第五,AI从数字世界走向物理世界 ,如具身智能、智能汽车和机器人等,发展迅速。AI的错误或能力不足,影响不再停留在屏幕里,可能直接造成现实损害。

第六,AI竞争正从模型训练转向规模化推理和应用 ,安全重心开始从“模型有没有风险”,转向“整个系统在真实业务中是否能够长期可靠运行”。

安全边界已经扩展为一张贯穿经济社会的风险地图

随着上述变化叠加,AI安全已从“一个模型是否安全”,扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。越向上,风险影响范围越大;不同层次又通过数据流、权限链、工具链和业务链相互连接。

AI的六层风险地图

这意味着,AI风险呈现出三个突出特征: 一是链条化 ,一个提示注入可能借助智能体权限转化为真实业务操作; 二是涌现化 ,单个模型看似安全,多个模型、工具和数据连接后却可能产生新风险; 三是外溢化 ,技术缺陷可能迅速转化为企业经营风险、社会风险乃至国家安全风险。传统的“上线前做一次安全检测”已经不够,必须把安全贯穿数据、开发、部署、运行和退出的全生命周期。

安全不是发展的跷跷板,而是相互促进的飞轮

AI正在成为社会发展的新动能。 其自主性越高,能力越强,越能够进入核心生产流程,创造的价值也越大;但与此同时,风险敞口也会增加。企业并非看不到AI价值,而是担心发生事故后损失有多大、风险能否控制、业务如何恢复、责任由谁承担。只有解决这些顾虑,AI才可能从局部试点真正走向规模应用。

AI高质量规模化应用=有效性×可靠性×安全性。 有效性回答“有没有用”,可靠性回答“能不能持续稳定地用”,安全性回答“敢不敢放进核心业务”。三者不是简单相加,任何一项接近于零,整体价值都会显著下降。

因此,安全与发展不是此消彼长的跷跷板,而是相互促进的飞轮。AI应用不断扩张,带来更多风险暴露,促使企业增加安全投入;安全产品和服务规模化部署,又会沉淀告警、攻击样本和处置反馈,提升检测与自动化能力;当误报下降、风险更加可控,企业信任随之增强,也就更敢把AI放进核心业务。安全投入不是单纯的成本,而是降低不确定性、扩大AI应用市场的生产性投入。

AI安全正在形成新的产业增长空间

从全球实践看 ,AI安全主要依靠三类主体共同推动:政府通过监管明确底线,企业通过市场竞争推动技术和产品迭代,第三方机构提供技术标准、评测、审计和认证。美国比较偏重技术标准、商业平台和市场竞争,欧盟更强调政府监管、安全标准和第三方保证。我国强调统筹平衡政府监管、企业竞争和第三方认证、技术标准的三者协同作用。

在这一过程中,AI安全已经具备成为独立产业的基本特征。虽然现实收入规模仍远小于潜在市场,但产品形态正在从单点工具走向平台化,智能体安全正在成为新的增长点,AI应用企业购买安全服务的意愿也在增强。其产业价值正在从“限制风险”转向“使AI能够规模化进入核心业务”。

从市场结构看 ,模型安全评测、AI运行时安全、供应链安全、数据安全、智能体与非人身份安全、治理合规和第三方保证等赛道正在形成。收入模式也将从以项目制咨询、红队测试为主,逐渐扩展到平台订阅、托管安全服务、审计认证等持续性收入。赛道越清晰、标准越统一,产业规模才越有可能真正做大。

加快发展AI安全,以高水平安全推动AI规模化应用

面向AI规模化应用,需要重点推进五方面工作。

第一,把AI安全纳入国家AI基础能力建设。 AI安全不应只是应用上线后的合规环节,而应与算法、算力、数据、资本、应用、人才等要素并列,成为驱动人工智能发展的基础要素。

第二,推动安全能力内生化。 过去很多安全能力是在系统建成后外挂,智能体时代仅靠外围防护已经不够。安全要与模型设计、智能体架构和业务流程同步建设,形成安全原生模型、安全原生智能体、安全原生平台和安全原生应用。

第三,重点攻关智能体安全关键技术 ,优先发展身份认证、最小权限控制、工具调用安全、记忆安全、多智能体协同安全、行为审计和自动化红队测试。核心是回答三个问题:智能体是谁,被允许做什么,做错后能否及时发现并停止。

第四,把AI安全培育成新的产业增长点 ,推动安全数据、安全工具、模型评测、运行时防护、智能体治理、审计认证和安全服务协同发展,让安全投入既支撑风险治理,也形成新的产业价值。

第五,建设AI安全公共基础设施。 高质量安全数据集、漏洞与事件数据库、行业安全基准、红队攻防平台、风险监测预警体系等具有明显公共属性,需要政府、企业、高校和第三方机构共同参与,降低重复投入,形成统一风险语言。

引入商业保险,以经济机制加快AI安全发展

AI规模化应用还需要建立市场经济逻辑,商业保险值得重点探索。 很多新技术、新产品从导入期走向规模应用,都离不开保险对剩余风险的分担。对于数据泄露、系统中断、智能体误操作和第三方财产损失等低频高损风险,保险可以降低企业“不敢用”的顾虑。

更重要的是,保险能够把抽象的安全风险转化为可量化、可定价的风险。如果企业具备严格的权限控制、上线前安全评测、持续运行监测、人工复核和紧急熔断、完整日志与责任追溯,其保费就应更低、保障范围可以更广。这样,安全能力便从原则要求转化为可计算的经济收益。

保险还可以把一次性经济补偿升级为持续安全服务,推动形成“安全评测—风险分级—保险定价—持续监测—理赔复盘”的闭环,并在承保和理赔过程中沉淀事故发生率、损失分布和控制措施有效性等数据,反过来促进技术、标准和监管迭代。

当然, AI保险仍面临责任链条不清、历史数据不足、风险动态变化、系统性风险集中以及损失因果难以证明等问题。 因此,需要从静态保单转向动态保险,从单纯赔偿转向“保险+安全服务”,并探索产业链协同承保。安全技术决定风险能不能防,法律治理决定责任由谁承担,商业保险决定剩余风险能不能承受,三者缺一不可。

结语

AI能力越大,能够进入的领域越关键,获得的权限越高,安全失效的代价也越大。可信度正在成为AI规模化应用能否突破的关键瓶颈。

因此, AI安全不是AI发展的“刹车片”,而是AI从试点应用走向规模化应用、关键领域应用和高质量发展的“加速器”。 让安全能力与AI能力同步演进,形成技术、治理、产业和市场机制协同的安全体系,有助于加快把AI的技术潜力转化为产业价值和社会价值。

主要作者简介:

中国电信集团科技委主任,中粮集团外部董事,中国电信集团原总经理。教授级高级工程师,哈尔滨工业大学工学硕士和经济学硕士,南开大学管理学博士。兼任国家数据局专家委员、中国互联网协会专咨委常务副主任。

本文由中国电信提供,量子位获授权转载,观点归原作者所有。

Found an error? Send a correction

Contents