天下金融网    加入收藏    设为首页
天下金融网
首页 资讯 财经 理财 消费 产业 基金 股票 外汇 期货 银行 企业 行情
您现在的位置:首页 > 资讯 > 正文
应对AI新安全挑战,首份智能体安全白皮书发布
2025-07-31 00:56:28      来源:千龙网   阅读量:14884   

随着人工智能技术的不断进步,AI领域正从大模型时代迈向智能体时代,智能体的越权、过度代理等问题也带来了安全挑战。在29日闭幕的世界人工智能大会WAIC期间,上海人工智能实验室zwnj;、信通院、蚂蚁、IIFAA联盟联合发布《终端智能体安全2025》白皮书。首次系统梳理了智能体(AI Agent)风险分类、如何发现风险、如何防御风险,并覆盖了单智能体设备、多智能体协同,以及AI终端生态的全面挑战,为终端智能体安全提供风险评估指南。

在AI大模型加速下沉的2025年,智能体正快速渗透进手机、眼镜、耳机、车机等各种终端设备,悄悄成为连接人、设备与环境的关键枢纽。生活、工业、医疗、教育等多个行业,正在被一批更主动、更拟人化的终端智能体重新定义交互方式。它们不再是传统意义上的智能终端,也不是完全云端运行的智能体,而是一种运行在端侧的智能体。

白皮书指出,随着模型越来越懂用户、操作越来越自动,终端智能体的风险边界也在拓展:不再只是数据泄露这么简单,而是向模型行为、身份伪造、环境感知误导,甚至算法伦理等深层问题蔓延。

中国信通院华东分院人工智能事业部主任常永波介绍,在AI智能体成为下一代操作系统的当下,对安全设施的梳理尤为必要。为了应对这些高度复杂、层层递进的安全风险,白皮书提出了三大防护路径:单智能体安全、多智能体可信互连、AI终端安全,希望作为一份全面且具针对性的、可参考的智能体安全指引。

白皮书首次提出终端智能体安全体系,在技术生态体系的支撑下,单智能体安全技术包括安全护栏、数据去毒、基座对齐和柔性管理,多智能体可信互连技术则包括可信数据流转、可信服务流转、可信身份认证和可信记忆共享,AI终端安全技术可信隐私沙箱、跨设备可信连接等,共同支撑AI/AR眼镜、智能手机助手、智能座驾等行业应用。

数据显示,超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题,因为AI生成的内容往往包含事实错误,或者对指令产生误解,其中超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。与白皮书发布同时,白皮书编制方之一蚂蚁集团大模型安全解决方案蚁天鉴宣布升级,新增智能体安全评测工具,具备智能体对齐、mcp安全扫描、智能体安全扫描及零信任防御等核心功能。据悉,蚁天鉴的智能体风险研判准确率达到96%以上,并可支持11个行业的智能体测试。

随着人工智能技术的不断进步,AI领域正从大模型时代迈向智能体时代,智能体的越权、过度代理等问题也带来了安全挑战。在29日闭幕的世界人工智能大会WAIC期间,上海人工智能实验室zwnj;、信通院、蚂蚁、IIFAA联盟联合发布《终端智能体安全2025》白皮书。首次系统梳理了智能体(AI Agent)风险分类、如何发现风险、如何防御风险,并覆盖了单智能体设备、多智能体协同,以及AI终端生态的全面挑战,为终端智能体安全提供风险评估指南。

在AI大模型加速下沉的2025年,智能体正快速渗透进手机、眼镜、耳机、车机等各种终端设备,悄悄成为连接人、设备与环境的关键枢纽。生活、工业、医疗、教育等多个行业,正在被一批更主动、更拟人化的终端智能体重新定义交互方式。它们不再是传统意义上的智能终端,也不是完全云端运行的智能体,而是一种运行在端侧的智能体。

白皮书指出,随着模型越来越懂用户、操作越来越自动,终端智能体的风险边界也在拓展:不再只是数据泄露这么简单,而是向模型行为、身份伪造、环境感知误导,甚至算法伦理等深层问题蔓延。

中国信通院华东分院人工智能事业部主任常永波介绍,在AI智能体成为下一代操作系统的当下,对安全设施的梳理尤为必要。为了应对这些高度复杂、层层递进的安全风险,白皮书提出了三大防护路径:单智能体安全、多智能体可信互连、AI终端安全,希望作为一份全面且具针对性的、可参考的智能体安全指引。

白皮书首次提出终端智能体安全体系,在技术生态体系的支撑下,单智能体安全技术包括安全护栏、数据去毒、基座对齐和柔性管理,多智能体可信互连技术则包括可信数据流转、可信服务流转、可信身份认证和可信记忆共享,AI终端安全技术可信隐私沙箱、跨设备可信连接等,共同支撑AI/AR眼镜、智能手机助手、智能座驾等行业应用。

数据显示,超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题,因为AI生成的内容往往包含事实错误,或者对指令产生误解,其中超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。与白皮书发布同时,白皮书编制方之一蚂蚁集团大模型安全解决方案蚁天鉴宣布升级,新增智能体安全评测工具,具备智能体对齐、mcp安全扫描、智能体安全扫描及零信任防御等核心功能。据悉,蚁天鉴的智能体风险研判准确率达到96%以上,并可支持11个行业的智能体测试。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

 
上一篇:截至2025年6月,生育保险参保人数已达到2.53亿人
下一篇:返回列表
     相关推荐
 
     栏目排行
  1. 公报显示长江流域水生生物完整性指数持
  2. 台风“竹节草”趋近华东沿海国家防办、
  3. 天津市应急管理局:近期务必远离河道、
  4. 前瞻性的概念设计捷尼赛思斩获红点设计
  5. 与时间赛跑——浙江沿海防御台风“竹节
  6. 河南固始:打好防汛“主动仗”
  7. 回声消除技术给智能设备戴上“降噪耳机
  8. 中国人工智能整体发展跻身全球第一梯队
  9. 暑运以来全国铁路累计发送旅客突破4亿
  10. 基于天舆架构打造五菱星光730将于1
     栏目热点