360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性

  新浪科技讯 6月26日下午消息,在ISC.AI 2026大会期间 ,360集团首席科学家、集团高级副总裁潘剑锋表示,“去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年 ,AI漏洞挖掘已经把安全人员逼到了墙角。”

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第1张图片

  在他看来,这并非安全人员的淘汰危机 ,而是整个行业加速升级的信号,并针对智能体的天然安全短板,提出了“驾驭AI不确定性”的全新安全治理范式。

360首席科学家潘剑锋:智能体安全的核心	,是驾驭AI不确定性-第2张图片

  潘剑锋认为,传统安全面临的挑战,并不只是攻击手段增多 、攻击速度加快 ,更深层的原因是计算逻辑发生了变化 。

  传统软件建立在确定性计算之上 ,人把不确定的世界抽象、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定 ,模型能够直接处理模糊、开放 、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源 。即便输入相同的任务 ,智能体也可能产生不同的理解 、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面。

  一面来自外部 。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂 ”隐藏指令 ,进而实现模型注入 、指令覆盖等。

  另一面来自内部 。大模型依赖统计规律生成结果,不具备对现实世界的完整、稳定认知,因此无法彻底避免幻觉 ,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时,当智能体开始连续推理 、调用工具,甚至与其他智能体协同工作时 ,一个看似微小的判断错误 ,可能沿着任务链不断传递和放大。

  潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性” 。

  围绕这一变化 ,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图,在推理层减少幻觉和错误判断,在执行层限制智能体的行动边界 。这套思路背后的逻辑是 ,不确定性很难被彻底消除,但可以被识别 、约束和兜底。换句话说,安全不能保证AI永远不犯错 ,但必须确保错误不会直接演变成安全事故。

  在输入层,360通过恶意意图识别引擎,识别隐藏在用户输入、系统提示、工具返回中的攻击意图 ,防止智能体被诱导 、越狱或劫持任务目标,其解决的核心思路是“以模治模 ” 。对于外界普遍关注的360差异化问题,潘剑锋将关键归结为两个字:数据。

  “恶意意图识别模型的专项训练越来越由数据决定。”他表示 ,360长期积累了搜索、安全攻防及监管合规等多类数据 ,形成了一般安全厂商难以获得的语料资源 。实测显示,接入360恶意意图识别引擎后,开源大模型的整体安全性可提升10%至30%。

  在推理层 ,360通过自研的世界认知模型,为大模型提供理解世界内在机制、预测未来状态 、辅助决策的“认知锚点”,约束和引导大语言模型的推理过程 ,从根源上抑制大语言模型的幻觉。

  在执行层,环境孪生沙箱则为智能体划定安全的行动半径,对工具调用、数据访问和系统操作进行监控 ,出现异常时及时拦截和回滚 。

  对于未来的市场格局,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断。“它可能更像手机行业 ,几家大型厂商占据主要市场,同时不同细分领域仍然存在大量专业化空间 。 ”

  他同时强调,AI厂商并不会因为模型能力增强 ,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域。但AI的发展 ,已经开始重新划定安全行业的门槛 。

标签:

相关推荐

  • 【吉林省新增本土54例,吉林省新增30例】

    【吉林省新增本土54例,吉林省新增30例】

    中国哪些地区有疫情截至2025年6月30日,中国艾滋病疫情呈现“南高、北低,西高、东低”的空间分布格局,西南地区为疫情重灾区,病例数排名前十的省市依次为四川、广西、云南、广东、河南、重庆、贵州、湖南、新疆、浙江。非典最先发生在广东,然后开始向周边蔓延,不仅覆盖了全国,甚至还由东南亚传到了全世界。后来经过统计发现,内陆的非典患者有5327人,其中4959人痊...

  • 【广东增本土确诊7例、无症状20例,广东新增7例本土无症状】

    【广东增本土确诊7例、无症状20例,广东新增7例本土无症状】

    31省份新增本土确诊病例108例、本土无症状感染者827例〖壹〗、月19日0—24时,31省份新增本土确诊病例108例、本土无症状感染者827例,具体情况如下:本土确诊病例总体情况:新增本土确诊病例108例,无新增死亡病例,无新增疑似病例。地区分布:甘肃47例,广西21例,广东20例,四川7例,上海5例,安徽4例,江西3例,北京1例。〖贰〗、月24日0时至...

  • 沈阳三地调为中风险地区/沈阳部分地区调整为中风险

    沈阳三地调为中风险地区/沈阳部分地区调整为中风险

    沈阳两地调为中风险地区最新沈阳入境隔离政策最新〖壹〗、沈阳两地调为中风险地区最新情况如下:中风险地区调整:皇姑区舍利塔街道世纪学府和皇姑区明廉街道亿海阳光二期被调整为中风险地区。这一调整是基于沈阳市新增新冠肺炎患者的行动轨迹和活动范围,经过沈阳市新冠疫情防控专家组研判论证,并报请省疫情防控总指挥部同意后做出的。〖贰〗、沈阳两地上升为中风险地区鉴于当前沈阳市...

  • 煤炭1801行情/煤炭今日行情查询

    煤炭1801行情/煤炭今日行情查询

    世界上第一艘用媒碳的船世界上第一艘真正用煤炭驱动的船是1807年下水的“克莱蒙特号”,由美国工程师罗伯特·富尔顿设计建造。工业革命初期,蒸汽机技术逐渐成熟,但如何将它应用到船舶上仍是一大挑战。在1807年,罗伯特·富尔顿设计并打造了世界上第一艘明轮蒸汽船“克莱蒙特”号。这艘船以木质结构建造,并使用煤炭作为动力来源,其时速可达到3公里。紧接着在1815年,...

    2026/07/13
  • 上海新增1例确诊病例(上海新增1例确诊病例行动轨迹)

    上海新增1例确诊病例(上海新增1例确诊病例行动轨迹)

    上海新增境外输入确诊病例1例,在英国探亲后返回,已追踪同航班密切接触者1...〖壹〗、月21日0—24时,上海新增1例境外输入性新冠肺炎确诊病例,无新增本地确诊病例。具体情况如下:病例情况:该病例为中国籍,在英国探亲。4月18日自英国出发,当日抵达上海浦东世界机场,入关后即被隔离观察,期间出现症状。综合流行病学史、临床症状、实验室检测和影像学检查结果等,诊...

  • 【德阳疫情最新情况,德阳疫情实时动态】

    【德阳疫情最新情况,德阳疫情实时动态】

    2022端午节德阳回重庆需要隔离吗?〖壹〗、022年端午节期间,从德阳返回重庆不需要隔离,但需提供48小时内核酸检测阴性证明,并落实相关防控措施。具体说明如下:德阳风险等级与隔离要求德阳在2022年端午节期间为低风险地区,根据重庆当时的防疫政策,低风险地区来渝人员无需隔离,但需满足核酸检测要求。核酸检测要求德阳来渝人员需提供48小时内核酸检测阴性证明。〖贰...

  • 【燃烧油期货行情,燃烧油期货行情分析】

    【燃烧油期货行情,燃烧油期货行情分析】

    燃油2510期货行情〖壹〗、燃油2510期货(即2025年10月到期的燃料油期货合约)的行情受世界原油费用、新加坡燃料油市场供需、国内政策及船运需求等因素影响,需结合实时数据判断。以下是基于市场逻辑的分析框架:核心影响因素世界原油费用:作为燃料油的上游原料,Brent、WTI原油费用波动直接传导至燃油期货,若原油上涨,燃油期价通常跟随走高。〖贰〗、其次,...

  • 河北疫情存多传播链(河北疫情传染源找到了吗)

    河北疫情存多传播链(河北疫情传染源找到了吗)

    河北辛集开展大规模消毒消杀工作,当地的疫情严重吗?疫情严重,扩散迅速。从10月底开始,辛集的疫情就已经零星出现,经过扩散,终于在11月初迎来了爆发。特别是校园的疫情蔓延,让本次的溯源调查更加难以追踪和调查,加上当地居民的警惕放松以及相关部门的松懈,才导致了大规模的爆发。当地采取了严格的防控措施。在严峻的疫情形势下,当地也开展了严格的防控措施。从这组数据可以...

  • 【上期所行情恢复正常,上期所的交易时间】

    【上期所行情恢复正常,上期所的交易时间】

    有色金属这波行情什么时候见顶有色金属行情见顶的具体时间难以精准预测,但可通过钢价补涨、资金撤离和供需反转三大信号综合判断。钢价补涨收尾信号-传统周期中,有色行情通常按贵金属→铜铝→小金属→钢材轮动,钢材补涨往往是行情尾声的标志。这波有色金属上涨更可能是长期趋势,而非短期行情。需求结构转变人工智能、新能源等新兴产业的高速发展正在重塑有色金属需求格局...

  • 苹果行情2019/苹果行情费用今日费用

    苹果行情2019/苹果行情费用今日费用

    2019年什么苹果品种价钱高?新西兰Dazzle丹烁苹果属于高端档次苹果。其高端定位体现在多个方面。鲁丽苹果属于中高端早中熟苹果品种,兼具优质特性与市场竞争力品种定位与核心优势选育背景:由山东省果树研究所通过藤牧一号(母本)与嘎啦(父本)杂交培育,2017年定名推广,是我国自主选育的优良品种。宇宙脆苹果是一种优质苹果品种。培育背景:它由华盛顿州立大学花...

    2026/07/13
返回顶部