代理型AI将如何深刻影响网络安全？

Gartner最近发布的2025十大战略技术趋势中，Agentic AI（代理型AI）被排在首位，凸显了Agentic AI 在提高生产力、优化资源配置和创新商业模式方面的巨大潜力。但Gartner同时也强调，Agentic AI 的发展需要强有力的保护措施，以确保与提供者和用户意图的一致性。

imgtec.eetrend.com, Oct. 24, 2024 – 

值得一提的是，同样看好Agentic AI前景的人工智能领域的领袖吴恩达也在提醒人们，要关注 Agentic AI 可能带来的伦理和社会影响，并呼吁各界共同努力，确保 AI 技术安全可控地发展。

安全牛分析认为，Agentic AI 可能将深刻影响网络安全产业格局。网安人需要紧密关注Agentic AI 带来的网络安全发展趋势，未雨绸缪，决胜Agentic AI 驱动的网安未来。

---

为什么是Agentic AI？

吴恩达认为，Agentic AI 的出现是人工智能领域的一场重大变革，Agentic AI将从根本上改变我们与 AI 的交互方式，也将为人类社会带来巨大的价值。

Agentic AI 具有自主设定目标、做出决策和根据对复杂环境的理解采取行动的先进人工智能系统。它通过赋予AI系统更大的自主性、适应性和交互能力，使其能够在复杂多变的现实世界中发挥更大的作用。

与传统的AI系统不同，Agentic AI 不仅仅遵循预定义的规则，而是强调目标导向行为和连续学习能力。通过利用先进的机器学习算法、深度神经网络和复杂的感知机制，Agentic AI 能够在动态多变的真实世界中执行任务、优化决策并从经验中不断进化。

尽管当前Agentic AI 还未能自主给日常工作做出决策，但是Gartner 预测，到2028年，至少15%的日常工作决策将由Agentic AI 自主做出。从自动化的金融投资管理到个性化的医疗诊断，Agentic AI 将重塑各行各业的运作方式。事实上，作为实现Agentic AI目标的一种手段，AI Agent的应用已经非常广泛且成效显著，比如微软的Copilot。同时，很多AI Agent初创公司在各个细分领域探索创新应用，各具特色。

Agentic AI 的一个关键特征是自主性。与需要人工干预和监督的传统AI系统不同，Agentic AI 被设计为在最少人为参与的情况下独立运行。这种自主性使其能够在复杂的现实环境中持续运作，处理大量非结构化数据，并对意外事件做出实时响应。同时，Agentic AI 还具备自适应决策能力，能够根据反馈和环境变化动态调整策略，优化长期效益。

Agentic AI 另一个重要特点是出色的工作流管理能力。通过将复杂任务分解为一系列可执行的子任务，Agentic AI 能够自主协调和调度各个模块，实现高效、灵活的任务执行。这种分布式的工作流管理方式不仅提高了系统的鲁棒性和可扩展性，也为异构模块之间的协同提供了便利。

此外，Agentic AI 还拥有强大的自然语言理解和交互能力。借助先进的自然语言处理（NLP）技术，Agentic AI 能够准确理解人类的指令和意图，提供个性化的服务和支持。

随着算法的不断进步和硬件能力的提升，Agentic AI 有望在未来成为推动生产力提升和商业变革的关键力量。

---

Agentic AI 将带来怎样的风险？

尽管Agentic AI 为各行各业带来了巨大的机遇和效益，但它也引入了一系列新的安全风险和挑战。这些风险主要源于Agentic AI 高度自主、自适应的特性，以及其对海量数据的依赖。如果不加以适当的管控和防范，Agentic AI 可能被恶意利用、操纵，甚至做出危及人类安全和利益的决策。

Agentic AI 的自主决策能力可能带来意想不到的后果。

由于缺乏人工监管和干预，Agentic AI 可能基于有缺陷的数据、算法或价值观做出错误甚至有害的判断。早在2016年，微软聊天机器人Tay在上线不到24小时，就因为学习了大量充满偏见和仇恨言论的数据而被迫下线。这一事件在一定程度上预见了Agentic AI 在伦理道德方面的潜在缺陷和风险。

Agentic AI 通常需要访问和处理大量敏感数据，这引发了严重的数据隐私和安全问题。

arXiv 上的一篇论文指出，这种访问权限带来了重大风险，包括未经授权获取敏感信息、潜在利用系统漏洞以及滥用个人或机密数据。人工智能系统的复杂性加上其处理和分析大量数据的能力，增加了数据泄露或被侵犯的可能性，这可能是无意中发生的，也可能是通过对抗性操纵造成的。此外，Agentic AI可能获得更大的自主权，它们绕过或利用安全措施的能力成为一个日益严重的问题。

Agentic AI 还面临着被恶意操纵和利用的风险。

Agentic AI系统可能通过及时注入或数据中毒（Data Poisoning）等技术被劫持，从而允许恶意行为者操纵他们的决策过程。这可能会导致在没有人工监督的情况下自主采取有害操作。数据中毒攻击已经在多个领域被证实可行，包括自动驾驶、人脸识别等。一旦Agentic AI 被成功操纵，其自主性和连续学习能力可能被用于执行恶意活动，带来严重的网络安全隐患。

Agentic AI 的跨平台部署和互联互通也大大扩展了潜在的攻击面。

随着越来越多的AI代理被集成到关键基础设施、物联网设备和云服务中，网络攻击的切入点和传播路径也变得更加多样化。一旦某个节点被攻破，整个AI生态系统都可能受到牵连，导致大规模的系统瘫痪和数据泄露。

Agentic AI 带来了新的合规性挑战。

Agentic AI 的使用在遵守数据保护法规方面（例如我国的数据安全法、个人信息保护法及欧盟的GDPR）提出了重大挑战。确保这些系统遵守有关数据处理和用户同意的法律要求可能很复杂。

---

如何应对Agentic AI 风险？

面对Agentic AI 所带来的种种安全风险和挑战，组织和个人都需要采取积极主动的应对措施。这些措施涵盖了技术、管理、法律等多个层面，需要多方协同、持续改进，方能构建起全方位的防护体系。

建立健全的AI治理框架是应对Agentic AI 风险的关键一环。

组织需要制定明确的政策和规范，规定AI系统的开发、部署和监管流程，确保其在合法合规的前提下运行。同时，还要建立科技伦理委员会等专门机构，负责审核AI系统的决策过程和结果，确保其符合伦理道德和社会价值观。对于敏感领域和高风险应用，如医疗、金融等，还需要建立更为严格的准入门槛和监管机制。

持续的安全监测和审计是控制Agentic AI 风险的有效手段。

组织应该部署专门的安全监控工具，建立全面的监控系统，实时跟踪AI系统的运行状态、数据流向和决策过程，及时发现和响应异常行为。同时，还要定期开展全面的安全审计，评估AI系统的脆弱性、合规性和风险等级，并根据审计结果优化完善相关的安全控制措施。

采用先进的安全技术和架构也是提升Agentic AI 防御能力的重要途径。

这包括应用数据加密、访问控制、身份认证等基础安全措施，保护敏感数据和关键资源不被非法访问和窃取。同时，还可以利用区块链、联邦学习、差分隐私等新兴技术，在保护数据隐私的前提下，实现多方安全协作和价值交换。

人机协同，保留人类监督环（Human-in-the-Loop）是控制Agentic AI 风险的重要手段。

尽管Agentic AI 拥有高度自主性，在关键决策过程中保持人工介入和监督，以确保对主动型系统行为的问责和监督。通过设置合理的人机交互节点和审核机制，可以及时纠正AI系统的错误决策，防止其做出危及人类安全和利益的行为。这种人机协同的模式不仅提高了AI系统的可解释性和可控性，也为人类提供了必要的最终决策权。

提高全社会的AI安全意识和素养至关重要。

组织应该加强对员工的AI安全教育和培训，普及AI风险防范知识，提高员工的警惕性和应变能力。同时，政府和教育机构也应该加大力度，在全社会范围内推广AI伦理和安全教育，引导公众正确认识和使用AI技术，共同营造一个安全、健康、可信的AI生态环境。

---

Agentic AI 将如何改变网安格局

随着Agentic AI 技术的快速发展和广泛应用，网络安全的威胁形势可能将发生深刻变化。Agentic AI 所具有的自主性、适应性和大规模部署能力，不仅为网络攻防双方提供了新的工具和手段，也对传统的网络安全格局和趋势产生了重大影响。

Agentic AI 将大大提升网络攻击的智能化水平和破坏力。

传统的网络攻击通常依赖于预定义的规则和漏洞，其适应性和灵活性有限。但是，装备了Agentic AI 的攻击工具可以自主学习和进化，根据目标环境的特点动态调整攻击策略，甚至发现并利用零日漏洞。同时，大量自主攻击代理的协同作战，也将使网络攻击的规模和烈度空前提升，给防御方带来巨大压力。

Agentic AI 也为网络防御带来了新的机遇和挑战。

一方面，智能化的AI防御系统可以实时监测海量安全事件，自动化地识别和响应各类威胁，大幅提升防御的效率和精度。另一方面，AI防御系统也可能成为攻击者的重点目标。一旦防御系统被攻陷或误导，整个网络的安全将面临崩溃的危险。因此，如何确保AI防御系统自身的安全性和鲁棒性，成为网络安全领域的一大挑战。

Agentic AI 的大规模应用也极大地扩展了网络攻击面。

随着AI系统被广泛集成到各类终端设备、应用服务、云平台之中，网络攻击的潜在切入点和传播路径也变得更加多样化。特别是在物联网、工业控制、自动驾驶等领域，AI系统的安全漏洞可能直接危及人身和财产安全。这对传统的网络边界防护策略提出了严峻挑战，需要重新审视和设计全新的纵深防御架构。

Agentic AI 的决策不透明性也引发了新的安全隐患。

由于AI系统的判断过程通常难以解释和审计，一旦出现错误或失控，其影响范围和严重程度可能难以评估和控制。这不仅给企业的合规管理带来困扰，也为监管机构的执法工作增加了难度。因此，如何提高AI系统的可解释性、可审计性和可问责性，成为网络安全治理的重要课题。

Agentic AI 的发展也对网络安全人才提出了更高要求。

未来的安全专业人员不仅需要精通传统的攻防技术，还要具备AI算法、大数据分析、行为建模等前沿技能，能够深入理解AI系统的运作原理和安全风险。同时，网络安全团队也需要与AI开发团队紧密协作，在系统设计之初就融入安全和隐私保护理念，实现"内生安全"。

面对汹涌而来的Agentic AI 浪潮，企业和组织需要及时调整安全策略和防御架构，全面评估和应对AI带来的新风险和挑战。同时，产学研各界也要加强协作，在AI安全基础理论、关键技术、标准规范等方面取得突破，为网络空间的可信、可控发展提供坚实保障。只有这样，我们才能在享受AI红利的同时，构建起安全、健康、可持续的智能网络生态。

---

本文转自：安全牛，转载此文目的在于传递更多信息，版权归原作者所有。如不支持转载，请联系小编demi@eetrend.com删除。

点击阅读更多