注意！黑客利用“明星塌房”大肆传播病毒

一日千里的 AI 技术发展让很多科技工作者疲于奔命，甚至谈 AI 色变，但是对于网络安全人士来说，AI 在攻防两端掀起的安全技术革命意味着一次无可避免的技能迭代：无论是防御 AI 增强攻击还是强化企业 AI 系统都需要新的安全技能。数据科学、人工智能和提示工程都只是新网络安全技能的冰山一角。

随着人工智能和机器学习模型越来越广泛地融入企业 IT 架构和网络攻击技术，新的风险正在酝酿之中，例如大规模针对性的人工智能网络钓鱼攻击、可以逃避传统安全检测的 AI 恶意软件和勒索软件、毒化 AI 模型的对抗性人工智能攻击等。

传统的网络安全技能，例如渗透测试、威胁建模、威胁搜寻、安全工程和安全意识培训等仍然重要，但是在新威胁背景下，这些技能都需要重新打磨以适应基于 AI 的新工具、新流程甚至新方法和策略。

当前的 AI 威胁场景

Darktrace 的一项研究发现，2023 年前两个月，新型社会工程攻击暴增了 135%，这表明攻击者可能已经开始使用生成式 AI 技术来提高其社会工程攻击的规模和复杂性。

专家预计，使用生成式 AI 快速大规模制作鱼叉式网络钓鱼电子邮件的攻击数量将迅速增长，并可能扩展到基于音频的生成 AI（电话钓鱼）。同样，攻击者还可能会使用神经网络来筛选社交媒体资料，加快对高价值网络钓鱼目标的研究。

这些都是 CISO 们最为担心的问题：人工智能工具泛滥导致难以检测的复杂网络攻击的高度自动化和民主化。

防御 AI 增强攻击的技能

从安全运营中心（SOC）的技能角度来看，攻击的自动化并不新鲜，但人工智能会大大提高自动化攻击的速度和威胁性。这意味着企业需要更加重视对优秀分析师和威胁猎人的人才吸引和培养，他们擅长寻找、筛选和利用新工具，提高检测效率，快速发现和缓解新型 AI 增强攻击。

随着攻击者越来越多地使用基于 AI 和 ML（机器学习）的工具，安全团队将需要新的 AI 自动化套件来寻找与 AI 增强攻击相关的模式。这意味着企业安全团队至少需要对 AI/ML 和数据科学有基本的认识和理解（相关技能或人才），才能提出正确的问题。

大型企业的安全领导者们已经开始着手建设内部数据科学和机器学习专业知识和技能。根据 Forcepoint 首席技术官 Petko Stoyanov 的说法，全球很多 SOC 已经开始投资招募数据科学家来开发定制化的机器学习模型，这个趋势早在 ChatGPT 出现之前就开始了。随着 SOC 越来越重视威胁猎人的作用，这种趋势可能会加速，但安全领导者们可能会面临人才短缺的问题，因为网络安全和数据科学的复合人才极为稀缺。

企业需要通过一些创造性的人员配备和团队建设来克服人才短缺问题。Stoyanov 建议由三名专家组成快速狩猎小组，这三人分别是拥有大量安全经验的威胁猎人、具备数据分析和机器学习经验的数据科学家以及负责产品化和规模化的开发人员。

为威胁猎人提供数据科学和开发方面的人员和资源可以显著提高他们寻找潜伏在网络中的攻击者的生产力，这种 “三个臭皮匠” 的策略能够弥补企业无法招聘到复合型高级人才的缺憾。

除了社会工程攻击之外，生成式人工智能的恶意使用带来的另一个重大风险是自动开发恶意代码以利用更广泛的已知漏洞。

WithSecure 研究员 Andy Patel 指出：“ChatGPT 使编写代码变得极为容易，这意味着漏洞利用也将更加容易。”。Patel 的团队最近为芬兰运输和通信局（Finland Transport and Communications Agency）编写了一份报告，详细介绍了人工智能网络攻击的可能性。一个例子是一个新的支持 ChatGPT 的工具，可以更轻松地枚举大量开源存储库中的安全问题，成为网络安全面临的一个新的潜在风险。

生成式人工智能模型会暴露更多的漏洞，当然，也可能意味着更多的漏洞会得到修复。可以确定的是，在漏洞管理领域将掀起一场人工智能军备竞赛，安全团队将争先恐后地利用人工智能来（抢在攻击者之前）修复漏洞。Patel 认为，在网络安全市场将会看到 “大量使用 LLM（大型语言模型）进行漏洞发现的初创公司”。

除了新工具之外，AI 还可能催生新的安全职位，Software AG 首席布道者 Bart Schouw 指出：“企业可能需要提示工程师这样的新角色来加强他们的团队，” 他说。提示工程是一项新兴的技能，可以让 LLM 输出高质量内容，这在漏洞枚举和分类等多个领域可能非常有价值。

保护 AI 的技能

虽然来自 AI 驱动的新威胁开始蔓延，但企业内部还存在另一个重大风险：人工智能系统自身（以及与之相关的训练数据）可能受到攻击，或导致机密性、完整性或可用性故障。

Vectra 的 AI 研究员 Sohrob Kazerounian 指出：“过去 5-10 年，安全从业者考虑的是如何将更多人工智能整合到安全流程中；但未来 5-10 年，更多的 AI/ML 从业者需要将安全内生化到人工智能技术流程中，安全问题将成为人工智能的首要问题。”

安全专家们已经开始采取行动，将人工智能红队和人工智能威胁建模纳入未来人工智能系统的开发和部署中。这意味着企业需要更多人工智能和数据科学人才来支持他们的红队。

“红队将不得不学习一些攻击 AI 和 ML 系统的专业知识，”Cybrize 的 CSO 兼联合创始人 Diana Kelley 解释道：“企业迫切需要招募对安全方面感兴趣的数据科学人员，反之亦然，就像我们一些最好的应用程序红队人员来自程序开发人员一样.”

这也将是 AI 安全设计的练习，负责在企业中开发和部署 AI/ML 模型的人员应接受安全团队的培训并与之协作，以了解风险并开展模型的安全测试，这将是未来强化这些 AI 系统的关键。

“你需要留住设计和开发 ML/AI 系统的专家，将他们与红队技术黑客组合，然后与安全运营团队进行协作，“Anomali 副总裁兼威胁情报总经理 Steve Benton 认为：“三方应该一起创建潜在的风险场景，对其进行测试和重新设计。企业还需要紫队，而不仅仅是红队。请记住，其中一些测试可能涉及 ' 毒药 '，您需要一个参考模型设置来做到这一点，并能够逐个场景恢复和重新测试。”