资源描述
AISecOps智能安全运营 技术白皮书 2020 绿盟科技威胁情报中心 绿盟科技创新中心 版权声明 为避免合作伙伴及客户数据泄露,所有数据在进行分析前都已经 过匿名化处理,不会在中间环节出现泄露,任何与客户有关的具体信息, 均不会出现在本报告中。 关于绿盟科技 绿盟科技集团股份有限公司(以下简称绿盟科技),成立于2000年4 月,总部位于北京。公司于2014年1月29日起在深圳证券交易所创业板 上市,证券代码:300369。绿盟科技在国内设有40多个分支机构,为政 府、运营商、金融、能源、互联网以及教育、医疗等行业用户,提供全线网 络安全产品、全方位安全解决方案和体系化安全运营服务。公司在美国 硅谷、日本东京、英国伦敦、新加坡设立海外子公司,深入开展全球业务, 打造全球网络安全行业的中国品牌。 AISecOps 智能安全运营技术白皮书 I 目录 CONTENTS 目录 CONTENTS 1.历史漏洞回顾4 1.1漏洞数量逐年显著增长4 1.2漏洞数量逐年显著增长5 1.2.1漏洞数量逐年显著增长8 1.2.2漏洞数量逐年显著增长9 2.漏洞利用情况4 2.1典型漏洞攻击事件监测举例4 2.2实际攻击中常用到Nday漏洞5 3.漏洞发展趋势4 3.1浏览器漏洞种类复杂多样4 3.2文档类型漏洞是鱼叉攻击的重要载体5 摘要2 0执行摘要 .1 1安全运营发展背景与趋势 .3 2智能安全运营的挑战 .7 2.1数据接入:数据膨胀与系统瓶颈 . 8 2.2数据融合:多源异构与本体建模 . 9 2.3线索发现:召回模型与高误报率 . 10 2.4事件推理:语义模糊与依赖爆炸 . 11 2.5人机协同:黑盒模型与低质交互 . 12 2.6智能引擎:攻击失效与数据风险 . 12 3AISecOps 智能安全运营技术体系 .14 3.1AISecOps 核心内涵 . 15 3.2AISecOps 指标体系 . 16 AISecOps 智能安全运营技术白皮书 II 目录 CONTENTS 3.3AISecOps 数据分类 . 17 3.4AISecOps 技术框架. . 18 3.5AISecOps 技术成熟度矩阵 . 20 4AISecOps 前沿技术概述 .23 4.1融合建模 . 25 4.1.1超融合知识图谱 . 25 4.2风险感知 . 30 4.2.1情报要素自动化提取 . 30 4.2.2网络实体测绘画像 . 32 4.2.3攻击检测与分类 . 34 4.2.4异常行为分析 . 36 4.2.5团伙行为发现 . 38 4.3因果认知 . 40 4.3.1狩猎查询专用语言 . 40 AISecOps 智能安全运营技术白皮书 III 目录 CONTENTS 4.3.2攻击意图理解 . 42 4.3.3攻击路径溯源 . 44 4.3.4威胁情报归因 . 46 4.3.5告警分诊与误报缓解 . 48 4.3.6态势感知与预警 . 50 4.4鲁棒决策 . 52 4.4.1风险偏好学习 . 52 4.4.2攻击模拟动态规划 . 54 4.4.3自适应防护策略生成 . 56 4.5可靠行动 . 58 4.5.1透明可审计响应 . 58 5AISecOps 技术发展趋势 .61 5.1构建可信任安全智能技术体系 . 62 5.2共建 AISecOps 技术生态 . 63 AISecOps 智能安全运营技术白皮书 IV 目录 CONTENTS 6总结 .65 7参考文献 .67 AISecOps 智能安全运营技术白皮书 1 执行 摘要 0执行摘要 随着全球数字经济的蓬勃发展,网络安全与物联网、工业互联网、云计算、 5G等多种场景和技术 进行融合,全面、深刻地改变了传统物理安全、生物安全、公共安全、国家安全等多层次的安全体系面 貌。网络空间攻击面不断扩大,恶意攻击者规模化、组织化、军事化,攻击技术的自动化、智能化、武 器化,在多种因素的作用下,在网络边界堆砌防护设备以期拒敌千里之外的思路已经失效。 面对日趋白热化、持续化的网络攻防对抗环境,安全运营(Security Operations , SecOps)面向人、 技术、流程的集成与融合,提升安全防御资源的全局性、协同性,已成为安全能力落地,发挥防御体系 有效性,对抗高级威胁的最直接、最关键环节。 可以预见,随着安全大数据的采集与智能分析技术的成熟,基于人工智能的安全运营技术方案 (AISecOps)将大幅提升威胁检测、风险评估、自动化响应等关键运营环节的处理效率,大幅减少对 专家经验的过度依赖,有效降低企业、组织乃至国家级关键信息基础设施、数据资产的整体安全风险。 与此同时,智能安全运营技术能力的发展仍然在起步加速阶段,在体系架构、评估方法、数据融合、技 术方向等多个层面,缺乏系统性的归纳与梳理。借此契机,绿盟科技推出 AISecOps智能安全运营技 术白皮书,旨在对 AISecOps智能安全运营技术的关键概念、成熟度、架构、技术等维度进行一个全 面的总结与介绍,期望为读者带来全新的技术思考,促进 AISecOps技术生态的构建,助力网络安全运 营产业的技术升级。 本白皮书的主要观点如下: 对安全专家资源的需求与供给出现巨大剪刀差,安全运营智能化势在必行 传统专家驱动的安全运营,在数字时代,大规模安全运营数据接入的背景下难以为继,亟需提升安 全运营的自动化水平。 AISecOps智能安全运营技术不是 AIOps(智能运维)、 AISec(安全智能)、 SecOps(安全运营) 方案技术的简单叠加 AISecOps在网络空间高度对抗环境下,面向安全运营风险管控的核心指标与关键环节,基于行为、 环境、情报、知识等多维、多源数据,通过人 -机智能融合,以全面提升安全运营能力的自动化水平。 当前 AISecOps技术发展尚处于快速演进阶段,多项子技术的成熟度亟需升级 AISecOps 智能安全运营技术白皮书 2 执行摘要 通过构建 AISecOps技术框架,并形成技术成熟度矩阵,可以看到 AISecOps多个阶段的关键技术 能力远未成熟,技术研究任重而道远。 唯有可运营技术才能有效支持网络安全运营 数据智能驱动方法需要提升在安全语义适配、攻击意图理解、决策依据透明、深度人机互动等多方 面的可运营属性,以提升机器智能与运营专家的数据、知识融合水平。 构建 AISecOps技术“内功心法”图谱,对抗威胁的组织化、规模化、武器化 单点的、孤立的安全智能应用已经难以满足安全运营的系统化需求,通过构建细粒度的、场景化的、 适当抽象的运营技术能力中台,支撑安全运营全生命周期智能化发展。 可信任安全智能是智能安全运营技术的未来 唯有高预测性能、透明可解释、安全鲁棒、合法合规的可信任安全智能,才能支撑网络安全运营中 的关键决策输出,有效提升运营的自动化水平。 促进 AISecOps技术生态建设,共建网络安全纵深防线 AISecOps技术尚在起步发展阶段,需要技术生态的构建,促进相关标准的制定、数据与技术的共享、 人才的培养,营造网络安全运营智能化大时代技术氛围。 AISecOps 智能安全运营技术白皮书 3 安全运营发展背景与趋势 1安全运营发展背景与趋势 1 安全运营发展背景与趋势 AISecOps 智能安全运营技术白皮书 4 安全运营发展背景与趋势 图 1安全运营技术发展趋势 回顾安全产业的发展历程,在从计算机安全,到信息安全,到网络空间安全,再到数字安全,安全 产业概念演进的背后,是网络信息化引领时代技术发展的核心趋势。然而,随着网络空间攻击面不断扩 大,恶意攻击者持续规模化、组织化,攻击技术的自动化、智能化、武器化,多种因素的作用下,使得 传统“高筑墙,广积粮”在网络边界堆砌防护设备的被动防御思路逐渐失效。面对日趋白热化、持 续化的网络攻防对抗环境,安全防御的思路开始不再局限在安全边界,逐渐形成更为成熟、更为完备的 滑动标尺防护视角。边界防御的左移,是系统化的安全内生机制;右移是情报智能驱动的主动防御。零 信任、威胁诱捕、威胁狩猎、安全开发、安全运营等支撑安全内生、主动防御的思路成为安全业界的共识。 安全视角的扩展,给网络空间安全防御方提供了完整的战略架构设计,然而,回到安全攸关的攻防 战场,技术的演进更直接关系到战略实施的有效性。从技术演进的角度,攻防能力的较量已经逐渐演变 为攻防参与者的军备竞赛。资源的投入决定了攻防双方的能力上限,然而防御之力有限,攻击之面无界, 攻防信息的严重不对称性,决定了安全防守方处于被动的局势之中。如何在有限的信息、资源下,充分 覆盖安全滑动标尺的能力范畴,有效降低企业、组织乃至国家的系统性安全风险,打赢网络空间的渗透 战、攻坚战,已成为全面数字时代网络安全的最关键目标。 安全风险的感知、监控、预警、处置、评估等需要系统性、持续性的运营机制来保证,正是这个驱动力, 使得安全运营成为整个安全防御生命周期至关重要的组成和技术发展的热点。安全运营能力的成熟度, 也已成为决定整个安全基础架构、安全防御机制、安全防护设备、安全研究技术能否有效发挥作用的最 AISecOps 智能安全运营技术白皮书 5 安全运营发展背景与趋势 关键因素之一。近年来,安全运营中心、可管理的安全运营服务、威胁情报运营等运营技术设施驱动了 新一轮的安全产业发展。于此同时,安全运营技术,包括威胁识别与检测、事件预警、事件溯源、自动 化响应等等,也是安全研究领域的热点,围绕安全运营的流程构建、技术实现、人为因素等多方面的研 讨活动层出不穷。正如近现代战争的成败很大程度上决定于现有战略资源的调度能力,安全运营能力, 实际上是技术、人、流程等多环节安全能力的综合体现,是协调、调度、整合安全资源实现网络空间防 御的关键环节。无论是安全左移追求安全机制内生,还是安全右移促进主动安全防御,安全运营愈发成 为安全能力内外兼修的必由之路。 安全运营( Security Operations, SecOps)的关键在于,通过流程覆盖、技术保障及服务化,为企 业、组织等实体提供脆弱性识别与管理、威胁事件检测与响应等安全能力,以充分管控安全风险 1 。安 全运营中的概念核心就是管理风险,而风险的度量是动态的、持续的、相对的。在不同的网络环境下、 在不同的攻防场景下、在不同的资源配比下、在不同的风险偏好认知下,风险具有不同的表现形式。风 险难以消灭,在有限的资源投入下,企业或组织能够对安全风险可识、可管、可控,则表明其具有弹性 的(Resilience)、健壮的(Robustness )安全能力。 正是由于安全运营风险驱动的特性,对风险的认知的演进,决定了安全运营认知的方向。整体来看, 安全运营技术和产业经历了单点攻防、边界防御、安全运营中心的发展历程,并最终向运营智能化的方 向持续演进。 单点攻防 伴随着互联网时代的到来,针对个人电脑的恶意软件率先爆发。网络世界的威胁趋势 逐渐呈现在大众面前。此时恶意软件正是最大的安全风险,大量的攻防专家开始投入到反病毒 软件的研制当中。安全运营的概念还未成型,专家即服务是典型的安全能力交付方式。 边界防御 利益驱动之下,攻击与威胁逐渐组织化、产业化;于此同时,大规模互联网服务与 IT 系统软件的迅速演进,软件漏洞引发的安全脆弱性问题浮出水面。为此,抗 DDoS攻击、入侵 检测系统、远程漏洞扫描系统应运而生,快速构建起网络防御边界。并随着攻防研究的深入, 威胁场景的快速迭代,此时的安全运营从萌芽到成长,渗透测试、风险评估团队的配套逐渐成型, 设备和维护即服务成为主流。 安全运营中心 高级持续性威胁( Advanced Persistent Threat,APT )和相关事件的出现,给边 界化防御的思路带来巨大的冲击;于此同时,多层次的安全政策、规范形成合规性要求。多个 因素的汇集形成整个网络空间认识的颠覆性变化。常态化、协同化、纵深化和智能化的防御思 AISecOps 智能安全运营技术白皮书 6 安全运营发展背景与趋势 路成为业界共识。此时,安全运营理念和架构逐渐成型,安全运营中心( Security Operations Center, SOC)遍地开花,以中心化的方式管理威胁、脆弱性、资产等风险相关的流程和数据, 并辅以行为分析、蜜网诱捕、威胁狩猎、情报融合等高级安全技术,提升安全运营的效率。运 营即服务,正成为当前网络空间防护的关键趋势。持续自适应风险与信任评估( Continuous Adaptive Risk and Trust Assessment,CARTA )架构与理念,也正是在这个背景下得以普及。 运营智能化 安全运营团队,是支撑安全运营中心化运作的核心。安全运营的萌芽、发展与成熟, 映射出的是背后人与人对抗的认知与技术升级。然而,随着网络空间对抗关联流程链路的增长、 数据规模爆炸、技术复杂度提升,人力资源与风险管控的目标要求之间,逐渐形成巨大的需求 剪刀差。这种数字化时代的关键特征,倒逼网络安全运营突破依赖安全专家的传统“人工”阶段。 提升安全运营技术与流程的自动化、智能化水平,已成为网络安全风险治理与防控的必备条件。 智能赋能运营,是数字化时代运营即服务的基础保障。 安全运营智能化趋势已成为必然。流量分析、行为分析、样本分析、威胁关联、自动化响应等技术 越来越多地采用了机器学习算法、图算法、强化学习算法,尽管如此,现阶段安全智能的发展水平,仍 难以满足安全运营对威胁发现实时性与准确性、事件自动化溯源、风险决策自动化等多方面的要求。距 可用、成熟的智能安全运营服务,我们还有很长的路要走。 AISecOps 智能安全运营技术白皮书 7 智能安全运营的挑战 2智能安全运营的挑战 智能安全运营的挑战 2 AISecOps 智能安全运营技术白皮书 8 智能安全运营的挑战 数字时代的背景下,数据和智能驱动的安全对抗,技术平台的自动化、智能化水平,愈发成为网络 空间中攻防双方角力的重点。回归到攻防的战场上,我们希望能够得到的是一个能处理海量异构多源数 据,快速检测、溯源和预测威胁事件,辅助安全团队进行分析、推理、处置的自动化安全运营平台。 本质上,安全运营中大规模数据分析的困难来自于攻守的不平衡性。可持续的安全运营的目标是在 合理的投入产出比下,持续的监控并降低企业和组织的系统安全风险。安全运营的目标不仅仅是在态势 感知大屏上看到威胁趋势,而是真正要发现并处置真实威胁,例如进行针对高隐匿性、低频的高级威胁 的威胁狩猎。 安全运营智能化,可借助人工智能和自动化编排等技术,有效提升安全运营能力的自动化水平,降 低威胁分析与响应的周期,减少对人力投入与专家经验的依赖,简化安全运营流程。 但在真实的网络空间中,敌暗而我明,智能安全运营需要大规模地采集多维度的数据进行分析,但 处理海量数据给安全运营团队带来了前所未有的挑战,如依赖爆炸、告警疲劳、大海捞针(威胁)等难 题,都可能是整个运营团队的梦魇。除此之外,技术瓶颈,专业人才匮乏,流程低可操作性等问题,都 将降低安全运营的有效性。 以下,从网络安全运营关键实用性的角度,总结安全运营中大数据带来的关键技术挑战。 2.1数据接入 :数据膨胀与系统瓶颈 图 2溯源数据分析系统的一般技术框架 2 如前所述,一方面高级威胁低频且具有隐匿性,另一方面企业和组织需要持续进行风险管控。因此, 为全面的评估系统风险,所需采集的数据种类多、数据规模异常庞大。以终端侧日志分析为例,图 2展 示了一个典型终端威胁检测处理系统的架构,涉及从数据采集、数据管理、威胁检测等多个环节。如果 没有有效的预处理环节,单台用户主机的日常流量、终端行为日志量至少每天可达数百兆字节,更不用 AISecOps 智能安全运营技术白皮书 9 智能安全运营的挑战 说提供服务资源等功能性节点。不止是数据吞吐量大,为了满足合规需求,支持事件溯源、关联等威胁 分析任务,所采集的数据往往需要长达数百天的持久化留存。这些数据的采集、传输、存储等给计算、 网络、数据库等各个系统环节带来巨大的压力。其衍生后果就是,许多采集能力被禁用,大量数据在预 设的价值判断策略下被提前丢弃,这可能导致威胁线索和证据链的时效。数据爆炸所产生的这些现实问 题成为 XDR(eXtended Detection and Response )等技术方案落地的关键阻碍。 2.2数据融合 :多源异构与本体建模 大规模数据分析需要终端侧、网络侧、沙箱侧、蜜罐侧的日志告警,以及威胁情报、知识库、 IT资 产、扫描的漏洞、 HR信息等多源异构的数据,且依赖高层次数据模式的融合,一个典型的本体设计防 范如图 3所示 3 。现阶段欠设计、低耦合、低交互的数据集成造成了数据爆炸,难以建立高质量的融合 数据基础。多源多维数据规范化、本体化、体系化,始终是智能分析技术的基石。当前,各类不同厂商 的网络安全设备执行不同的数据命名、标注策略,亟需在统一的语义下实现数据接口的统一规范化,以 实现低成本的数据集成与交互。同时,多源异构数据中包含大量关联实体、重复实体,为实现这些数据 实体的一致性关联分析,需要以全局的视角,将数据抽象本体化,设计体系化数据模型。例如,以图模 型整体建模实体节点及实体间的交互行为,能够自然利用网络数据的关联属性,并进一步应用多种图分 析策略与方法。 图 3CyGraph 本体设计 AISecOps 智能安全运营技术白皮书 10 智能安全运营的挑战 2.3线索发现 :召回模型与高误报率 传统基于静态规则的安全策略,难以快速应对高度产业化、武器化的攻击技战术快速演进。行为分 析、意图分析、用户画像等技术,通过多维度的数据挖掘建立用户行为基线、提取行为模式,能够有 效弥补传统静态方法的不足。然而数据驱动的威胁线索识别,仍然逃不出高误报率的魔咒。以 ATT&CK (Adversarial Tactics, Techniques, and Common Knowledge )驱动的行为分析为例,该矩阵中的大部 分攻击技术抽象都是召回策略驱动的。如下图所示,是 MITRE所跟踪观测的 93个 APT组织利用次数 最多的十种技术 4 (该技术划分命名基于改版之前的 MITRE矩阵,尚未包含子技术的概念)。其中能 够直接对应到攻击行为的技术描述,只有鱼叉式网络钓鱼( Spearphishing Attachment),凭证窃取 (Credential Dumping )和文件混淆(Obfuscated Files)这三类,其他七类技术划分单独来看,都是正 常网络行为与操作。 ATT&CK的关键目标在于覆盖和召回,而从安全运营的视角来看,在事件规模膨胀 的现状下,误报率是一个非常关键的有效性衡量指标。一项针对赛门铁克终端告警的分析表明,由 34 台机器触发的 58096条告警中,与检测目标 APT29行为相关真实告警只有 1104条,告警的精度只有 1.9%。海量告警场景下高误报告警带来的误报疲劳,会最终降低整个安全运营团队的运转效率 4 。 误报不止是召回模型的模型设计本身引入的,在机器学习的统计建模过程中,样本空间的不对称性, 训练数据与实测数据的分布偏差等多方面的因素,会进一步导致模型预测性能在实际运行中的大幅衰减, 同样会产生大量误报。 图 4MITRE APT 关联的常见技术统计 AISecOps 智能安全运营技术白皮书 11 智能安全运营的挑战 2.4事件推理 :语义模糊与依赖爆炸 安全事件日志是网络实体的高层次目标与具体行动的数据层次映射,具有潜在的行为层次语义化、 结构化关联与逻辑依赖关系。仍以 ATT&CK驱动的威胁检测为例,通过阶段划分,给具体技术的归类 赋予了一定的语义关联,为安全团队讲故事提供了线索串联的范本。然而,从数据挖掘和关联的角度, 有两个重要的问题需要考虑。第一个问题是一词多义,是指一个技术可能横跨多个战术实现,并以不 同的粒度出现在一定的威胁上下文中 5 。例如 T1053定时任务( Scheduled Task/Job),包含在执行 (Execution )、持久化( Persistence)和提权( Privilege Escalation)三个战术目标中。 ATT&CK将 T1053技术划定为一种统一的技术,并未针对具体战术进行细粒度的描述。这本质上是由 ATT&CK的 技术抽象层次决定的,然而这给数据分析任务带来新的挑战需要解决充分理解技术触发的上下文, 并赋予该技术明确的战术语义。 图 5APT 29 攻击溯源数据图 4 第二个问题是依赖爆炸。这包含两个层次,第一个层次是 ATT&CK的战术模型不是因果模型,也不 具有统计意义。我们可以从 MITRE提供的 APT实例中看到具体的技战术执行数据流。然而,在实际检 测、溯源分析中,技战术的跳转是矩阵中的多战术之间、单战术之内的多种技术方案的排列组合问题, 在任何特定场景和实际环境中的高级威胁行为序列是独特的,规律性难以捕获。第二个层次是在细粒度 的溯源数据层面(Provenance),现阶段的数据采集在一定的资源限制下,难以精细刻画信息传递流。 像文件操作、网络输入、进程创建等,存在一对多、多对多的路径依赖问题。由于该层次数据的细粒度 特性,依赖爆炸直接加剧了数据存储、检测、溯源等各个环节的技术难度。 AISecOps 智能安全运营技术白皮书 12 智能安全运营的挑战 2.5人机协同 :黑盒模型与低质交互 当前阶段,网络安全运营关键环节的决策主体仍然是人。安全运营平台需要建立与运营人员的沟通 机制,以有效实现人机智能协同。如图 6所示,基于深度学习等复杂不可解释的黑盒模型,以及低交互 甚至无交互的人机交互流程设计,是人机协同机制构建的重要阻碍。在数据驱动的应用场景下,人工智 能系统需要以足够透明、可解释的方式输出其判断逻辑和决策过程。不可信任的人工智能,显然不能够 胜任任何对系统安全和人身安全攸关的关键性场景,这将大大降低其可用性和适用范围 6 。在网络安全 运营的场景下,黑盒人工智能模型,所提供的识别、检测结果,甚至是推荐策略,如果不能够提供人能 理解的、可供审计的判断解释依据,将无法被集成到自动化的运营流程当中去。 图 6不可解释的黑盒模型 7 除此之外,需要有效的反馈接口、理解引擎,将人类的反馈信息融合到实时调整的模型参数和结构 当中去。当前安全运营中心所依赖的 SIEM、SOAR 等平台,绝大部分都是被动的记忆模式机械的 记录输入的规则和历史剧本。这种低泛化或无泛化能力的机制无法有效实现真正的人机智能融合。 2.6智能引擎 :攻击失效与数据风险 人工智能自身的安全性问题,同样是安全运营智能化数据分析实践应用中不可回避的挑战之一。当 前针对人工智能模型与算法的攻击技术频出,通过对抗样本等手段可诱发错误的机器判断。结合安全语 义语法规则,对抗样本、对抗载荷能够绕过防护设备的检测与分析,甚至导致模型对实时基线的误判, 造成对正常业务的误杀。保证智能安全运营系统组件的安全鲁棒性,需要安全及数据分析团队在模型、 算法构建之初充分考虑。 此外,如图 7所示,智能化引擎的训练、识别过程可能涉及企业安全运营中的个人隐私数据与企业 AISecOps 智能安全运营技术白皮书 13 智能安全运营的挑战 敏感数据,攻击者可通过参数推断、模型窃取等技术手段实现数据盗取。因此数据安全性也已成模型落 地过程中的关键考量因素,以降低智能化技术引入的伴生数据风险。 图 7人工智能模型的主要攻击面 8 AISecOps 智能安全运营技术白皮书 14 AISecOps 智能安全运营技术体系 3 AISecOps 智能安全运营技术体系 AISecOps智能安全运营技术体系 3 AISecOps 智能安全运营技术白皮书 15 AISecOps 智能安全运营技术体系 AISecOps技术发展尚处于初级阶段,本章将全面梳理、总结、提出 AISecOps的技术内涵、指标体 系、数据分类、技术框架、成熟度矩阵等关键概念和理论,以明确 AISecOps技术的发展方向与技术路线。 3.1AISecOps 核心内涵 从基本的词语组合来看,AISecOps 由 AISec,SecOps,AIOps 三大核心技术组成。 人工智能安全(AISec)的技术融合给行业带来了新的期盼。无论是 AI自身安全还是基于 AI的安全 应用,都已成为学术界和工业界的热点话题。 AI技术在诸多单点安全技术和指定场景中,如恶意软件分类、 恶意流量识别、入侵检测等,已取得不错的应用效果。 IT智能运维( AIOps)亦是整个互联网、智能计算领域的研究热点 9 。该技术方向重点关注复杂 IT 系统环境的异常检测、根因定位、告警分诊等关键技术。不过, IT运维不同于安全运营,缺乏对网络威胁、 脆弱性、资产等核心风险要素的系统化建模,相关技术经验难以直接复用到安全运营场景中。 最后,安全运营( SecOps)作为应用场景与目标,主要由流程、人和技术三个核心要素构成。本 文更关注技术要素在智能安全运营时代下的发展趋势。传统安全运营的技术能力主要由安全专家提供, 例如告警分类分级、威胁狩猎、样本分析、威胁溯源等等。然而,基于安全专家的运营能力与快速膨胀 的防护需求之间,已逐渐形成巨大的剪刀差,安全人才的缺口与瓶颈日趋严峻。因此,探索智能安全运 营技术方案,已是迫在眉睫。 图 8AISecOps 核心技术能力拆解 AISecOps,智能安全运营技术并不是简单地 AISec、SecOps 和 AIOps技术的加和。人工智能赋能 的有效性,一方面取决于人工智能技术自身的发展水平,另一方面,更决定于人工智能技术与相关应用 场景在核心目标、体系架构、功能需求、数据模型的多方面的融合程度。智能化是手段,而不是目标。 为此,本文归纳了智能安全运营的核心内涵,以明确技术实现与发展的范畴: AISecOps 智能安全运营技术白皮书 16 AISecOps 智能安全运营技术体系 “AISecOps技术是以安全运营目标为导向,以人、流程、技术与数据的融合为基础,面向预防、检测、 响应、预测、恢复等网络安全风险管控、攻防对抗的关键环节,构建数据驱动的、具有高自动化水平的 可信任安全智能技术栈,实现安全智能范畴下的感知、认知、决策、行动能力,辅助甚至代替人在动态 环境下完成各类安全运营服务。” 不同于 AISec实践中智能化技术与安全领域的单点结合,智能安全运营是在核心运营指标的导向下, 系统、深入的多维融合智能化技术方案,以适应安全运营不同阶段、不同任务场景的应用需求,这对传 统人工智能技术的鲁棒性、可信性、安全性提出了全新的要求。 3.2AISecOps 指标体系 以上内涵中,安全运营目标是引导技术能力发展方向的关键。因此,本文面向安全运营的关键需求, 自顶向下总结了 AISecOps技术的指标层次,分别包括愿景目标、运营指标和技术指标。其中,技术指 标又可分为数据指标和分析指标。 在此,我们只粗略地划分了指标体系的层次,列举不同层次中的一些关键指标。值得注意的是,在层 次化指标设计的基础上,需要精细化设计指标的依赖性关系与数值化度量,以促进指标体系的有效运转。 网络安全运营能力的提供是目标导向的。从企业、组织、国家的愿景目标出发,进而构建安全运营 任务级别的运营指标,进一步指导构建数据与分析层面的技术指标,最终形成图 9所示的层次化指标体 系,以评估技术实现的有效性。 运营指标 有效事件数、MTTD、MTTR、驻留时间、信噪比、告 警规模、事件影响范围、资产覆盖率 数据指标 覆盖率、规范化、存储范 围、多样性、交互性 分析指标 覆盖率、TOPN召回率/误 报率、整体误报率、 ROC、可解释性 愿景目标 基础设施安全、品牌价值、数据资产、服务稳定性 图 9AISecOps 指标体系 AISecOps 智能安全运营技术白皮书 17 AISecOps 智能安全运营技术体系 愿景目标指企业、组织、国家等主体层面的核心安全、业务、商业目标。例如,维护 IT基础设施 的稳定运行,保护核心数据资产,维护品牌价值的安全性等。这些愿景目标与主体的发展目标密不可分。 运营指标以愿景目标为基础,针对网络安全相关的业务能力制定安全运营核心指标,以评估安全运 营能力水平。在运营指标的导向下,需要有针对性地对数据融合水平和分析技术水平进行评估,以促进 技术能力的迭代。 在数据层面,需要考虑包括覆盖率、规范化、存储时效、多样性、交互性等指标;在分析层面,不 仅要考虑传统机器学习等技术的评估指标,包括预测精确性、召回率、 ROC等,还重点考察场景覆盖率、 TOPN召回率 /误报率、整体 /单点误报率及模型可解释性等面向可运营、易运营的分析指标,合理促 进技术与人、流程的深度融合。 3.3AISecOps 数据分类 图 10AISecOps 核心数据图 当前,大规模多维度网络安全大数据的接入,为通过数据分析发现、处置网络威胁带来了全新机会。 但考虑到可用的存储、计算资源有限,对安全数据源的甄选和统一处理就显得尤为重要。不同于 DIKW 的数据分层模型 10 和 CyGraph的安全 /任务知识栈结构 3 ,从网络攻防的对抗本质出发,以给定的网 络空间为战场,以保护资产(包括实体资产和虚拟资产)并打击威胁主体为目的,智能化的威胁分析应 AISecOps 智能安全运营技术白皮书 18 AISecOps 智能安全运营技术体系 该收集并构建以下维度的关键数据图: 环境数据图。如资产、资产脆弱性、文件信息、用户信息、IT 系统架构信息等。 行为数据图。如网络侧检测告警、终端侧检测告警、文件分析日志、应用日志、蜜罐日志、沙 箱日志等。 情报数据图。各类外部威胁情报。 知识数据图。各类知识库(如 ATT&CK 11 、CAPEC 12 、CWE 13 )等。 各类安全关联数据(包括但不限于以上四个类别)已在很多大数据分析场景中所采用,但仍然没有 成熟、统一的体系描述这些数据的分类和使用模式。故应将这里列举的四类数据,从网络威胁事件分析 实践出发,通过图结构组织起来,实现每个类别图内关联和不同类别图间关联,以满足网络空间对抗的 基本战术需求,包括对环境的掌握、对威胁主体行动的理解、对外部情报的融合以及储备基本知识。四 图分立,又通过指定类型的实体进行关联,保证了不同类型图数据表达能力的同时,实现了全局的连接 能力。 3.4AISecOps 技术框架 图 11AISecOps 技术框架 AISecOps 智能安全运营技术白皮书 19 AISecOps 智能安全运营技术体系 上图阐述了 AISecOps的技术框架,针对安全运营技术中的关键环节,参考人工智能的经典范式“感 知 -认知 -决策 -行动”和经典作战决策 OODA循环模型的“观测 -调整 -决策 -执行”体系 14 ,进行子 任务及其阶段划分,每个阶段包括多个不同子任务。下面详细介绍每个阶段及其完成的子任务。 感知阶段 实现数据级别的融合及基本信息标注,包含识别和检测子任务。识别子任务对大规模 数据中的实体(资产、特征、脆弱性等)及其行为的归类、去重、规范化等,以促进多源、异 构数据的融合。检测子任务区别于识别子任务,从大规模数据池中捕获、标注异常事件、脆弱性、 威胁特征等关键的动静态信息,以标记威胁分析、狩猎、风险分析中的关键线索。 认知阶段 实现线索、事件关联上下文信息的召回与构建,包括关联、溯源、预测子任务。关联 子任务通过跨多数据类别、跨长时间周期进行多维信息整合,提供充分的信息连接视图。溯源 子任务通过回溯及根因分析,查明、识别事件的起源,明确多事件之间的因果及依赖关系。预 测子任务基于当前信息上下文,以路径预测、趋势分析等手段,预判可能的攻击行为、高危的 脆弱性等,实现在攻击意图识别和防护方法运用上领先攻击者 。 决策阶段 根据预设目标综合评估风险,实现任务策略的生成,包括评估和制定子任务。评估子 任务面向核心运营指标,基于行为、环境、知识等关键信息,持续、综合评估网络安全的整体 态势与风险等级,支撑在指定运营成本下的最优研判结果的输出。制定子任务根据动态环境与 行为,自适应选择并生成有针对性的、风险驱动的行动计划和策略,明确行动的具体步骤。 行动阶段 根据计划、策略与步骤,协同调动各行动单元完成行动目标,包括响应和反馈子任务。 响应子任务完成包括策略下发、设备部署、补丁更新、容错修复等平台级、模块级、设备级、 指令集等针对不同层级的风险响应动作。反馈子任务持续收集响应动作执行关联的效果集合, 生成面向流程、人、技术多运营要素交互的数据汇总,以支撑自动化任务下一循环的开展。 以上由低到高层次的感知、认知、决策、行动多个阶段及关联子任务是支撑网络安全运营自动化水 平提升的关键能力。尽管子任务技术水平可独立演进,但高层次阶段的可用性、鲁棒性仍依赖于低层次 阶段技术的成熟度。例如,随着 SOAR(Security Orchestration, Automation and Response )技术的落地, 迅速提升了安全运营中各项任务的自动化水平。 SOAR技术提供了以上矩阵中行动阶段响应与反馈的关 键能力,提供了数据、流程、技术集成的框架与接口,是 AISecOps技术实现运营自动化过程中的架构 基础实现。现阶段 SOAR技术已能够协同多模块在多种场景下完成行动阶段响应子任务的自动化,然而 在当前威胁溯源、攻击预测、风险评估技术尚未成熟的情况下,自动化响应流程会因误报导致的错误阻 AISecOps 智能安全运营技术白皮书 20 AISecOps 智能安全运营技术体系 断等动作妨碍系统正常运行,大幅限制了 SOAR技术的应用场景。 整体上, AISecOps技术框架包含两个大的循环。一个是图中实线覆盖的机器自循环,这是 AISecOps追求的运营关键任务自动化的终极目标。另一个是图上虚线覆盖的人 -机协同循环,这一部 分重点描绘人需要参与到运营自动化的每个关键环节中,同时充分获取机器的数据反馈。高水平运营自 动化实现的要义仍然是对“数据 -信息 -知识”层次化的分析与挖掘,以应对动态不确定性的网络空间 环境与高交互的攻防对抗过程。因此,唯有夯实网络空间数据的多层级任务能力基础,才能避免搭建安 全任务自动化的“空中楼阁”。实际上,现阶段的威胁识别、溯源、预测等关键技术能力的智能化水平, 仍难以有效支持基于 SOAR的精准响应。事件误判、连接误杀、决策黑箱等多种类型的技术瓶颈,使得 更高水平的自动化智能化实现在涉及高风险、关键决策的安全场景下难以有效部署。因此在当前阶段下, 人 -机智能的充分融合,就显得尤为关键了。 3.5AISecOps 技术成熟度矩阵 安全运营是一项复杂的系统化工程,人工智能技术的应用不是一蹴而就的。如今中心化的安全运营 平台收集的流量、日志、标签、指标、事件、规则等多源数据的规模已逾千百倍,智能化、自动化的数 据挖掘方法,已得以规模化应用,然而,在数据挖掘与智能分析关键技术的应用实践过程中,研究、开 发和运营人员普遍遇到了如数据质量低下、算法拟合粗暴、模型产出易误报、难解释、难维护等问题。 图 12AISecOps 技术成熟度矩阵 AISecOps 智能安全运营技术白皮书 21 AISecOps 智能安全运营技术体系 在实践效果难以匹配安全运营迫切需求的背景下,我们提出了分阶段、分层次的 AISecOps技术成 熟度,即自动化能力分级矩阵构建方法,以在统一语义下横纵向定位相关技术的发展层次与现状、应用 范畴、应用深度等。 如图 12所示,按照安全运营关键任务的自动化程度,参考自动驾驶自动化分级 15 ,将 AISecOps 技术的自动化水平划分为 L0L5六个层次,对应无自动化到完全自动化。同时,针对安全运营技术中 的关键环节,按照人工智能的经典范式“感知 -认知 -决策 -行动”进行概念划分,并基本对应经典作 战决策 OODA循环模型的“观测 -调整 -决策 -执行”体系。其中感知层执行识别(如各类实体识别与 分类)和检测(如威胁检测)任务,认知层执行关联(如多源数据集成分析等)、溯源(如回溯攻击路 径)和预测(如预判攻击行为)任务,决策层执行评估(如风险综合评估)和制定(如策略、方案生成) 任务,行动层执行响应(如部署策略)
展开阅读全文