美国政府持续深入开展爱因斯坦项目以提升网络威胁感知能力（2019）
作者：互联网
1 项目概述
爱因斯坦计划，其正式名称为“国家网络空间安全保护系统”（National Cybersecurity Protection System，简称NCPS），是美国“全面国家网络空间安全行动计划”（Comprehensive National Cybersecurity Initiative，简称CNCI）的关键组成部分。NCPS以DFI、DPI和DCI技术为抓手，以大数据技术为依托，以CTI为核心，实现对美国联邦政府互联网出口网络threat的持续监测、预警与响应，以提升联邦政府网络的态势感知能力和可生存性。
NCPS由美国国土安全部（DHS）负责设计、运行和协调，大体上分为三个阶段。
借助NCPS，美国联邦政府为其互联网侧态势感知构建起了四大能力：入|侵检测、入|侵防御、安全分析和信息共享。
1.1 入|侵检测
NCPS的入|侵检测能力包括爱因斯坦1（简称E1）探针中基于Flow的检测能力、爱因斯坦2（简称E2）和爱因斯坦3A（简称E3A）探针中基于特征的检测能力，以及2015年启动的在E1、E2和E3A中基于机器学习的行为检测能力（代号LRA）。
NCPS的检测能力不追求检测所有攻|击和入|侵，而重点关注APT类高级threat，因而其检测特征库并不大，但很有针对性，并由美国DOD/NSA提供部分特征信息。
1.2 入|侵防御
NCPS的入|侵防御能力是从爱因斯坦3A（简称E3A）阶段开始的。
NCPS的入|侵防御也不是一般意义上的入|侵防御系统（IPS），其功能设计更加聚焦，更有针对性，并且是由NSA协助（主导）设计的，主要包括4种能力：
l 恶意流量阻断：自动地对进出联邦政府机构的恶意流量进行阻断。这是依靠ISP来实现的。ISP部署了入|侵防御和基于威胁的决策判定机制，并使用DHS开发的恶意网络行为指标（Indicator）来进行恶意行为识别。
l DNS阻断：也就是DNS Sinkhole技术，用于阻止已经被植入政府网络的恶意代码与外部的恶意域名之间的通讯。
l 电子邮件过滤：对所有发给政府网络用户的邮件进行扫描，识别含有恶意代码的附件、恶意URL等，并将其过滤掉。
l Web内容过滤（WCF）：这是2016年加入到E3A入|侵防御中的能力，可以阻断可疑的web网站访问、阻止web网站中恶意代码的执行，阻断web钓鱼。
值得一提的是，NSA在协助DHS设计E3A入|侵防御系统的时候，将他们的Tutelage项目移植了过去，超越了一般意义上主动防御的层次，具有很强的对抗性。
1.3 安全分析
如果说入|侵检测和入|侵防御构成了NCPS的前端系统，那么NCPS的后端核心就是构建在大数据之上的安全分析能力，而这个分析结果的输出就是网络安全威胁态势。NCPS的分析能力主要包括：安全信息与事件管理（SIEM）、数字媒体分析环境（Digital Media Analysis Environment）、高级恶意代码分析中心（AMAC）、各种分析工具可视化工具，等等。
1.4 信息共享
用时髦的话来说，信息共享就是情报共享，这是NCPS的核心能力。借助该能力，DHS构建起一个信息共享与协作环境（ISCE），使得其下属国家网络空间安全和通信集成中心（National Cybersecurity and Communications Integration Center，简称NCCIC）的安全分析师能够按照不同的密级与他们的合作伙伴快速交换网络威胁和网络事件信息，通过合作与协同以降低事件响应时间，通过自动化信息分享与披露以提升工作效率。
NCPS的信息共享能力主要包括：自动指标共享（AIS）、指标管理平台（IMP）、统一工作流、跨域解决方案（CDS），等等。
2 项目走势
如下所示，是笔者自己根据DHS历年的预算报告自行编制的2008财年到2020财年NCPS预算走势图，采用的数据可能与实际有差异，均为概数。
透过上图，可以发现美国政府对爱因斯坦项目的投入基本呈现逐年上升的态势，只是在最近3年有所下降，但仍维持在高位。不少人以为美国政府因为其效果不佳（GAO评价）而将其打入冷宫，事实并非如此。
根据DHS官方的数据，截至2017年财年，NCPS的资金投入累计已经达到了28.17亿美元。
同期的NCPS全职工作人员预算编制数量走势如下图所示：
可以发现，NCPS的专职管理人员的数量也是稳步增长。
3 最新进展
根据2019年8月16日OMB公布的2018财年的FISMA报告，目前，爱因斯坦项目总体上处于E3A阶段。截至2018年9月26日，在102个联邦民事机构中，有70个已经完全实现了三阶段NCPS能力，包括列入CFO法案的23个机构。
如上图所示，仍有28个机构尚未实现E1和E2，还有9个机构在实施E3A的过程中遇到阻碍。譬如邮件安全这块受限于某些机构采购的第三方云邮件服务商。
4 2020财年项目预算与计划分析
下面是DHS在2020财年预算中提供的表格。
据此我们可以发现，在2017财年（含）之前的总预算达到了28.17亿美元，2018财年的预算是4.02亿美元，2019财年的预算是4.07亿美元，而2020财年的预算是4.05亿美元，最近三年预算基本持平，都是略多于4亿美元。
NCPS项目的预算总体上包括两部分：运行维护、采购建设与提升。从上表可以发现，最近三年的两部分预算分配比例也都基本保持一致，都是2：1的样子。
而在2017财年（含）以前，NCPS的预算则主要是采购建设与提升，运维部分的预算比例较低，2017财年（含）之前的运维总预算还不及最近三年的运维预算之和多。这也说明，近些年开始，NCPS项目主要是运维，采购实施和升级工作逐步减少。
4.1 运维预算分析
以下针对2020财年的运维（Operations and Support）预算进行分析。
在2.99亿运维预算中，有2.69亿是非支付性成本（Non Pay Budget，包括譬如房租水电、固定资产、耗材、差旅住宿、培训、通讯、物流、咨询与协助服务、来自联邦的其它货品和服务等），人员成本（支付性成本）是3000万美元，约合169人（人均成本17.7万美元）。
其中，在2.69亿美元的非支付性成本中，“咨询与协助服务”，以及“来自联邦的其它货品和服务”的金额占比很高，达到87%，并没有给出具体明细。根据笔者的分析，这部分服务和货物应该包括了DOD对NCPS的各种帮助，以及大量的运维外包服务。很显然，全国性的这么一个大系统，仅靠预算编制的169人是不可能运维的起来的。
4.2 采购实施与提升预算分析
进一步分析2020财年采购建设和提升（Procurement, Construction and Improvements）的预算（1.06亿美元）的构成，如下表，包括6个部分：项目规划与运作、核心基础设施、入|侵检测、入|侵防御、分析、信息共享。
这里，入|侵检测和入|侵防御就是爱因斯坦的前端，相当于探针和传感器；分析就是爱因斯坦的后端，相当于一个基于大数据分析技术的SOC平台；而信息共享就是爱因斯坦的威胁情报平台（TIP）；核心基础设施主要是“任务操作环境”（Mission Operating Environment，简称MOE），相当于SOC平台的底层架构和软硬件支撑环境，生产和测试环境，网络链路和带宽，等等；项目规划与运作包括系统规划、设计与评估、采购管理、项目管理、人员管理与培训等。
可以发现，从2019财年开始，重新列入了入|侵检测的预算。这是因为，从2018财年Q4开始，NCPS开始升级其入|侵检测功能，在过去基于特征的检测基础之上增加了基于ML的检测方法（代号LRA），并启动了云检测试点。此外，2020财年的入|侵检测预算中还包括一项440万美元的构建统一DNS服务的预算。
4.3 主要合同分析
上表显示了近三年来NCPS主要的采购合同，可以看到最大的供应商（集成商）是雷神公司，其两个合同的总值达到了5年6.24亿美元。
4.4 项目计划
2020财年NCPS的主要计划和里程碑事件包括：
l 入|侵检测与防御
n 继续改进和夯实基于非签名的检测能力，借助基于行为和信誉的机器学习技术的LRA项目来实现高级检测能力；
n 继续同联邦政府的云服务提供商合作，使得NCCIC可以借助他们的安全服务和数据去保护联邦机构的资产，以顺应政府上云的发展趋势；
n 继续对爱因斯坦的传感器套件进行升级，提升性能、可靠、容量和账户，以满足不变演进的新场景（譬如云、移动）下的流量检测之需；
n 升级和夯实入|侵防御安全服务（IPSS），以增强对.gov域名的网络安全防护；
n 收集各方需求，开发一套集中的权威DNS域名解析系统，为联邦民事机构（FCEB）提供服务。该托管服务将提供DNS管理功能，并在传统DNS服务的基础之上提供一系列安全分析服务。DHS认为DNS系统影响面极大，并引用思科的分析报告称99%的恶意代码都利用DNS。
l 分析
n 增强分析框架的能力，使得NCCIC的分析师能够实现跨NCPS数据集的信息查询和分析；
n 继续增强分析工具和过程以进一步提升网络威胁分析的自动化水平；
u 继续实现重构后的高级恶意代码分析中心（AMAC），更加自动化地对收集到的恶意样本进行分析、逆向
l 信息共享
n 继续增强信息共享基础设施，提升NCPS与网络社区共享信息的效率、可靠性和速度；
n 继续增强统一工作流（Unified Workflow）能力，为NCCIC下各个独立的业务和任务支撑应用提供一个单一的工作流自动化平台，并将他们统一到一个统一视图中去，从而提升NCCIC跟踪、协调和报告安全事件的能力；
u 实施跨域解决方案（CDS）项目，以提升涉密信息处理的效率
5 重点技术介绍
5.1 LRA
LRA的全名是“逻辑响应孔径”（Logical Response Aperture），是DHS开展的一项旨在提升安全分析与响应自动化的项目的内部代号。LRA能够借助智能化的安全分析技术，在没有签名和特征的情况下识别攻|击。
下图展示了LRA的基本工作流程。
在联邦部委机构（D/A）和互联网（Internet）之间有一套部署在互联网服务提供商（ISP）处的“NEST”设施。NEST会利用TAP将进出联邦机构的的互联网流量按需送给LRA。LRA的流量引擎利用Zeek做协议解析，并将解析后的流量日志（流量元数据）连同原始的pcap包存储到大数据存储系统中（默认存储90天）。存储的数据内容包括：DNS查询的域名和响应的IP地址、域名-IP地址对的TTL、电子邮件附件中的可执行文件、http请求的user agent信息，等等。基于机器学习和统计分析算法的分析引擎、恶意代码检测装置，及其它自动化工具会从大数据存储中读取这些数据，并结合通过其它方式获得的各种情境数据（譬如域名和可执行文件的黑白名单，GeoIP等）进行复合安全分析，生成恶意流量的潜在指标，并存入潜在指标库中。分析师通过交互性UI检查潜在指标库中的指标，对其进行研判和标注，一方面获得有效的指标，另一方面为机器学习算法提供改进。
5.2 Tutelage
Tutelage（现已改名，具体不详）作为NSA号称21世纪执行信号情报（SIGINT）任务的核心系统的Turbulence项目中的一个子系统，承担主动防御的任务。作为NCPS的重要咨询方和协作方，NSA将Tutelage移植给了E3A。作为NCPS中涉密的部分，我们无从知晓E3A的入|侵防御系统设计有何玄机。
幸运的是，斯诺登泄密事件给了我们一窥Tutelage的机会，我们可以自行脑补E3A可能的设计。如下图所示，展示了Tutelage项目在检测到恶意流量和攻|击后可以采取的遏制/反制措施，十分丰富。
可以肯定的是，E3A的入|侵防御系统绝非我们一般意义上的IPS。
5.3 WCF
WCF的全名是WEB内容过滤（WEB Content Filtering）,是2016年前后追加到E3A中的一个新防御能力（最初的E3A入|侵防御能力包括DNS sinkholing和email过滤），重点阻断可疑的web网站访问、阻止web网站中恶意代码的执行，阻断web钓鱼。
WCF具有四个功能：web流量检测与阻断、SSL解密、恶意代码检测、高级分析。
1) WCF会对可疑的web流量按照URL/URI进行分类，允许系统管理员允许或者拒绝某类web访问。WCF会根据高可信网络威胁指标和商业的签名指标来进行研判并决定是告警还是阻断，抑或其它遏制操作。WCF的技术原理就是一个WEB代理，由它来进行检测，并执行重定向、阻断或者告警操作。
2) WCF支持对SSL web流量解密，分析解密后的流量数据。
3) WCF内置恶意代码检测功能，使用政府提供的网络威胁指标来检测恶意活动。
4) WCF包括高级分析功能。这里的高级分析是指基于行为的异常分析，也即LRA。
5.4 AIS
说到NCPS项目，而不提及威胁情报，那么一定是对NCPS不甚了解，或者仅仅停留在爱因斯坦计划早期的认知水平上。必须强调，威胁情报，或者说信息共享是NCPS的核心能力之一，所有检测、分析的能力最后都是为了能够在DHS和其伙伴间实现高效的情报共享和协同联动。美国政府实施NCPS的一个终极目标就是自动化地检测威胁、共享情报和处置攻|击。这跟我们近些年谈及从美国传过来的TIP、SOAR等理念是一致的。
AIS全名是自动指标共享（Automated Indicator Sharing），其目标就是在网络防御行动中以机器速度（Machine-peed）快速广泛地共享机读（Machine-readable）网络威胁指标和防御措施。AIS要能够自动处理海量高速的共享指标，而这是人工操作无法达成的。
下图展示了AIS的工作原理。
首先，各个AIS的参与机构（上图右侧灰色部分，包括各级地方|政府、私营伙伴、联邦机构、ISAC和ISAO）通过TAXII协议将STIX格式的威胁情报信息送给DHS的TAXII服务器（上图中间黄部分）。接着，所有提交的情报信息都会经过一个自动化的“数据增强过程”，进行信息修订、匿名化处理、隐私评估、数据增强。此外，DHS也会接收商业的情报信息源信息（上图上方绿色部分），并统一进行数据增强。然后，DHS的分析师会对增强后的数据进行核验【注：人工操作还是不可缺少，不可能完全自动化】，并最终进行发布。发布的途径包括放到TAXII服务器上供各参与方获取，或者可以供其它第三方订阅（上图上方蓝灰色部分）。
截至2018年底，已经有33个联邦机构，215家非联邦政府实体（其中包括18家可以对共享信息进行再分发的ISAC、ISAO和11家商业服务提供商）参与其中。
6 关键考核指标
为了从宏观层面衡量NCPS项目的效率和效果，在2020财年，DHS为NCPS设计了2个战略指标：
l 从最早检测出某个单位潜在的恶意行为到该单位接到告警通知的平均小时数
根据NCPS的工作流程，通过IOC比对检测到某个单位存在可疑恶意行为后，会产生告警送到后端，DHS分析师收到告警后，会进行初始研判，并进行告警分诊和调查。如果一条或者多条告警被确认为恶意行为，会产生一条事件工单，并送给受到影响的单位，以便采取进一步行动。这个指标的目标就是要在保持报警的正确率的情况下让这个时间尽可能地短。
根据DHS的设定，该指标在2019和2020财年的目标都是24小时之内。
l 爱因斯坦入|侵检测和防御系统检测或者阻断的攻|击中可以溯源到国家行为的比例
NCPS的目标不是去“捞小鱼小虾”，而重点是防御国家行为体的攻|击。为此，NCPS的检测手段并不求全，而是重点针对那些复杂的攻|击。
根据DHS的设定，该指标在2018财年是20%，2019财年是21%，2020财年是22%。2018财年的考核结果已经出炉，是29%，高于设定值。
7 总结
通过以上分析，笔者谈一谈个人的几点体会作为本文总结。
1） NCPS项目从一开始就是站在国家战略高度来推进的，采用法规先行（法案、总统行政令、NIST标准等）、制度开道、统一建设、持续投入的方式，从一个US-CERT下面的初级态势感知项目，在CNCI计划的推动下，逐步成为了一个规模庞大的国家战略级项目。
2） 从项目定位上，NCPS区别于各个联邦机构自己的安全防护。二者不是替代关系，而是叠加关系。并且NCPS更加注重针对高级威胁的监测与响应，更加重视跨部门/厂商的协调联动、群防群治。
3） 从建设过程来看，NCPS明显以合规为出发点进行建设，但强调以实战对抗为最终目标。
4） NCPS项目的投入时间很长，尤其是2009年CNCI计划出台之后，资金和人员投入逐年稳步提升，并维持在较高的水平线上。可见国家级态势感知系统的建设需要长期持续的投入。
5） 从资金分布上看，DHS越来越重视NCPS的运行维护，技术和产品采购的比重越来越低。要想实现NCPS常态化的运营，就必须有持续的、大量的运营投入，并且需要大量的安全分析师。
6） 从运营方式上看，NCPS被尽可能地封装为一系列托管服务和安全服务的形式，以服务的方法提供给各个联邦机构。
7） 尽管经过了十几年的持续建设，但NCPS仍然存在不少问题，拖延严重，正如GAO的报告所言，成效低于预期。但尽管如此，美国政府并没有停止这个项目，而是持续加大投入。因为这个方向是正确的，技术路线是正确的。
8） 从技术上看，过去人们大都认为NCPS主要是规模效应，技术含量并不高，譬如基本都是基于特征和签名的检测。事实上，NCPS还是比较注重新技术运用的。我们现在经常听到的所谓高级威胁检测、机器学习、行为画像和异常行为行为、编排自动化响应、威胁情报等，在NCPS中都有体现，并且都会经历一个先试点再铺开的过程。
9） 我们常把爱因斯坦计划指代美国政府的网络安全态势感知项目，其实这是不完整的。美国联邦政府的网络安全态势感知是由一系列国家级大项目共同支撑起来的，至少包括TIC（可信互联网接入）、NCPS（爱因斯坦计划）、CDM（持续诊断与缓解）计划，以及共享态势感知。
8 系列文章参考
以下是笔者以前撰写的NCPS相关的文章，供大家参考。
其它：
标签：爱因斯坦,分析,检测,财年,2019,NCPS,深入开展,感知,DHS 来源： https://blog.51cto.com/yepeng/2440261