1 简介

最近，漏洞利用工具包，恶意软件，僵尸网络租用，教程和其他黑客产品的在线市场一直在发展，而这个市场曾经是一个难以渗透的专有市场，其购买者主要是西方政府[95] 现在，更广泛的人群更容易使用。 具体而言，暗网（可通过匿名协议（例如Tor和i2p）访问的Internet的一部分）已被各种专门针对此类产品的市场所占据[94，2]。 特别是在2015年，专门针对零日漏洞利用工具包的暗网市场出现了，这些工具包旨在利用以前未发现的漏洞。 这些漏洞利用工具包开发困难且耗时，而且通常以高价出售。

漏洞利用市场和黑客论坛的爆炸性增长为网络防御者提供了宝贵的机会。这些在线社区提供了有关潜在对手的新信息源，从而形成了新兴的网络威胁情报行业。侦察前的网络威胁情报是指在恶意行为者与被防御的计算机系统交互之前收集的信息。为了提供具体的例子来说明侦察前网络威胁情报的重要性，请考虑表1.1中所示的案例研究。2015年2月发现了一个Microsoft Windows漏洞。关于此漏洞的Microsoft公开新闻稿实质上是他们向客户发出安全漏洞警告的方式。 在发布时，还没有公开的方法可以利用此漏洞来进行网络攻击（即可利用的漏洞）。 但是，大约一个月后，发现在Darknet漏洞利用市场上出售了一个漏洞利用。直到7月，大型网络安全公司FireEye才发现旨在窃取信用卡信息的Dyre银行木马利用了此特定漏洞。 此插图说明了从暗网收集的威胁警告如何以预警威胁指示器的形式为安全专业人员提供有价值的信息。 在Dyre和类似的Dridex银行木马之间，每10个全球组织中就有近6个受到影响，这一统计数字令人震惊。

在另一个例子中，据称来自俄罗斯圣彼得堡的17岁的黑客谢尔盖·塔拉波夫（Sergey Taraspov）和一小群黑客一起编写了针对销售点（POS）软件的恶意软件，并以2,000美元的价格将其出售。 俄罗斯论坛暨市场。 反过来，在2013年“目标”数据泄露事件中，大约40个人使用了该恶意软件，窃取了超过1.1亿张美国信用卡号。
现在有可能并且非常普遍地利用数据挖掘和机器学习技术来从大量数据中理解。 在进一步激发了网络威胁情报的重要性并详细讨论了在线黑客社区之后，我们将专门讨论如何将数据挖掘和机器学习技术应用于网络威胁情报领域。 使用这些技术，我们将能够获得对在线黑客社区的结构以及其中个人行为的更多了解。 我们还将借鉴人工智能文献来构建威胁模型，并从黑客社区获取的数据中获取信息，以提供特定于系统的网络情报。
本书旨在全面了解新兴的网络威胁情报领域。本书的其余部分结构如下：第2章将进一步激励组织使用网络威胁情报，讨论并解决实现大规模网络威胁情报采用的一些困难。第3章将详细讨论在线黑客社区，从中可以衍生出许多网络威胁情报。第4章将介绍构建大规模抓取和解析基础结构以从暗网社区收集数据的技术，并讨论一些相关的挑战以及在收集网络威胁的情况下各种数据挖掘和机器学习技术的性能。情报。第5章介绍了许多案例研究，这些案例研究说明了如何将收集到的数据转换为可操作的，现实世界的网络威胁情报，并使用无监督的学习技术将暗网市场的产品归为特定类别。
接下来的两章（第6章和第7章）介绍了更复杂的模型，这些模型以有趣的方式使用了来自Darknet的聚合数据，以提供丰富的威胁情报。 第6章将主机防御方案作为安全游戏进行了阐述，提出了一种游戏理论框架，该框架将真实世界的暗网利用数据通知攻击者模型，并能够提出系统特定的策略建议。 第7章介绍的模型还利用了漏洞利用信息，但在防御工业控制系统（ICS）的情况下：控制物理系统（电力，水，工业机械等）的IT基础架构。
第8章总结了本书，讨论了正在进行的工作以及与网络威胁行为者的社会文化建模相关的独特挑战，以及它们为何需要在人工智能方面取得进一步进步，尤其是在与社会科学进行跨学科研究方面。