暗网信息抓取

　1.什么是暗网

　　广义地讲，任何不能通过一次（或多次）HTTP GET请求直接下载的Web页面，我们都可以认为其处于“暗网”中。不能直接通过HTTP GET请求下载这些Web页面的原因是多方面的，有可能是网络原因不能下载，比如说企业或学校的内部网站，只有通过代理服务器连通这些网络，才能下载其中的Web页面；也有可能是动态页面，需要用户身份认证，登录后才能下载等，还有其它一些原因，这里不再一一列举。

　　狭义的“暗网”，是指那些没有链接指向的动态Web页面的集合，这些页面只能通过提交一个HTML表单等的形式获取其内容，也就是通过至少一次HTTP POST请求才能获取其内容，不能通过HTTP GET直接下载得到。比如说一些学校的图书馆，只有用户输入书名等检索词进行搜索时，才能得到相关的结果的索引列表，然后再跟据这个索引列表来获取相关的页面。这些页面，没有其它外链链接进来，只能通过上述方法获取。

 

暗网的资源：

而我们主要研究爬取的主要是动态内容，动态网页肯定是可以被爬取的，只是爬取出来的网页是动态生成的，不能像普通的静态网页一样依靠解析链接就能获取。

动态网页的生成机制：

现在针对暗网资源主要有两种解决方案：

我们选取的是第一种方案

而在构建暗网爬虫的时候，是没有通用的解决方案的，这也是百度现在投入较多人力的一个方面，百度针对暗网的搜索也不是非常好。

如何来抓取暗网信息

　　首先要声明，本文的讲的暗网是指狭义上的暗网。因此，如何来对暗网信息进行抓取的关键，就落在了如何让WebSpider模拟人提交HTML表单的行为。通常，如果一个表单中的元素的取值都是固定的，那么，我们可能通过枚举各种取值组合，通过HTTP POST提交表单，直接获取相应的页面，如图1所示：

 

    在上面的表单中，各个元素的取值集合都是固定的，我们的WebSpider只要把各种所有的可能取值组合进行枚举，便可得到所有的页面。

    但是实际上，通过我们遇到的表单有很多元素的取值集合都是未定的，这时候，就不能直接采取上面的方面来获取相应页面了，那该怎么办呢？如图2所示，是一个含有取值集合未定的元素的表单：

 

    假如说我们选择了ISBN号进行检索，我们知道，只有输入合法的ISBN号，才能检索到内容。那么，WebSpider该如何知道什么样的ISBN号才是合法的呢？下面介绍一种方法。

    对于这种含有取值集合未定元素的表单，我们对其中每一个取值集合未定的元素进行机器学习，为其得到一个有效的，取值个数有限的近似的取值集合。然后再采取上面介绍的枚举的方法，进行抓取。如在图2所示的例子中，我们通过机器学习的方法，得到一个合法的ISBN号的集合，然后再让WebSpider进行抓取，便可以得到我们想要的结果。

 

    写在最后面：上面只是对暗网信息抓取的一个简单的介绍，目的只是让普通读者对暗网信息的抓取有一个基本的了解。如果想深入了解暗网信息的抓取，可以参考学习下面两份Paper，另外可以在互联网上搜索相关资料：

    1.Crawling the HiddenWeb   

    2.Downloading Hidden Web Content

现在构建暗网爬虫有两种经典的解决方案

我们现在举个例子，比如我们想获取文本类型的资源

这是我们学校图书馆的图书检索系统，因为所有的图书资源都是保存在学校的服务器内，并且相互独立，如果用传统依靠链接来爬取的方法是不行的，因为他们之间没有链接，

用户要得到数据只能通过搜索入口，输入相应的关键字，才能得到数据。

所以我们爬取网页的方法就是通过不断的post表单来提交查询关键字，来获取返回的数据，而问题的关键是如何选取这个关键字

因为暗网的资源我们是无法完全爬取的，就像淘宝网的查询系统，即使很多商品跟你输入的关键字匹配，淘宝网也只会最多返回100页的宝贝列表，不可能把全部资源给你看的。所以我们要寻找用户最感兴趣的内容进行爬取，这样虽然有信息遗漏，但是我们做出来的搜索引擎也是比较让人满意的。

计算关键字通用算法：

我们将问题形式化：

性能指标：

爬虫策略的形式化表达：

关键字查询选择：

总结查询选择算法：

缺点：