一、前言
相信大家对暗网这个概念并不陌生，众所周知，暗网藏着一个暗黑版的交易市场，违法工具、色情交易、毒品交易、枪械信息比比皆是，俨然一个网络犯罪分子聚集的“虎狼之穴”。我们使用Tor浏览器等可以轻松访问暗网中的浅层网，主要是黄赌毒和数据情报信息，如丝绸之路等。
对于企业而言，往往不免被黑客攻击而被获取大量的数据，而这些数据一般会优先在暗网售卖，如近年来的12306、各大互联网公司等的数据泄露事件。为了及时响应突发的数据泄露事件，企业需要一款实时监控暗网数据泄露的威胁情报平台，用来监控敏感数据泄露、薅羊毛、业务安全风险等事件。
二、代理服务器搭建
由于国内网络环境的原因，为了顺利访问暗网，我们需要一台海外服务器，系统版本是ubuntu 18.04(当然其他系统也可以，只是本文会把这个版本的系统作为例子)，同时需要在这台服务器上安装Tor与Privoxy用作访问代理服务器。
本文的系统版本：
root@536ef99cab94:/# cat /etc/issue.net Ubuntu 18.04.2 LTS 2.1 整体架构
从图上可以看到，Privoxy作为一个中转代理，主要是把http协议转socks5协议，而Tor则负责把socks5转Tor协议。所以整个代理访问过程为：
1.用户输入后缀为onion的地址，由Privoxy暴露的8118端口访问http协议； 2.Privoxy把http协议转发给Tor，Tor获取该网站公钥进行加密，通过Tor通信链路发送信息给Tor节点，由该节点转发请求到.onion网站。 2.2 安装Tor
可能很多人一开始会直接执行这条命令：sudo apt-get install tor，从这个命令安装的Tor是v2版本的，不支持较新的加密算法，所以导致访问不到某些使用最新加密算法的暗网网址。
Tor v2到Tor v3的转变主要表现为如下几点：
1.签名算法从SHA1/DH/RSA1024升级到SHA3/ed25519/curve25519； 2.改进的Tor directory protocol，安全性更高； 3.更好的洋葱地址，换成sha3，可以提高枚举生成一样地址的难度； 4.可拓展的交换协议。 参考官网的安装方法，安装最新版（v3版本）的Tor步骤如下：
1.在/etc/apt/sources.list添加如下源：
deb https://deb.torproject.org/torproject.org bionic main deb-src https://deb.torproject.org/torproject.org bionic main 2.添加gpg密钥，执行如下命令：
curl https://deb.torproject.org/torproject.org/A3C4F0F979CAA22CDBA8F512EE8CBC9E886DDD89.asc | gpg --import gpg --export A3C4F0F979CAA22CDBA8F512EE8CBC9E886DDD89 | apt-key add - 3.安装Tor：
apt update apt install tor deb.torproject.org-keyring 4.查看安装好Tor的版本，可知本文安装的Tor版本为0.3.5.8：
root@536ef99cab94:/# tor -v Jun 18 14:30:43.
mymind
http://my-mind.github.io/
免费域名
https://www.opennic.org
阅后即焚
https://stool.cf/
查找资源
https://www.xiaobd.net/t/17104928
网址监控
https://www.17ce.com
书签
https://www.listango.com
https://atavi.com
https://papaly.com
网站时光机
http://web.archive.org/
上传
https://drop.me/
https://www.mirrorcreator.com
https://anonfile.com/
http://dewdrop.io/
在线杀毒
https://www.virustotal.com/zh-cn/
文字转图片
http://www.gaituba.com/wenzizhuantupian/
歌词
https://mojim.com
测速
http://www.speedtest.net
词林
https://www.cilin.org/
短链接
http://sina.lt/
https://tinyurl.com/y73kl7x9
抠图
https://www.gaoding.com
听歌
http://www.zdfans.com/7639.html
aria2c控制台
http://aria2c.com/
看电影
http://127.0.0.1:43110/1PLAYgDQboKojowD3kwdb3CtWmWaokXvfp/
种子
http://btlibrary.cc/
http://cnbtkitty.org/
网页小游戏
http://www.y8.com
ssr订阅源
https://www.nutgeek.cn/newsubscribe/
https://prom-php.herokuapp.com/cloudfra_ssr.txt
http://share-shadowsocks.herokuapp.com/full/subscribe
http://share-shadowsocksr.herokuapp.com/subscribe?valid=1
https://raw.githubusercontent.com/ImLaoD/sub/master/ssrshare.com
telegram 订阅
https://t.me/freeshadowsock
https://t.me/gyjclub
https://t.me/joinchat/AAAAAEvnT-th4YKBWoUjFw
图床
https://uchi.moe/
https://postimages.org/
https://imgbox.com
https://imgur.com
https://sm.ms/
http://ipfs.pics/
https://img9.top/ （慢如蜗牛，不用了）
知识共享协议
http://creativecommons.net.cn/licenses/licenses_exp/
真的勾起了我的欲望，我准备先去看看。。。
这是一篇转载于网上多年的文章，原作者已无迹可寻。帖子里的自述就像小说一样险象环生，虽然并不能说完全可信，但至少他告诉了我们暗网世界的存在。在那里，有着许多不可想象的黑暗与恐怖，残忍与血腥。在表面上欣欣向荣的互联网自由世界背后，就是一团人性恶爆发后的残骸。什么是暗网? 暗网就是黑暗网络，又称深层网络或隐形网络，英文名Deep web或Invisible Web， Hidden Web。通俗的讲，就是我们用常规的搜索引擎(谷歌、百度、雅虎等)搜索不到的网站。这么说你可能会认为既然这些网站都搜索不到，那一定没有人用，数量很少吧，那你就大错特错了。
废话有点多，先给大家张姿势
暗网和表层网络的比例: 暗网这个概念是在1994年由美国军方科学家提出的，1996年5月，美国海军研究实验所的3名科学家提交了一篇论文，题目是《隐藏路径信息》，提出打造一个系统， 使用者在连接因特网时不会向服务器泄露身份。他们称之为“洋葱路由”，因为保护数据的口令像洋葱一样层层迭迭。2003年10月，这一想法开始正式实施。系统最初被命名为Tor，是“洋葱路由”英文首字母缩写，后来被称为“深网”。它设计高度精密，以至于设计者本人都无法摧毁它。 在因特网早期，使用者可以利用假名在网络上创造“另一个自己”，与生活中的真实身份毫无瓜葛。但随着网络的发展，尤其是“ 脸谱”网站的出现，网民的在线身份与真实 身份日趋重合。如今，我们无论到哪，都在散播自己的信息：我们的浏览痕迹、视 频喜好、社交圈，甚至具体在哪。但“深网” 上不是。
美国政府为何要建造这样一个系统?原因很多。利用它，警方可以调查非法网站而不打草惊蛇;军方和情报机构可以进行秘密联络;国务院可以培训国外异见人士…… 暗网的特性就是“绝对隐形”，网站隐形，用户身份隐形，IP地址隐形。当我们每天都在各种网站游走，随意的暴露着我们的身份和行踪时，这些暗网用户正在网络世界中为所欲为。 很多人就是看中了暗网的隐形特征，于是开始在暗网上干着各种各样在表层网络和现实生活中干不了的事情，真就应万维网发明初始宣告的那样——无所不能。 现如今的暗网上充斥着各种毒品、军火交易、走私、器官买卖、人口贩卖、杀手、 黑客、邪教、恐怖组织、儿童SE情、X变态 、金融犯罪、洗黑钱等，这是一个真正无法无天的世界。 尤其是当比特币这种虚拟货币发明之后，和暗网的二者结合更是如虎添翼，现在暗网上几乎所有的黑市交易都是使用比特币。
从2009年开始，暗网上出现了一个叫做“丝绸之路”(Silk Road)的黑市网站，贩卖各种毒品、枪支和违禁品，整个网站的交易就是用比特币进行。在我们中国的话，就可以比作是暗网上的T宝。而且这个网站还 真的就像常规购物网站一样拥有买卖双方评价，售后保障等功能。2013年的时候这个网站被FBI查封，查封过程非常曲折，最后还是网站创办者自己在表层网络的推特等社交网站上露出马脚，才被逮住的，唉，NO ZUO NO DIE啊!不过最近”丝绸之路2.0“又开张了，听说是之前的老用户做的，毕竟有需求就有市场嘛!
对不起，你知道的太多了
可能现在有人觉得很有趣，很想看看。不过还是别看为好，以前就有人在暗网里挖的太深，看到了不该看的，最后命丧黄泉。
作为「Deep Web之旅」的第一篇，今天在和大家分享一个网友因太过沉默于「 暗黑网络」而遇到的可怕经历…
在故事开始之始，先说明一下「Deep Web」和「Shadow Web」的分别。「 Deep Web 」中文名叫暗黑网络、隐形网络或深层网络。它泛指一些不能由传统搜寻器找到的网站。这些隐藏的网站须通过动态请求才可进入，或由特定的搜寻器(例 如TOR browser)才可以找到。据非正式统计，暗黑网络占网络全部信息的90%有多。但是，正由于其隐蔽性质，有不少非法网站都藏匿在这个「暗黑网络」之中，例如毒品交易、儿童色情、人口贩卖等。这些数以千计的非法网站充斥在「暗黑网络」 ，令到人们对「暗黑网络」的印象就好像电影「罪恶城」里头的老城般，生人勿近。 那么「Shadow Web(影子网络)」又是什么来? 在电脑学上，「影子网络」的网络结构上和「暗黑网络」一模一样，也算是「 暗黑网络」的一种。但在字面意思上，「 影子网络」是指那些比「暗黑网络」还深入、更病态的网站，里头变态的内容即使是毒品头子或恋童魔也会捏一把冷汗。 其实「Shadow Web(影子网络)」这个词语是今年年初才出现，而这个词语的起源是来自Reddit(类似香港高登论坛)的帖子，这也是笔者今天要和大家介绍的故事…… 一个可怕的警告。
其实我们是不是真的熟悉我们每天接触的网络世界? 在两星期前，我一定会笃定地答你「是」，因为我以前一直认为自己是个「网络老手」。毕竟，我在Fortune City 和IRC channels 97年刚刚成立时，便已经是它们的资深会员。之后由2008年开始，我几乎每天都花12个小时在Reddit和4chan ，而且不会放过浏览任何一张最新最红的Memes。 直到我在两星期前上过「影子网络」后，便发现自己其实由如至终都不曾熟悉整个网络世界，甚至不熟悉整个人类世界…。
大约一年前，有人向我介绍一种叫「Shadow Web(影子网络)」的东西—一些埋藏在网络最深层的网站，一些正规搜寻引擎不会找到的网站。虽然也有人曾经对我说过，即使「影子网络」也不算是最深层，但那些不在我们这次讨论范围内。简单来说，影子网络就是一些没有任何「超连结」可以经由「表网络」进入到的网站，而且那些网站里头的内容也不是那些普通的尸体 照片或人兽杂交。我已经深入探索过「影 子网络」，我可以向大家担保，里头的东西的恐怖程度远超乎你们想像范围之外… 其实我从来没有问过那个男人的姓名。他是我以前在一间加油站打工时的熟客。每一次他来到加油站，都会购买20到50不等的UKASH凭证(一种类似Paypal的网络贷币)。我一直以为他用那些钱来买线上色情片，因为他那微秃的头顶和米色的Polo Shirt，简直就是对人说「我是色情狂」的意义。
直到有一日，他突然一口气买了300 UKA SH凭证。那一刻，我问了一条令我后悔一生的问题，我问他：「你要增值那么多钱来买什么?」 「你有没有听过影子网络?」他漫不经心地说，一边拿出15张20纸币。 我摇头，因为那时候我真的没有听过。听过我的答案后，他用一种古怪的眼神打量了我一会儿，仿佛在计算什么东西。之后，他由钱包拿出一张信用卡大小的卡片，鬼祟地塞进我的手里，仿佛是某间妓院 的卡片。 「如果你想知道，就自己把答案找出来。」 那个男人说完便离开，之后我再也没有见到他了。
在全国断网的情况下我们如何上网？
（一）无服务器、永远在线的网站 —— Zero Net 网址：https://zeronet.io/ ZeroNet是一个免费、开源、使用Bitcoin加密技术和BT技术的全平台分布式网络工具，他的原理比较像我们熟悉的BT下载：当我们通过种子(torrent）下载电影和音乐时，这些资源的来源并非某个机房中的服务器，而是其他用户的电脑硬盘，只要在网络中还存在任何一台电脑『做种』，资源就能够被持续下载，同时提供资源的设备量也会迅速增长，因此BT下载无法被单点封禁。 ZeroNet的工作原理与BT大致相同。在你通过ZeroNet搭建一个网站后，处于同一个网络中的用户即可通过ZeroNet将你的网络论坛下载到他的硬盘里，同时进行浏览。当第三个用户访问这个站点时，你和第二个用户会同时向他上传网站。如果用户基数足够大，那么即便你的电脑关机甚至硬盘损坏，只要别人的电脑上仍保存有网站的文件，这个网站就能永远『存活』下去。是不是很酷？ 目前ZeroNet提供论坛、博客、社交网站、加密邮件、即时聊天等，几乎覆盖了大多数的互联网服务。在断网时期，网民实际上有能力以极低成本来为彼此搭建这些基础服务。不仅如此，ZeroNet还可以通过Tor网络隐藏自己的身份，ZeroNet绝对是你对抗外星人的工具包中的一件利器！ 下面提供一些demo，为了保证良好的体验，请在断网的情况下尝试！（后台记得打开ZeroNet应用，不然没法访问） demo：http://127.0.0.1:43110/NewGFWTalk.bit/ 海盗湾种子站：http://127.0.0.1:43110/1PLAYgDQboKojowD3kwdb3CtWmWaokXvfp/ MSDN资源区：http://127.0.0.1:43110/1AJB5rtjfB9imjDGVk5vtRtZp3zgYizbpG/ Kindle电子书：http://127.0.0.1:43110/1KHCBG6dmbKXTZNenfwhWZ5x3oDyYyHSD4 中文导航：http://127.0.0.1:43110/1NzWeweqJ32aRVdM5UzFnYCszuvG5xV3vS 新手上路，怎样创建自己的论坛和博客：http://127.0.0.1:43110/1Nse6WcodQ5Mj6ZwvZvuyCVvQESwuxbCUy/?Topic:1_13Z7XxTa7JuFat3KzzMWu3onwM6biLuurJ/+ZeroNet+4+11+Update+markdown+mac （二）断网后我们照样聊天 —— Tox 网址：https://tox.chat/ Tox是一个开源免费的分布式加密通讯协议，诞生于『棱镜计划』被斯诺登曝光之后，对用户的通讯内容进行端到端加密，中间不经过任何中央服务器，还可以用于局域网内通讯。你发给好友的聊天内容不会像其他聊天软件一样先发送到中央服务器、再转发给收件人，而是直接发送到目标用户。 Tox和ZeroNet一样，也使用了BT技术，将用户点对点的连接起来。在你使用Tox的时候，会生成一个独一的用户名，只要你的朋友知道你的用户名，即可开始聊天。 目前Tox已经支持全平台，并有很多版本的客户端，界面简单易用不需要复杂配置，绝对是逃离外星人监控、实现安全通讯的不二选择！ （三）虽然断网，但我还有几个G的学习资料想传给远方的你 —— Resilio Sync 网址：https://www.resilio-sync.cn/ 上文介绍的ZeroNet和Tox都依赖BitTorrent公司开发的BT技术，其实BitTorrent公司自己也有一套黑科技——Resilio Sync。 Resilio Sync是一个分布式同步工具，同样不需要服务器，且支持全平台（但并不开源）。当你把一个文件夹加入Resilio Sync中时，可以生成一串密钥，如果在另一台设备的Resilio Sync中输入该密钥，就能将你的文件夹远程同步到这台设备中。之后加入的所有同步节点，都可以在下载资源的同时向其他用户上传资源。 由于文件存储在本地硬盘而非服务器上、对传输内容进行了加密、又以BT基础为依托，Resilio Sync实际上是一个高安全度、无存储空间限制、无下载流量限制、无审查、无法被封杀的超级网盘。资源拥有者甚至还可以通过设置权限来控制资源的分发和更改。例如你和你的朋友希望分发你们的音乐专辑，那么你可以分配给他读写权限，然后将只读权限通过各种方法公开出去，此时你们二人可以远程协作共同编辑专辑，而其他网友则可自由下载，当文件被修改的时候，所有同步节点都会被更改。 Resilio Sync还有很多很强大的使用方法，发挥想象力，它能成为对抗外星人的制胜法宝！ 从你把包含了以上三个工具的U盘插入电脑的那一刻开始，这个看似被外星人判了死刑的网络就又有了重生的希望。你会把这些工具传递给别人，然后他们传给更多人。从古代开始，人们就懂得利用点对点的『飞鸽传书』来通讯，今天你们只不过把鸽子变成了一个个字符，传递到每一台电脑上。只要鸽子足够多，网络不仅会以另一种形态复苏，还能爆发出更强大的力量。 所以断网以后，不要放弃网络！我们还要保卫地球呢！ 文章转载自：devoted 文章原地址为：http://www.joffrey.cn/how-to-access-the-internet.html 和 http://www.jianshu.com/p/eaba52229116
首先要感谢舍友大佬提供的ShadowsocksR以及相应配置。感谢在本阶段帮助过我的学长学姐，谢谢。
暗网（深网，不可见网，隐藏网）是指那些储存在网络数据库里、不能通过超链接访问而需要通过动态网页技术访问的资源集合，不属于那些可以被标准搜索引擎索引的表面网络。 动态网页的url不固定，但可以被爬虫爬取，这是第一个点。 由于相关法律风险，本暗网爬虫代码不开源，但我会将我所理解的核心内容记录。 代码环境为ubuntu，使用语言python，使用库urllib2，socks, socket。 这里不用requests库，在参考许多教程如https://github.com/kennethreitz/requests/issues/3863/ 后发现，requests似乎无法使用socks5的代理端口，遂弃之 进入暗网的“门”为TorBrowser或者Tor 注意：torbrowser和tor并非一个东西，torbrowser是基于火狐浏览器的洋葱浏览器，通常用来做暗网入口，而且一般情况下已经足够了，但由于需要代码环境，我使用了纯Tor 以下是我的搭建步骤： 一，安装配置Tor 在ubuntu命令行输入
sudo apt-get install tor /etc/init.d/tor restart 启动后socks监听9050端口。
tor --hash-password mypassword 用来输入你的密码 编辑/etc/tor/torrc 在其中加上
ControlPort 9051 RunAsDaemon 1 Socks5Proxy 127.0.0.1:1080 HashedControlPassword 16:872860B76453A77D60CA2BB8C1A7042072093276A3D701AD684053EC4C 让ControlPort监听9051端口，后边那个16:开头的hash就是上一步得到的。Socks5Proxy是可以使shadowsocks为tor的前端代理（我使用的shadowsocks的端口为1080） 最后重启tor
/etc/init.d/tor restart （经过曲折的一番探索，可以基本断定，python的stem库控制tor，并不是控制tor浏览器，而是可以利用tor作为自己的匿名代理，或者监视tor的流量走向。stem库目测不能为暗网爬虫做出什么贡献）
二，设置前端代理shadowsocks 这一段本应该放在最前面，但由于本人的shadowsocks完全依靠了舍友的鼎力帮助，这一段还需要往后自己探索。 就本人理解，shadowsocks作为前端代理最主要的功能就是翻墙。。。 对外提供端口为1080。
三，利用Tor的9050端口爬取暗网。 使用urllib2库，socks库作为socks5代理，示例代码如下：
import socket import socks import urllib2 ipcheck_url = 'http://checkip.amazonaws.com/' # Actual IP. print(urllib2.urlopen(ipcheck_url).read()) # Tor IP. socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', 9050) socket.socket = socks.socksocket print(urllib2.urlopen(ipcheck_url).read() 该代码引用自https://stackoverflow.com/questions/1096379/how-to-make-urllib2-requests-through-tor-in-python