网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的 。 通用网络爬虫 通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 由于商业原因，它们的技术细节很少公布出来。 这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。 虽然存在一定缺陷，通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值 。 通用网络爬虫的结构大致可以分为页面爬行模块 、页面分析模块、链接过滤模块、页面数据库、URL 队列、初始 URL 集合几个部分。为提高工作效率，通用网络爬虫会采取一定的爬行策略。 常用的爬行策略有：深度优先策略、广度优先策略 。 深度优先策略：其基本方法是按照深度由低到高的顺序，依次访问下一级网页链接，直到不能再深入为止。 爬虫在完成一个爬行分支后返回到上一链接节点进一步搜索其它链接。 当所有链接遍历完后，爬行任务结束。 这种策略比较适合垂直搜索或站内搜索， 但爬行页面内容层次较深的站点时会造成资源的巨大浪费 。 广度优先策略：此策略按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。 这种策略能够有效控制页面的爬行深度，避免遇到一个无穷深层分支时无法结束爬行的问题，实现方便，无需存储大量中间节点，不足之处在于需较长时间才能爬行到目录层次较深的页面 。 聚焦网络爬虫 聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫[8]。 和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求 。 聚焦网络爬虫和通用网络爬虫相比，增加了链接评价模块以及内容评价模块。聚焦爬虫爬行策略实现的关键是评价页面内容和链接的重要性，不同的方法计算出的重要性不同，由此导致链接的访问顺序也不同。 1.基于内容评价的爬行策略：DeBra将文本相似度的计算方法引入到网络爬虫中，提出了 Fish Search 算法，它将用户输入的查询词作为主题，包含查询词的页面被视为与主题相关，其局限性在于无法评价页面与主题相关 度 的 高 低 。 Herseovic对 Fish Search 算 法 进 行 了 改 进 ，提 出 了 Sharksearch 算法，利用空间向量模型计算页面与主题的相关度大小 。

原文链接： http://blog.51cto.com/14291436/2380804 适用于mac的Tor浏览器？ 现在网络安全成为了人们关注的重点，想要在使用浏览器的过程中不被人知道你的浏览痕迹和IP地址？小编为大家推荐一款适用于mac的Tor浏览器。Tor Browser for Mac是一款安全性极高的浏览器，Tor Browser for Mac可以帮助您匿名化Web浏览和发布，即时消息以及使用TCP协议的其他应用程序。更多Tor Browser for Mac精彩功能，点击进入，就能和小编一起体验Tor浏览器的强大功能了！ Tor Browser for Mac功能 一、安全浏览 Tor Browser是一款专为希望提高互联网安全性的人士而设计的工具集。它可以帮助您匿名化Web浏览和发布，即时消息以及使用TCP协议的其他应用程序。对于商业用户而言，这意味着保密信息交换可以避免窥探，对于更普通的用户而言，这意味着ISP，键盘记录程序和其他类型的恶意软件无法轻松跟踪您的活动。 二、它是如何工作的？ 它的工作原理是在分布式服务器网络周围弹出流量，它称之为“洋葱路由器”（因此是徽标）。Tor浏览器界面允许您根据需要匿名上线的情况轻松地打开和关闭它- 当您这样做时，无需重新启动计算机。如果需要，您还可以根据世界地图选择各种代理隧道，该地图可以准确显示每个代理隧道的位置。 要检查它是否正常工作，您可以使用在线Tor探测器查看您是否匿名冲浪。连接可能需要一些时间，具体取决于任何时候登录网络的用户数量，但通常非常快。成功连接后，Tor洋葱徽标在任务栏中从×××变为绿色。 三、完全匿名 Tor是一个简单，组织良好，有效的工具，适用于任何担心在线隐私安全或***的人。 Tor Browser for Mac优点 简单易用的浏览器从头开始设计，可帮助您使用Tor匿名软件解决方案安全地浏览Web 转载于:https://blog.51cto.com/14291436/2380804

由于工作需要，装机了双系统的ubuntu+windows，却发现自己装的ubuntu没有无线wifi选项。原因是没有驱动无线网卡。 步骤一：查询无线网卡型号。 ~$ lspci | grep -i net 得到 03:00.0 Network controller: Broadcom Inc. and subsidiaries BCM43142 802.11b/g/n (rev 01) 04:00.1 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 12) 第一行是自己的无线网卡型号，这里博主的型号是BCM43142。 步骤二：使用以下命令来安装此网卡驱动。 sudo apt-get install linux-headers-generic build-essential dkms sudo apt-get update sudo apt-get install linux-source sudo apt-get install --reinstall bcmwl-kernel-source sudo modprobe wl 然后就可以看到自己电脑右上角网络连接处的无线wifi启动啦。 如果没有启动可以重启电脑试试。

白话区块链 从入门到精通，看我就够了！ 暗网，是指不能通过常规引擎搜索，必须要通过特定工具才能登陆的网站。访问者在浏览暗网的过程中，不容易留下痕迹，而加密货币因为其隐秘性和安全性，受到了暗网交易者的热捧。 根据外媒报道，暗网上最大的交易平台Dream Market（梦想市场），近日宣布将于4月30日正式关停。这家“臭名昭著”的平台目前在线出售超过6.5万件数字商品，其中包括了无法通过正常渠道购买的黑客教程、恶意软件、违禁药品等商品。 ▲本市场将于2019年4月30日关停，所有服务将转移至合作伙伴公司 至于关停原因，市场上众说纷纭。官方曾发布公告，声称网站的关闭是因为受到了DDoS攻击（分布式拒绝服务攻击），且无法满足黑客40万美元的赎金要求。但对于一个已经运行五六年之久，在暗网影响力和交易量数一数二的交易网站而言，这样的解释显然不能令人信服。不少人猜测，该暗网平台主动关闭是由于大量使用加密货币进行交易，而美国政府在近段时间加强了对加密货币和暗网的监管。 ▲“梦想市场”的关网公告 在平台关闭之前，普通商户只需在平台上充值0.1个比特币，就可以售卖“违禁品”。早在去年的十月份，该平台的一个商户就曾因为大量出售违禁药品，被美国地方法院判处二十年有期徒刑。该名商户从交易中获取的超过100枚BTC和121.95枚BCH，全被美国当局收缴国库。 01 加密货币与暗网的渊源 这已经不是加密货币第一次和暗网产生纠葛了。大部分人最开始了解加密货币和暗网可能是从著名暗网平台“丝绸之路”的曝光开始。各种武器、毒品、隐私信息都曾明码标价地陈列在这个交易量最大的暗网平台之上，而大部分交易是使用比特币进行结算的。在丝绸之路最为火爆的几年中，其流通量一度占据了比特币总流通量的80%。 根据2014年的数据显示，以“丝绸之路“为首的六大暗网，平均每天比特币交易量高达65万美金，远远超过当年最炙手可热的比特币支付供应商Bitpay的交易量。 ▲6大暗网交易额，来源：usenix.org 在暗网发展的最高峰，不少人将罪恶根源指向了以比特币为首的加密货币。在他们眼中，加密货币就是“恶魔之子”，在暗网的发展过程中起到了助纣为虐的作用。而事实真的是这样吗？ 02 加密货币并非“向恶而生” 根据数据公司Chainalysis的最新数据，2018年暗网市场上的比特币交易量达到了平均每天200万美元的水平。虽然这个数据相较14年增长了三倍有余，但是我们发现整个比特币市场的交易额增长要远远高于暗网市场的发展。而AIcoin的数据也显示，目前比特币在几大头部交易平台的平均日交易量维持在10亿人民币的量级。 从这个数据可以看出，在五年之前，加密货币可能与暗网“相辅相成”，但如今，这个行业蓬勃发展。特别是经历了一波16年的大牛市之后，以比特币为首的加密货币走出了属于自己的独立行情，否定了比特币是暗网的“恶魔之子”，加密货币也并非向恶而生。 03 匿名交易并非“法外之地” 有不少人认为，加密货币的匿名性包庇了犯罪，大大降低了犯罪成本，给不法分子提供了一个法外之地。然而事实恰恰相反，加密货币并不能完全保全犯罪者本身，有时候也会成为一把“恶魔”之剑，刺向恶魔自身。 2015年，“丝绸之路“创建者乌布里希被判处无期徒刑。美国警方在其笔记本电脑上发现的144342比特币和其交易记录，成为了其定刑的重要证据。 2017年7月，当时最大的暗网市场阿尔法海湾被封，其中包括1605枚比特币、8309枚以太坊、3691枚Zcash被查处，牵扯出了高达上百人的犯罪团伙。 而伴随着加密货币市值和影响力的不断增大，比特币等加密货币的匿名性也在各个国家的监督下，变得越来越不“匿名”。 从2014年开始，美国政府就开始严厉打击加密货币洗钱的行为，封杀了多个实行洗钱交易的暗网。根据加拿大科学家RemiQuirion的统计，在暗网中与洗钱有关的比特币交易在不断下降，在2017年所占比例不到0.1%。17年4月，一名中国网友通过暗网交易平台阿尔法海湾（AlphaBay）使用比特币购买违禁药品，在短短几天之后，就被中国警方抓捕归案。 从上述一系列的实际例子可以看出，加密货币不仅不是暗网交易者的保护伞，很多时候还成为加速其阵亡的“助推器”。 区块链安全公司Chainalysis首席执行官Gronager就曾指出，该公司网络安全专家和有关政府部门人员可以通过审查比特币协议来追踪可疑账户，确定嫌疑人的犯罪活动。执法机构能够跟踪每个特定钱包的地址，并将其与可疑账户绑定的钱包集群进行匹配，凭借这些线索搜索用户身份的在线痕迹并最终揭露其真实身份。这表明区块链只是在技术上匿名，从犯罪行为上来看是完全透明。 04 技术本无罪 无论是从暗网市场的用途和发展来看，比特币为首的加密货币，只是不法份子用来获取利益的一个工具，不能从这个片面的角度就得出加密货币“罪大恶极”这样的结论。正如火药在历史上的地位一样，它能做成炫目灿烂的烟火，也能做成杀人如麻的武器，全凭人类如何正确使用。所以技术是技术，本身没有对错，最怕的还是人性中的贪婪和邪恶。另一方面，加密货币底层的区块链技术，在上面留下的“蛛丝马迹“不可篡改，这也是技术留给法律声张正义的标记。 对于加密货币用于暗网交易，你怎么看呢？欢迎在留言区分享你的观点。 相关/热文 比特币迷局：黑暗帝国的主宰、金钱的奴隶、真相最后的守护者 牵动投资者命运的曲线，价格暴动下的比特币十年 意外！区块链游戏“捉妖”热度超王者荣耀，就在公测当天 ——End—— 『声明：文章为作者独立观点，不代表白话区块链立场，亦不构成任何投资意见或建议。』 亲，据说99.9%有品位的人都点了「在看」?

首先在google.com上面搜索 tor browser 进入下载界面↓↓↓: 选择你所需要的版本: 下载并安装到你的电脑上 随便找个 “楼梯” 可以使用全局代理的那种 开启成功后，打开你之前安装的 Tor Browser 成功连接，打开Tor Borwser为如下界面 键入你找到的 Dark web 网站 这里提供一个明网的网站 三W点b一sTG欧R一点抗 请自行重组上述网站 ##################################### 建议不要去寻找dark web ，一些内容太过恶心，而且现在也没多少可以正常进入的了

1、运行：选择菜单栏上面的Run按钮下的Run，或是快捷键Shift+Alt+F10，然后选择类名cal 2、调试：选择菜单栏上面的Run按钮下的Run，或是快捷键Shift+Alt+F10，然后选择类名cal a、设置断点：选定要设置断点的行，在行号的区域后面单击鼠标左键（如行号5的后面那个大红点点） b、开始调试 c、调试说明 来自博客：https://www.cnblogs.com/chiangchou/p/idea-debug.html ，写的很详细 Step Over (F8)：步过，一行一行地往下走，如果这一行上有方法不会进入方法。 Step Into (F7)：步入，如果当前行有方法，可以进入方法内部，一般用于进入自定义方法内，不会进入官方类库的方法，如第25行的put方法。 Force Step Into (Alt + Shift + F7)：强制步入，能进入任何方法，查看底层源码的时候可以用这个进入官方类库的方法。 Step Out (Shift + F8)：步出，从步入的方法内退出到方法调用处，此时方法已执行完毕，只是还没有完成赋值。 Drop Frame (默认无)：回退断点，后面章节详细说明。 IntelliJ IDEA的使用教程 及 可下载的电子文档 http://www.runoob.com/w3cnote/intellij-idea-usage.html

1.爬虫是什么呢？ 爬虫是指按照一定的规则，自动地抓取网络数据，再对数据进行解析复用的程序或者脚本。 2.爬虫的分类 网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。 3.爬虫的应用场景 也就是说你为什么要写这个爬虫程序或者脚本呢？是为了好玩还是用来装酷呢？ 本质就是你拿到数据要干嘛呢， 3.1你可以进行热门岗位分析比如可以爬取拉勾网python工作职位的薪资以及待遇情况。 3.2也可以拿到豆瓣电影（豆瓣图书）的top100的电影名字、演员、上映时间以及各大网友的评论。 3.3你也可以做一个软件，可以通过爬取各个商店的同一类产品的数据，来比较他们的价格，销量，好评度等等，让你的朋友们永远你的软件，可以带来更多的乐趣吧。 3.4你也可以做一个信息咨询汇集的网页，也就是搜索引擎 3.5当然数据分析的前提是需要很多数据的，可以通过爬虫爬取下来。 3.6股市预测 3.7刷票抢票短信电话轰炸等等 应用还是非常多的，当我们熟练爬虫之后就可以实现我们的一些有趣的想法。

mymind http://my-mind.github.io/ 免费域名 https://www.opennic.org 阅后即焚 https://stool.cf/ 查找资源 https://www.xiaobd.net/t/17104928 网址监控 https://www.17ce.com 书签 https://www.listango.com https://atavi.com https://papaly.com 网站时光机 http://web.archive.org/ 上传 https://drop.me/ https://www.mirrorcreator.com https://anonfile.com/ http://dewdrop.io/ 在线杀毒 https://www.virustotal.com/zh-cn/ 文字转图片 http://www.gaituba.com/wenzizhuantupian/ 歌词 https://mojim.com 测速 http://www.speedtest.net 词林 https://www.cilin.org/ 短链接 http://sina.lt/ https://tinyurl.com/y73kl7x9 抠图 https://www.gaoding.com 听歌 http://www.zdfans.com/7639.html aria2c控制台 http://aria2c.com/ 看电影 http://127.0.0.1:43110/1PLAYgDQboKojowD3kwdb3CtWmWaokXvfp/ 种子 http://btlibrary.cc/ http://cnbtkitty.org/ 网页小游戏 http://www.y8.com ssr订阅源 https://www.nutgeek.cn/newsubscribe/ https://prom-php.herokuapp.com/cloudfra_ssr.txt http://share-shadowsocks.herokuapp.com/full/subscribe http://share-shadowsocksr.herokuapp.com/subscribe?valid=1 https://raw.githubusercontent.com/ImLaoD/sub/master/ssrshare.com telegram 订阅 https://t.me/freeshadowsock https://t.me/gyjclub https://t.me/joinchat/AAAAAEvnT-th4YKBWoUjFw 图床 https://uchi.moe/ https://postimages.org/ https://imgbox.com https://imgur.com https://sm.ms/ http://ipfs.pics/ https://img9.top/ （慢如蜗牛，不用了） 知识共享协议 http://creativecommons.net.cn/licenses/licenses_exp/

2018.3.8 黑客在暗网论坛发布Acfun视频网站1500万一手用户数据 2018.6.9黑客在暗网论坛发布Acfun视频网站 SHELL+内网权限并公布了300条用户数据 事件整理 https://www.linuxidc.com/Linux/2018-06/152848.htm 2018.8.25 知道创宇404实验室发布 《2018上半年暗网研究报告》https://paper.seebug.org/686/

*不带括弧注明的默认都是 Python爬虫 因为头条对外链不支持等其他原因，上图所有爬虫项目地址可在实验楼微信公众号（实验楼）后台回复关键字 “爬虫” 获取。以下为字母顺序的列表： A 暗网爬虫(Go) B Bilibili 用户 | Bilibili 小视频 | B站760万视频信息爬虫 Bing美图爬虫 博客园(node.js) 百度百科(node.js) 百度云网盘 Boss 直聘 博客园 D 豆瓣读书 | 豆瓣爬虫集 | 豆瓣害羞组 DNS记录和子域名 DHT网络磁力种子爬虫 抖音 G Girl-atlas girl13 GitHub trending GitHub 仓库及用户分析爬虫 H HDOJ爬虫 I Instagram INC500 世界5000强爬虫 J 京东 京东搜索+评论 京东商品+评论 机票 煎蛋妹纸 煎蛋妹纸selenium版本 今日头条，网易，腾讯等新闻 计算机书籍控图书 K 看知乎 konachan L 链家 链家成交在售在租房源 拉勾 炉石传说 leetcode 领英销售导航器爬虫 LinkedInSalesNavigator M 马蜂窝 用户足迹 MyCar 漫画喵 一键下载漫画~ MM131性感美女写真图全爬取 美女写真套图爬虫 （一）（二）（三） 妹子图 猫眼网电影评分 N