darknet

文章来自IT经理网 原文链接：https://www.ctocio.com/ccnews/16089.html​​​​​​​ 不久前， 著名黑客Jacob Appelhaum与另外两名安全研究人员在德国媒体上发表了一篇文章， 通过他们得到的NSA的秘密文件以及对源代码的分析， 他们认为， NSA 已经把目标瞄准了匿名网络Tor， 并且可能已经攻破了Tor. 这个发现令人震惊， 在过去的十几年来， Tor一直被认为是能够保护那些记者， 异见人士， 或者黑客的重要匿名工具。 Tor还被电子前线基金（EFF）推荐为保护个人隐私的推荐工具。 然而， 这次的分析表明， 使用Tor的个人可以被NSA甄别出来， 通过Tor传递的所有数据都可以被记录。 对于很多人来说， NSA对Tor的渗透攻击就像是对隐私保护和言论自由等人权的法西斯式的践踏。 Appelhaum作为维基解密的志愿者以及一个Tor的开发者， 认为对Tor来说， 志愿者的行为是一种英雄主义行为， 就好像国际志愿军去西班牙与弗朗哥作战一样。 这听上去很美， 一批国际主义战士与邪恶的美帝国主义在作斗争， 但是， 事实上， Tor社区并不如想象的那么的完美。 来看看基本事实吧。 Tor是由美国军方的情报机构最初开发并且提供财务支持的。 Tor的最初目的和当前的目的是： “帮助政府情报人员和他们的线人隐藏身份， 以便于他们开展情报收集， 并且把情报回传给情报机构。”这些事实那些鼓吹和倡导使用Tor的人士并不会提到。 Tor的图标是一个洋葱， 如果我们剥开洋葱皮， 就会看到， 每个Tor的开发人员都是由五角大楼或者其它美国情报机构资助的。 其中包括了Tor的主要开发人员Roger Dingledine， 他甚至还在NSA干过。 如果你去Tor的网站， 你就会发现， Tor依然被美国政府广泛地使用着。 比如在Tor网站上， 你会看到。 “美国海军的一个机构利用Tor进行开源情报收集， 其中一个小队在最近派遣到中东执行任务时就使用了Tor. 执法机构使用Tor访问或者监控网站， 从而可以在网站日志中留下政府的IP地址。 “ Tor的发展历史 我们可以简单回顾一下Tor的发展历史。 1995年， 美国海军研究实验室的科学家开始开发一种匿名即使， 可以避免人们的行迹在Internet上被追踪到。 他们把这个技术叫做“洋葱路由”。 “洋葱路由”利用P2P网络， 把网络流量随机的通过P2P的节点进行转发， 这样可以掩盖源地址与目标地址的路径。 使得在Internet上难以确定使用者的身份和地址。 这就好像你送一封匿名信， 不是自己送或者通过邮差送， 而是大街上随便找一个不认识的人让他帮你送。 这样收信方就很难往回找到你。 这个技术最初由美国海军研究办公室和国防部高级研究项目署（DARPA）资助。 早期的开发由Paul Syverson, Michael Reed 和David Goldschla领导。 这三个人都是供职美国军方的数学家和计算机系统研究人员。

参考原文 在Linux环境下编译运行tor源码

VXLAN的实现模型如下图： 在这个实现模型中，VTEP（VXLAN Tunnel End Point）是位于计算节点的br-tun上，但是在实际应用中，VTEP也有位于TOR交换机的情形。 VTEP位于TOR上，而不是Host内的br-tun。我们把这一段组网抽象成下图： 从用户视角，这是一个VXLAN网络，所以Neutron对外暴露的接口（模型）仍然是Network。但是在具体实现时，VTEP位于TOR上，而且，TOR还需要做VNI（VXLAN ID）到VLAN ID的映射（VLAN1、VLAN2、VLAN3、VLAN4）。这个映射并不能随意映射，因为TOR交换机上的VLAN ID，也不能任意取值，需要经过规划。所以Neutron就有了如下模型： segment实际上是一个列表，这个列表的元素是[provider:physical_network,provider:network_type,provider:segmentation_id],Neutron正是通过这三个字段描述了需要描述的信息（比如VLAN ID，即provider:segmentation_id）。 说到这里，你可能会问，那个VXLAN网络的VNI，在哪里输入？这个VNI的赋值，由Neutron内部自动生成，而它生成的方法是根据配置文件的规则。 通过上述的这个场景（VTEP位于TOR上），我们可以总结出Network模型中的segments字段的用途： 1 使用场景：主要是VTEP位于TOR上。 2 用户体验：用户感觉到的只是一个普通租户，感觉不到实现细节。 3 字段用途：由于VTEP位于TOR上，Neutron内部还需要做一个网络ID的二次转换。TOR的VLAN ID是一个提前规划好的值，不能任意取值。此时，segments字段就承担这个作用，它的取值表达的就是这些提前规划好的值。 在这里，Network模型本身的网络ID相对于外部网络ID，segment字段里的网络ID相当于内部网络ID。Network本身的网络类型是VXLAN，segments字段里的网络类型是VLAN。

TOR本身已经做了这个功能了，今天发现。TOR 0.3.1.7版本加入的流量分析阻力，ChannelPadding,2017年9月 颇为绝望。今天才在GITHUB上看见TOR padding specification。 然后赶紧找了找官方的版本更新说明 原文如下： Major features (traffic analysis resistance): Connections between clients and relays now send a padding cell in each direction every 1.5 to 9.5 seconds (tunable via consensus parameters). This padding will not resist specialized eavesdroppers, but it should be enough to make many ISPs’ routine network flow logging less useful in traffic analysis against Tor users. Padding is negotiated using Tor’s link protocol, so both relays and clients must upgrade for this to take effect.

想要给研究项目留下一点可供索引的资料，所以开始了记录。 项目的主要目标是修改TOR源代码，得出一个拥有可选的伪流量功能的TOR版本。 先回答几个项目过程中一直时而清晰时而模糊的问题点： 1.为了解决什么问题。 传统互联网不被认为具有匿名性的一个原因是互联网服务提供商具有记录与追踪各网络节点间的连接的能力。即使信息内容可以通过加密传递而无法得知，但连接本身会具有记录，例如数据量，连接时间等信息。TOR虽然能创建并隐藏两电脑间的连接，两者间并无一个直接的可辨连接，但通过对连接记录进行流量分析，搜索连接时间与数据量来试图判别潜在的发送者或者接收者。且若链上节点产生变更则这一特征则会在该可记录网络中更为明显。大蒜网络是洋葱网络的变种，它在I2P的基础上将多个消息打包发送，以对抗流量分析。 伪流量功能的提出也是在可记录网络中对针对 TOR节点的分析进行对抗，流量分析可能通过时间，或者数据量等元数据进行数据挖掘找出节点间的关系链。所以团队设想，在TOR节点进行数据发送时产生一定的随机的或者恒定的虚假数据进行发送，以扰乱他们之间的元数据体现的潜在关系，则可将网络中隐藏的TOR节点进行一定的隐藏。 2.基本思路 要么，在产生数据通讯时填入填充数据保持每次数据发送的大小一致，要么，产生多个通讯连接，可是因为TOR是工作于TCP流上的，TCP通过长连接进行通讯没法进行很好的多播或者广播，所以仍有争论。 今天先写到这，没看多少，饭还是一口口吃好了，明天记录一下源码阅读的成果。 参考文献： https://www.icann.org/news/blog/zh-3f559084-3a74-4fcc-a560-2e1b6b61c4b4 http://www.360doc.com/content/16/1208/20/1513309_613102328.shtml http://blog.csdn.net/winscar/article/details/8848532

1.Tor官方网站 Tor Browser for Windows

本人是在JESON TK1开发板上实现yolo的视频实时运行测试 darknet的安装很简单，从官网上克隆代码即可： git clone https://github.com/pjreddie/darknet.git 修改makefile文件，使用opencv和cuda GPU=1 OPENCV=1 切换目录 cd darknet make通过就安装成功，若出现如下错误： obj/avgpool_layer_kernels.o -o libdarknet.so -lm -pthreadpkg-config –libs OpenCV-L/usr/local/cuda/lib64 -lcuda -lcudart -lcublas -lcurand -lstdc++ /usr/bin/ld: cannot find -lcudart /usr/bin/ld: cannot find -lcublas /usr/bin/ld: cannot find -lcurand 参照cannot find -lcudart …解决方案 安装成功 下面进行视频测试 权重文件请自行在darknet官网下载，本博客使用了tiny-yolo-voc.weights tiny-yolo-coco.weights （考虑到TK1开发板性能速度问题，只使用了小模型） VOC数据集测试，连接摄像头，运行命令 cd darknet #voc webcam test ./darknet detector demo cfg/voc.data cfg/tiny-yolo-voc.cfg tiny-yolo-voc.weights 测试速度不够快，修改网络输入图片大小到208×208，修改tiny-yolo-voc.cfg第四行 width=208 height=208 速度达到16帧左右，基本满足实时要求 同理： coco数据集测试，连接摄像头，运行命令 cd darknet #coco webcam test .

Understanding Traffic Density from Large-Scale Web Camera Data CVPR2017 https://arxiv.org/abs/1703.05868 本文介绍了两个算法用于车辆密度估计：1）OPT-RC 根据背景差得到车辆运动区域，对于图像的不同区域学习到一个对应的权值矩阵用于估计车辆密度 2）FCN-MT 使用 FCN 分割框架来进行车辆密度估计 车辆密度估计问题还是比较难的，类似于人群密度估计 Optimization Based Vehicle Density Estimation with RankConstraint(OPT-RC) we propose a regression model to learn different weights for different blocks to increase the degrees of freedom on the weights, and embed geometry information 用一个回归模型来学习图像区域对应不同的密度估计权值矩阵，嵌入了几何信息 FCN Based Multi-Task Learning for Vehicle Counting (FCN-MT) 网络分为 convolution network, decovolution network , 将卷积层各个层的特征融合起来，输入到反卷积网络中进行特征图放大 the large buses/trucks (oversized vehicles) in close view induce sporadically large errors in the counting results.

转自：https://www.blackmoreops.com/2013/12/16/installing-tor-kali-linux/ Tor is free software and an open network that helps you defend against traffic analysis, a form of network surveillance that threatens personal freedom and privacy, confidential business activities and relationships, and state security. This guide guides your through installing tor in Kali Linux. Why anonymity matters? Tor protects you by bouncing your communications around a distributed network of relays run by volunteers all around the world: it prevents somebody watching your Internet connection from learning what sites you visit, and it prevents the sites you visit from learning your physical location.

CVPR2017 https://arxiv.org/abs/1703.03872 GitHub: https://github.com/Joker316701882/Deep-Image-Matting 抠图问题还是比较难的，简单的用一个公式表达如下： 左边是图像位置 i 的 RGB 值，右边是 前景和背景的线性组合。 matte estimation alpha 是未知的。对于每个像素，有3个已知量，7个未知量，所以这个一个 underconstrained 问题，即变量个数大于方程个数。 当前针对抠图问题的方法主要有两个问题： 1）当前方法将 matting equation 设计为两个颜色的线性组合，即将抠图看做一个 color problem染色问题，这种方法基于一个假设就是颜色是一个可区分的特征，distinguishing feature（通常还加入了位置信息）。但是当背景和前景的颜色空间分布重叠时，这种方法的效果就不是很好了。 2） 当前基于抠图的数据库很小。 the alphamatting.com dataset 只有27张训练图像，8张测试图像。 本文解决了上述两个问题。针对数据库问题，我们建立了一个大的抠图数据库。建立方式如下： 找一些背景比较单一的图像，这些图像的真值比较容易得到。将人扣出来，然后再将其放到背景比较复杂的图中去。 4 Our method 整个网络分两个部分，一个是 deep convolutional encoder-decoder network，is penalized by the alpha prediction loss and a novel compositional loss 输入图像块和对应的 trimap，输出 alpha prediction。第二部分是一个小的卷积网络用于 refines 前面个网络的输出 alpha prediction。 4.1. Matting encoder-decoder stage Losses: 我们这里设计了两个 Losses： 第一个loss 是 the alpha-prediction loss，是 预测的 alpha values 和alpha values的真值的绝对差。第二个loss是 the compositional loss ，预测的RGB颜色值和对应的真值绝对差。.