http://www.blackmoreops.com/2013/12/16 /installing-tor-kali-linux/ Home Kali Linux Hacking How to Virtual Private Network (VPN) Popular Categories AMD Command Line Interface (CLI) Denial-of-Service Attack (DoS) Desktop Managers Security Linux Linux Administration News NVIDIA VirtualBox Wireless LAN (Wi-Fi) Contact Us Disclaimer Privacy Policy Wednesday , August 16 2017 Home Kali Linux Hacking How to Virtual Private Network (VPN) Popular Categories AMD Command Line Interface (CLI) Denial-of-Service Attack (DoS) Desktop Managers Security Linux Linux Administration News NVIDIA VirtualBox Wireless LAN (Wi-Fi) Contact Us Disclaimer Privacy Policy blackMORE Ops Learn one trick a day ….

概述 介绍 镜头阴影校正（Lens Shading Correction）是为了解决由于lens的光学特性，由于镜头对于光学折射不均匀导致的镜头周围出现阴影的情况。 shading可以细分为luma shading和color shading： luma shading： 由于Lens的光学特性，Sensor影像区的边缘区域接收的光强比中心小，所造成的中心和四角亮度不一致的现象。镜头本身就是一个凸透镜，由于凸透镜原理，中心的感光必然比周边多。如图所示： chrom/color shading： 由于各种颜色的波长不同，经过了透镜的折射，折射的角度也不一样，因此会造成color shading的现象，这也是为什么太阳光经过三棱镜可以呈现彩虹的效果。如图所示： 此外，还有CRA的原因会导致shading现象的出现，这里不再赘述，这里推荐《What’s CRA》这篇文章，详细讲述了由于镜头的CRA带来的shading。 影响 luma shading：会造成图像边角偏暗，就是所谓的暗角。 color shading：中心和四周颜色不一致，体现出来一般为中心或者四周偏色。如图所示： 校正 lens shading的校正是分别对于bayer的四个通道进行校正，每个通道的校正过程是相对独立的过程。 考虑到芯片设计的成本，因此一般情况下不会存储整幅图像的lut，目前主流的都是存储128*128个点的增益，利用双线性插值的方法计算每个pixel的增益。 算法 由于条件限制，图像仅用于算法验证，不做图像质量评判标准 这里写了一个shading的算法，将图像分为16×16的方块，求取每个交点的增益值，对平面进行四次方拟合，分别计算了luma shading 和 chrom shading，先计算出来一个lut用于存储，校正的世行通过对这个lut进行双线性插值得到每个pixel的值乘以原本像素点。 16×16的分块并非固定，可以对块的大小进行调整，比如中心块偏大，靠近边缘的方块变小，这些都是可以自定义的，本算法由于做演示使用，故不做其他功能。如图所示： code 由于代码量较大，这里分别附上一部分算法 shading lut caculate: function [image_r_gain, image_gr_gain, image_gb_gain, image_b_gain] = ... isp_lsc_lut(image_r, image_gr, image_gb, image_b, side_num) [height, width] = size(image_r); side_y = floor(height/side_num); side_x = floor(width/side_num); % figure,imshow(image_r); % hold on; % for k=0:side_num % line_x = side_x * k; % line_y = side_y * k; % if(k==side_num && line_y ~= width) line_y = height;end % if(k==side_num && line_x ~= width) line_x = width;end % line([line_x,line_x],[0,height],'Color','red'); % line([0,width], [line_y, line_y],'Color','red'); % % line(Xd,Yd,'Color','red'); % end % hold off %% compress resolution image_point = zeros(side_num,side_num); for i = 0:side_num for j = 0:side_num x_clip = floor([j*side_x - side_x/2, j*side_x + side_x/2]); y_clip = floor([i*side_y - side_y/2, i*side_y + side_y/2]); if(i==side_num && y_clip(2) ~= height) y_clip(2) = height;end if(j==side_num && x_clip(2) ~= width) x_clip(2) = width;end x_clip(x_clip<1) = 1;x_clip(x_clip>width) = width; y_clip(y_clip<1) = 1;y_clip(y_clip>height) = height; data_r_in = image_r(y_clip(1):y_clip(2), x_clip(1):x_clip(2)); image_r_point(i+1,j+1) = mean(mean(data_r_in)); data_gr_in = image_gr(y_clip(1):y_clip(2), x_clip(1):x_clip(2)); image_gr_point(i+1,j+1) = mean(mean(data_gr_in)); data_gb_in = image_gb(y_clip(1):y_clip(2), x_clip(1):x_clip(2)); image_gb_point(i+1,j+1) = mean(mean(data_gb_in)); data_b_in = image_b(y_clip(1):y_clip(2), x_clip(1):x_clip(2)); image_b_point(i+1,j+1) = mean(mean(data_b_in)); end end % figure,imshow(uint8(image_r_point)); %% caculate lsc luma gain for i = 1:side_num+1 for j = 1:side_num+1 image_r_luma_gain_point(i,j) = mean2(image_r_point(uint8(side_num/2)-1:uint8(side_num/2)+1, uint8(side_num/2)-1:uint8(side_num/2)+1)) / image_r_point(i,j); image_gr_luma_gain_point(i,j) = mean2(image_gr_point(uint8(side_num/2)-1:uint8(side_num/2)+1, uint8(side_num/2)-1:uint8(side_num/2)+1)) / image_gr_point(i,j); image_gb_luma_gain_point(i,j) = mean2(image_gb_point(uint8(side_num/2)-1:uint8(side_num/2)+1, uint8(side_num/2)-1:uint8(side_num/2)+1)) / image_gb_point(i,j); image_b_luma_gain_point(i,j) = mean2(image_b_point(uint8(side_num/2)-1:uint8(side_num/2)+1, uint8(side_num/2)-1:uint8(side_num/2)+1)) / image_b_point(i,j); end end bilinear interpolation:

概念2： 在一些大型的机房中，什么叫做TOR交换机？ 服务器机柜接入交换机。通常是可堆叠的三层交换，背板带宽大，接口多。 概念3： 高密度、虚拟化、云计算等数据中心技术趋势的演进，以及10GBASE-T相关产品的应用，都深刻地影响了机房基础设施的变革，以ToR为代表的新架构设计的出现，更是对数据中心布线系统提出了新的课题。 从综合布线系统的角度看，适应ToR等方式的点对点布线，与综合布线国际标准提倡的集中式布线之间存在很大差别，孰优孰劣也引发了新的争议。究竟哪种方式更适合数据中心实际需求及发展趋势?值得从业者关注和思考，更是用户关心的实际问题。 ToR潮流来袭，冲击布线厂商 在“开放式云网络框架”产品中，特别提到了对ToR架构的支持——“新产品提供更高水平的端口密度、性能以及灵活性……便于数据中心灵活选择核心与柜顶(ToR)层的构建方式……”实际上，在思科(Cisco)、博科(Brocade)和H3C等网络设备厂商的新产品中，你都能看到ToR架构的影子。由于ToR极大地缩减了布线的使用量，这种架构若逐渐成为主流，将给布线厂商带来较大损失 什么是ToR、EoR、MoR? ToR的英文全称为Top of Rank，意指柜顶，与列末EoR(End of Row)及列中MoR(Middle of Row)一样，都是数据中心的一种架构设计方式。 传统的机房架构主要以EoR和MoR方式(两者差别主要在于网络机柜的位置不同)为主，采取类似的集中式布线。 其中，EoR方式是指服务器机柜中所有的服务器端口，都通过跳线连接到机柜上的配线架，再由配线架上的铜缆延伸到网络机柜(位于一组机柜尾部)中的接入交换机上。 MoR方式与EoR方式类似，只是将网络机柜部署在服务器机柜的中部，从而在一定程度上减少了从服务器机柜到网络机柜的线缆距离。 ToR方式的出现，为机房架构设计带来了新的变化：该方式将接入交换机放置在每个服务器机柜或单元的顶部，机柜内服务器直接通过短跳线连接到顶部的交换机上，再经由光纤从交换机的上行链路端口连至核心交换机。 粗看上去，ToR与EoR/MoR两类方式，只是在接入交换机的位置上发生了变化，但实际上改变了整个机房的网络结构。仅从设备使用上来说，一方面增加了交换机使用数量，另一方面，综合布线系统由从前的集中式布线变为了点对点布线方式，大大缩减了布线使用量。 ToR是不可阻挡的潮流吗? 在网络设备厂商阵营看来，采用ToR架构设计有诸多好处：降低了网络结构复杂性;更符合数据中心绿色和节能趋势;极大地缩短了铜缆的使用距离，简化了线缆管理;通过增加光纤的使用替代铜缆，减少了网络拥塞，并可支持不同的I/O连接选项，比如10GbE以太网端口和光纤通道;为复制机柜配置提供了便利;可扩展性强，当新增加机柜和业务服务器时，服务器直接连接到ToR即可…… 更为重要的是，分析ToR的诞生背景会发现，随着用户数据业务需求的猛增，数据中心机房服务器密度越来越高，虚拟化和云计算等新技术趋势日益流行，使得服务器对应的网络端口大大增加，并且增加了管理的复杂性，另外以太网(LAN)与光纤存储区域网络(SAN)的融合也越来越常见，这就必然要求一种新的网络拓扑结构与之相对应。 “从时间点上来看，传统的数据中心大多数以EoR为主，而新的数据中心越来越多的采用ToR的方式。”Juniper亚太区数据中心顾问工程师包贵新告诉我们，在云计算的大潮下，这种分布式架构的业务扩展性极强，要求的服务器数量也越来越多。例如新的Apache Hadoop 0.23支持6000~10000台服务器在一个集群内，海量的服务器数量要求充分利用数据中心机柜空间的同时，海量的业务数据也需要更快更直接的高性能链路把数据传送到网络核心。在这样的趋势下，显然ToR更加适用，在业务迅速扩展的压力下，ToR的方式可以更好的实现网络的更快速扩展。 不过，在美国康普公司中国区技术总监吴健看来，ToR在短期内还不会成为趋势。一方面，ToR还没有大面积的普遍应用，对于置顶交换机的稳定性，管理性，还有待观察;另一方面，目前所有国际国内标准仍然建议结构化布线，EoR/MoR仍然是主流。而ToR的长期发展如何，还要取决于网络设备的成本变化，LAN和SAN设备的发展，云技术和虚拟技术的发展。 对此，罗森伯格亚太电子有限公司高级产品经理孙慧永认为，ToR形式的产生的背景主要是在PC服务器架构每个机柜的服务器密度越来越高的情况下发展起来的，高密度机柜的设计也是数据中心技术发展的方向之一，ToR在今后的数据中心应用中比率将会有一定比例的增长，但不是完全替代EoR与MoR的方式。根据不同的服务器类型，网络架构以及机房密度等多方面的因素综合考虑选择适合自己的布线方案。 ToR未必节省，可能增加成本 在各种宣传资料中，ToR方式得到推广的一个重要理由，是节省了大量的布线成本和制冷成本，简化结构，使得机房更加绿色节能。但深入研究会发现，布线成本减少的代价是网络接入设备成本的增加和端口冗余，并且缩减也只是水平铜缆布线的部分，ToR对于光纤的要求比传统布线方式更多。在初期建设成本之外，后期的管理和扩展问题有可能变得更加复杂。 ToR可能造成端口浪费 一直以来，ToR被诟病最多的就是交换机端口冗余问题。由于供电和散热等限制，若采用ToR方式，也就是在每个机柜顶端配置一个交换机连接本机柜的服务器，就会使得每个交换机有很多的端口是用不上的。 TIA TR-42 通信布线系统工程委员会副主席Valerie Maguire曾介绍过一个真实案例，某用户共有336个服务器机柜，每个机柜配置2台48端口的ToR交换机和40台服务器，这就使得每个交换机有8个端口是空闲的，整个网络就有112整台交换机端口数量都是空闲的。这些超额购买的设备和3年维护的成本总计将达到112万美金。 如果考虑机柜受供电能力约束的真实情况，每个机柜能放置的服务器数量远小于40台，则浪费的总额将更高。而若采用集中式布线只需花费 27.5万美金，通过在布线上的投资就能换来极大的交换机等设备的节约。 “若全部48个交换机端口都被使用时，则发生了更大的问题。”美国西蒙公司大中国区技术部经理陈宇通进一步分析说，哪怕再添加一台新的服务器，也需要再购买一台48端口的交换机。即使在空闲状态，这些超额配置的端口也会消耗电能，额外的交换机和端口也增加了更多的维护和保修费用。 另外，随着电子设备的更新扩充，结构化布线系统可能需要添加回到数据中心，以支持未来的设备选择，这样就完全否定了初期点对点的节省效果。而由于在初期对走线通道、机柜空间和信道未作规划，以后再添加结构化布线系统将花费更多。 ToR增加管理难度 尽管ToR看上去简化了接入层的结构，但实际上并未降低管理难度，带来的各种复杂后续问题也并未做过深入探讨。 吴健向我们表示，尽管ToR的出现，大大减少了布线系统的投资，尤其减少了水平铜缆的部署，但设备成本将大大增加。另外容易被忽视的是，ToR将网络风险从无源设备转移到有源设备，管理风险将增大。 而在包贵新看来，ToR方式中不足之处在于，每个机柜都要光纤到网络核心，布线比较复杂，同时所有ToR的上连光纤都连接到网络核心，对网络核心处的布线压力也会比较突出。如何解决每个机柜到核心机柜的布线复杂性，包括距离等因素; 当机柜数量比较多的情况下，如何解决核心机柜的布线复杂性，包括设计合理的快速标识及监控排错的方案;服务器多网卡的情况下，如何部署ToR(服务器的多个网卡连接在一个机柜的多个ToR还是服务器的多块网卡连接到不同机柜的ToR);如何用最简单的方式快速监测到大量光纤链路的状态，降低运维管理的难度，这些都是需要进一步考虑的问题。 ToR不是“狼来了”，合理规划更重要 在实际的数据中心建设中，有很多种架构方式，ToR与EoR/MoR只是比较有代表性的两类架构，各有自身的优势与不足。面对来势汹汹的ToR以及点对点布线方式，用户还需要正确对待，根据实际应用与设备类型的不同来作出选择。 正确认识ToR 实际上，ToR点对点布线与传统的集中式布线是并存和互补的关系，并非取代或演进。 在孙慧永看来，ToR的发展某种程度上加快了数据中心布线光进铜退的步伐。ToR的方式将使得传统数据中心布线中的水平铜缆布线不复存在，大量采用短米数的铜缆跳线来取代，而后续从1000M网络上升到10G网络后，服务器端口与接入层交换设备端口部分将采用光纤进行传输，导致铜产品的应用有一定比例减少，而使主干布线中的光纤数量有较大比例的增加。而在规模较大的数据中心大量采用预端接光缆，对预端接应用今后将会有较明显比例的增长。 包贵新则认为，无论是ToR/EoR还是MoR的设计，体现的不仅仅是接入交换机位置上的不同，关键是要根据用户数据中心承载的业务类型，根据不同用户业务特点，以及不同用户数据中心的特定条件，包括投资和管理成本等进行综合考量后而决定采用哪种方式。 当然，在业务数据量不特别大，对扩展性要求也不是特别高的传统用户的数据中心中，EoR的方式仍然会受到很大程度上的青睐。而在采用分布式架构业务为代表的、对扩展性要求很高的用户数据中心，采用ToR将会是一种趋势。 用户理性选择，合理规划 通过以上的分析，ToR与传统集中式布线方式可谓各有千秋。那么，对于用户来说，在具体应用时最应该关注哪些因素，进而在ToR的争议声中作出理性选择呢? “ToR实际上对机房的规划提出了更高的要求。”以色列RIT公司全国技术经理王为表示，用户须得考虑自己对于数据中心的前期规划是否已经十分前瞻了，尤其是铜缆端口(交换机、配线架等)，否则反而会给自己带来不便。 陈宇通也认为，对每一种技术的评估应建立在互操作性、应用效益、未来可扩展性、维护成本和每端口总传输成本的基础上。这种分析应包括跳线、交换机端口和服务器或存储设备的网络接口卡的成本。而新的国际标准则建议在数据中心中安装6A类/EA级布线来支持10GBASE-T。通过采用支持10GBASE-T的集中式布线设计，可以避免端口超配及昂贵的移动，增加和变化。 在吴健看来，用户在采用某种设计方法时，应该考虑以下几个方面：初期投资，及日常维护成本;设备接口的发展变化;LAN和SAN是否需要融合;线缆的管理;日常MAC维护的方便性;对ToR交换机管理。 孙慧永的建议是，对于机柜密度不高的应用场合，或采用小型机与共享存储的数据中心应用，可能传统的集中式布线方式更加适合。对于采用机架式服务器高密度部署的方式或刀片式服务器类型的应用，采用ToR的方式可能更加便利。具体应用要根据实际业务应用要求，设备情况，网络架构，后期管理等综合分析再决定哪种布线方式更适合自已的需要。 这还是要基于几种方式的具体特点：如EoR的方式，将接入层交换机集中安装在HDA区域，有利于提高交换机的端口利用率，从这方面看，将会使数据中心设备平均端口能耗降低，反而更符合绿色节能的趋势，同时管理也比较便利。 但EoR的方式水平电缆的均长可能相对更长一些，服务器机柜上方的线缆将朝HDA同一个方向汇集，相对桥架压力较大。而采用MoR的方式同样也具有提高交换机的端口种用率的优点，但由于HDA设在中间，相对管理有所不便。而ToR的方式将HDA的接入交换设备分散到了每个服务器机柜，每台机柜的服务器端口数量通常不会与交换机端口相符合，会造成网络设备端口资源的部分浪费，但相对布线来说结构更为简单，水平永久链路将不再需要，取而代之的是铜缆跳线直接解决，光纤主干数量会有适当的增加。 结语 在综合布线工作组(CTEAM)权威发布的《2010年中国综合布线市场发展报告》中，可以很容易地看到数据中心对布线市场、技术、产品的全面影响，以及光进铜退的长期趋势。 毫无疑问，在此过程中，传统的布线方式也必将受到挑战，也只有不断发展，才能推动布线行业整体向前。但具体到某一种架构设计或布线方式，用户还是要擦亮眼睛，不要简单停留在厂商宣传和一面之词上，还要根据自身实际情况，多方参考对比，深入研究细节，最终规划出适合自己的最优解决方案 数据中心交换机布线方式 EOR/MOR/TOR 转载于:https://blog.51cto.com/tenderrain/1956536 点赞 收藏 分享 文章举报 weixin_33743248 发布了173 篇原创文章 ·

作为一名认真负责的小编，每次注册账号设置密码的时候都是最痛苦的，太简单的怕被破解，太难的又记不住。 等你好不容易记住密码，三个月后IT同学过来拍拍你的肩膀，“你的密码到期了，记得改啊……” 目前绝大部分网站对于注册账号的密码强度分为3个等级：弱密码、中密码、强密码。网站会引导用户填写密码的时候混合大写字母、字符和数字的强密码。 但这种密码设置要求来源于美国国家标准和技术协会（NIST）。当年NIST主管Bill Burr撰写了一份名为NIST Special Publication 800-63的文档，建议大家设置密码时混合大写字母、字符和数字，并定期修改。这么成（keng）熟（die）的建议后来被各大媒体广为传播，一时传为美谈。 紧接着国内外网站纷纷响应，吃瓜群众创造了各种各样的花式密码。 单词间隔法：Pa55word!1 古诗转化法：Heartulx1.tong（心有灵犀一点通） 化学方程式：CH4+2O2=CO2+2H2O 键盘顺序法：1qaz@WSX …… 但在今年6月，原作者后悔了……美国国家标准和技术协会（NIST）提供的最新数字身份指南的新版草案中，不再推荐用户使用这一标准，因为研究显示此类标准，并没有什么卵用…… 比如形似“Tr0ub4dor&3”这样的密码只需要用标准的破解技术在三天之内就能够破解，而且你很容易在被破解之前就忘掉自己的密码。而一句完全采用英文单词组成的摸不着头脑的短语 “correct horse battery staple”却需要约550年来破解。（如来佛祖的五指山都压不住啦） 而这组词语很容易形成独特的画面，对于人类来说非常容易形成记忆，但对计算机来说堪比天书，使得它很难被破解。 图片来自网络 另外研究显示，频繁的更改密码没有预想的效果，达不到保护密码安全的目的。因为大多数人应对 90 天更改密码要求采取的做法是将现有密码略微修改一下，比如 Pa55word!1 改为 Pa55word!2，完全起不到保护作用，很容易被猜出。 NIST数字身份指南的新版草案作者 Paul Grassi指出，此前的密码安全建议都是在摸索中前进，没有前人的尝试也无法摸索出切实有效的密码建议。所以也不再建议大家密码要求混合大写字母、字符和数字。他认为最重要的是储存的密码必须盐化哈希 MAC 处理。 密码的复杂性对于个人用户来说很重要，但对于提供登录场景的互联网企业来说，风险防控更加重要，它是保护用户账号安全的最后一道防火墙。 即便在用户无意间泄露密码，或密码设置过于简单的情况下，企业能基于用户行为、软硬件环境信息、业务基础信息综合判定用户登录请求的风险程度，避免机器人撞库或者非本人登录。阿里聚安全提供的数据风控功能，能有效对登录场景进行防控，防止刷库撞库、暴力破解、可疑登录等。并提供滑动验证码服务，通过生物特征判定操作计算机的是人还是机器，从而取代传统验证方式。 阿里聚安全 – 数据风控 阿里聚安全的数据风控功能，目前免费试用，欢迎来体验测试！ 免费体验地址：http://jaq.alibaba.com/riskcontrol ———— 更多安全热点资讯和知识分享，请关注阿里聚安全的官方博客

使用tensorflow自带的tf.random_crop()、tf.image.random_flip_left_right()、以及random_contrast()等函数处理图像数据时，不仅需要使用session，而且处理速度非常慢。使用Pillow库完成这些函数接口，在实际数据处理时就非常快速和方便。 #!/usr/bin/env python #-*- coding:utf-8 -*- ############################ #File Name: pic_process_PIL.py #Author: Wang #Mail: @hotmail.com #Created Time:2017-08-14 10:28:14 ############################ from PIL import Image import ImageEnhance import numpy as np from random import randint import random img = Image.open('1.jpg') #print img.format, img.size, img.mode #img.resize((1080,768)) #img.crop((14,14,79,79)).show() #print img.getpixel((1920,1080)) def random_crop(img, width, height): width1 = randint(0, img.size[0] - width ) height1 = randint(0, img.size[1] - height) width2 = width1 + width height2 = height1 + height img = img.

https://wallstreetcn.com/articles/3024733 卫星已经out了，为了获取信息优势对冲基金盯上了“暗网” 2017-08-12 15:39 7 24207 摘要：为了获得信息优势，对冲基金除了紧盯着Twitter、看遍Amazon上的评论、分析卫星图像之外，如今甚至开始利用暗网。 本文来自华尔街见闻（微信ID：wallstreetcn），作者唐晗。更多精彩资讯请登陆wallstreetcn.com，或下载华尔街见闻APP。 信息乃决策之源。在这场关于信息的军备竞赛中，对冲基金们不仅刮遍了Twitter，登上了Amazon账号去翻看各种评论，甚至还调阅了卫星对地面油厂进行监控。现在，他们正转向了一个更加受人争议的信源：暗网。 据 FinancialNews报道，有些金融情报专家正在将来自暗网的消息转卖给对冲基金。这些情报专家擅长挖掘商业内幕，并熟识商界相关人士。 一位情报专家对FinancialNews称，暗网上有着各种各样的毒品、武器甚至是涉恐交易。它们以加密数字货币为支付手段，以便隐藏交易人的身份。而这些令人不齿的交易，其信息对对冲基金来说又十分有用。 “有些对冲基金主动来找我们，因为他们需要知道自己所投资的领域内究竟发生了什么。例如，他们可能想知道一个总部位于中东的武器制造商的相关情况。那么我们就用暗网帮他们查找，该制造商的产品是否在暗网上出售，他们的产品是否有市场、是否有假冒品，还有人们对这些制造商们的评级。” 这位情报专家还表示，在暗网上追踪公司不仅仅适用于军火商，是可以用于对制药企业的调查。一旦他的团队在暗网上发现大量且不断增加的假药在暗网上销售，他们就会警告对冲基金，“买进这个品牌是没有意义的，因为它们的价值遭到了侵蚀。” 比起倒卖假药，想要在暗网上查到洗钱和恐怖活动交易则更加困难。但是，当对冲基金怀疑目标公司的活动或收入来源不正当时，他们通常都会要求这些情报专家上暗网查找目标公司的负面信息。 法律与道德的擦边球 尽管接触暗网在美国和英国并不违法，但将其作为投资决策的信源，仍与使用社交媒体和卫星云图等公开资料有所不同。 一位情报调查人员表示，对于对冲基金来说，使用来自暗网的信源比使用公开信源更难向投资者解释。此外，暗网的匿名性也让对冲基金难以确定他们是否真的获取了内幕消息。 这位调查人员目前已经暂停了与对冲基金公司的合作，因为在当前严厉的监管下，在暗网中进行调查是在太难了。 他还表示：“为了获取有效信息，对冲基金花钱无数。对冲基金做出的决策都是基于手头上的信息。可以说，他们的工作就是赌自己手上的信息比市场上的其他人要好。为了获取信息，一些人正在打道德和法律的擦边球。” Kroll（一家价值10亿美元的企业调查公司）的前分析师表示，从暗网获取信源为企业服务，这对调查公司提出了道德挑战。更糟糕的是，在访问暗网前必须对设备做好足够的保护措施，否则找上门的不会是信源，而将是病毒。

暗态下：横纹和竖纹比较明显 横纹: 产生原因：横纹与sensor的模拟电源的纹波相关（power denoise）。 1.avdd过低 解决办法：在sensor的模拟电源线上加一个LC低通或者使用一个LDO后效果就会好很多。 一般sensor的电源纹波最好能控制在1~2%以内，否则会很严重的影响低照度效果。 竖纹(FPN): 产生原因：coms sensor的工艺问题 1是外部电源输入，2是模组层级芯片自生数模干扰，3是某些芯片层级自生数模干扰。尽量滤波做好点。 解决办法： 1.sensor厂家一般会有FPN校正的配置 2.看看MIPI线或者并口线，看看是否做了屏蔽处理

原理： （经典）tcp粘包分析 场景： 此项目是处理实时监测数据，一旦tcp socket建立连接，会不间断实时发送数据，峰值输数据量在3M/秒，这样的数据量必然会造成数据粘包。 目的： TCP连接面向流，读取网络的一包数据不一定正好是协议里定义的完整的一包，有可能是多包，有可能是半包，也有可能是一包半，现在要将每次读取的数据进行分包，也就是粘包处理，提取出完整的一包数据供上层使用，上层需要将完整的一包数据里的数据根据协议定义的格式提取出来。 实现： 将收到的数据copy到缓存区，在缓存区里循环从起始位按照协议找出完整的一包数据提取出来。 关键点在于根据协议找出完整一包数据的长度。 从网络读取数据后拷贝到缓存区 判断：缓存区里数据占位，长度小于某个值n，return再次读取网络数据。这个值n长度的数据内要能解析出单个完整包的长度，以便后续处理 循环：如果缓存区长度大于解析出来的完整一包的长度 执行： 取出完整一包数据后，然后剔除这包，将缓存区剩余数据放置起始位 循环里再次判断： 长度小于某个值n，return再次读取网络数据。 这个值n长度的数据内要能解析出单个完整包的长度，以便后续处理 如果协议定义了帧头，可以在取包的长度之前校验帧头，确保数据正确。 这里说明定义缓冲区buffer的长度大小：必须要大于可能收到的最大数据包的长度加上read读取一次网络最大数据长度 原因是缓冲区里可能剩下不到一包数据，下一次读取网络数据后要将数据copy至缓冲区，如果超过缓冲区大小就无法进行处理。可在copy时加一层判断，如果超过缓存区，就直接返回，断开连接。代表这种数据包不能进行处理。如果缓存区设计合理，不会出现此种情况。read读取一次网络最大数据长度是在read到的buffer定义的长度。缓冲区的buffer不要设置过大，占用太多内存。 数据源说明：第一位固定#。第二位表示之后有几位代表了之后的数据的长度，比如第一条数据的第二位4，代表之后的四位3350是从0：开始共有3350个字节长度的数据。之后的数据跟业务相关。 主要代码： Java实现： 不可用于生产环境，理解思想后根据业务数据处理粘包 private static int MAXDATALEN = 500000; //处理数据缓冲池的长度 private static int RECEIVEDATALEN = 200000;//读取网络数据包最大长度 private int SiglePackageLen = 0;//提取出包的长度 private int SequenceLen = 0;//当前缓冲区内数据长度 private byte BuffSequencePackage[] = new byte[MAXDATALEN];//数据缓冲池 public void readData() { //读取网络数据长度 int RecvLen; //缓存区 byte ReceiveData[] = new byte[RECEIVEDATALEN]; try { while (AdapterManager.

抱着学习的态度，简单翻译了一个正在使用的教程，水平有限，如有错误多多包涵，自己也是刚接触到这个东西很多都不是很明白，需要解下来具体实践一下才能清楚，在这里简单贴一下译文，希望能帮助需要的人： 使用Nutch爬取暗网（.onion） 目录： 1.使用Nutch爬取隐藏服务（.onion） 1.重要提示 2.介绍 3.快速入门 4.安装Tor 1.Debian 或者 Ubuntu 2.Mac OSX 3.从git克隆源码 5.Tor日志 6.Socks代理异常 1.Polipo配置 1.在Debian或Ubuntu上 2.在Mac OSX上 2.代理 1.在Debian或Ubuntu上 2.在Mac OSX上 7.Nutch爬虫配置 8.结论 重要提示： 教程的目的是解释如何爬取隐藏服务而非怎么去使用隐藏服务来爬取。这是在读取和使用TOr网络的时候都应该考虑到的。通过Tor网络来爬取正常的网站无疑会加重Tor的网络负载。但是在Tor中你可以突破网络的封锁，访问到你想访问的网站，但是如果你执意想使用Tor和Nutch来爬取常规网站的话，你肯定走错地方了。 介绍： Tor是一个虚拟的网络通道，能够保证用户的隐私安全，也能够为软件开发者使用内置的隐私特性创造新的的沟通工具。Tor提供了广泛的应用基础，允许组织机构和个人共享他们的信息而不用考虑隐私的问题。这个教程提供了一个端到端的实例进入到Tor网络使用Nutch爬虫来爬去“.onion”网页 快速入门： 这个教程在Debian和Ubuntu已经完成测试，也可以在Mac OSX上运行。 Tor安装： 从这里下载安装配置代理相关即可，详情百度 https://www.torproject.org/ Debian or Ubuntu： 可以参考这里安装：https://www.torproject.org/docs/debian 也可以使用命令：apt-get install tor Mac OSX： 使用命令： brew install tor，之后使用tor可看到下面提示： lmcgibbn@LMC-032857 /usr/local/tor(master) $ tor Sep 23 17:09:47.448 [notice] Tor v0.2.4.23 (git-598c61362f1b3d3e) running on Darwin with Libevent 2.0.21-stable and OpenSSL 1.0.1i. Sep 23 17:09:47.

一、前言 本篇续接前一篇 yolo v2 之车牌检测 ，前一篇使用yolo v2已经可以很准确地框出车牌图片了，这里完成后续的车牌字符号码的识别，从车牌框框中要识别出车牌字符，笔者能想到3种思路，1种是同样yolo、SSD等深度学习目标检测的方法直接对车牌内的字符识别；第2种是传统方法从框里切分字符，再训练深度学习的模型对各个字符做识别；第3种方法就是端到端的车牌图片识别。在车牌图像的分辨率比较高，而且清晰的情况下，第1种方法的成功率理论上会比较高的，而且能够针对多种车牌，第2种方法则车牌字符倾斜的情况下效果不好，故这里尝试第3种方法，这种做法实际上也与验证码识别类似，缺点就是只能识别固定位数的车牌图片，用基于循环神经网络的方法可能可以解决这个问题。 二、修改caffe源码使适合多标签分类 由于caffe源码只对hdf5支持多标签，对lmdb格式文件只支持单标签，为此先参考这篇文章http://blog.csdn.net/sinat_14916279/article/details/56489601?locationNum=10&fps=1 修改caffe的源码，该博文针对的是5位数的验证码图片，而我这里需要修改为支持7个标签输入 三、训练集和验证集制作 首先需要采集数据，端到端的识别需要用到大量样本，上一篇中，修改yolo v2的源码src/detector.c中的draw_detections函数,将训练集和测试集的所检测的仅包含车牌的图片保存下来。为了能够得到更多的样本，爬虫更多网上的图片来检测，我这里共保存了3922张仅含车牌图片 其次上述采集到的图片远远不够，发现用户 szad670401在 Github 上开源的一个车牌生成器，当然也提供了相应的端到端识别模型。但是还是感觉生成的图片和真实的图片有所差距，故借鉴其代码中的添加高斯噪声、旋转、仿射变换、调整HSV、添加背景图像等操作对3922张图片做样本增强，先将图片resize至272*72，这个分辨率大小是为了之后符合模型的输入，再做样本增强，以下为一张图片的变换示例： 附上数据增强的python代码 #!/usr/bin/env python #coding=utf-8 import os import cv2 import numpy as np from math import * import random index = {"京": 0, "沪": 1, "津": 2, "渝": 3, "冀": 4, "晋": 5, "蒙": 6, "辽": 7, "吉": 8, "黑": 9, "苏": 10, "浙": 11, "皖": 12, "闽": 13, "赣": 14, "鲁": 15, "