第一个：按照https://www.cnblogs.com/kylinlin/archive/2016/03/04/5242266.html 大佬的写法，实现了
1、首先将本地的代理服务器进行设置，，这一步是为了与polipo对接。。
2、因为我们在polipo的配置文件中写了 洋葱头代理的地址和端口（9050），我们使用socks请求端口9150发出每次请求。
socksParentProxy = “localhost:9050”
socksProxyType = socks5
diskCacheRoot = “”
http://zhihan.me/network/2017/09/24/socks5-protocol/ 这个是关于sockes5的介绍。。
3、然后在中间件中写入
4、在stttings中
我是在start_requests() 中加了一个检测ip的语句
这样是可以运行的。。但是他的IP不会换。。
第二种：
先把这个关掉。。
在spider中书写，，
这个IP地址会变化的。。更加稳定。。
这种方法，我暂时不会设置使用MySQL；会起冲突，我以为的是本地的localhost和本地ip4的地址配置问题
deep_web–python 如何进入 环境搭建 开始 demo 如何进入 url多以onion结尾，访问的方式与普通的域名访问方式也不相同，访问他们需要一款名叫Tor的浏览器。也叫洋葱浏览器
环境搭建 针对于win10系统:
tor浏览器。 Vidalia控制器。 Tor控制器。 cow 。 还要有一款支持socks5协议的工具 开始 首先打开tor浏览器，点击配置，点击选择内置网桥，选择中国可用的选项。出现以下界面说明你的tor连接成功了。
打开Vidalia控制面板，如图说明你的连接洋葱浏览器成功。
点击设定在该目录中找到解压的tor控制器中的tor.exe文件
3.网络设置
4.打开socks5软件，端口监听1080,好像ssr之类的默认就是1080
5.打开cow文件夹中的rc.txt文件 修改为
以后打开cow.exe
到此环境搭建完成
demo import requests proxies = {'http': 'http://127.0.0.1:7777', 'https': 'http://127.0.0.1:7777'} s = requests.Session() r = s.get("http://anonymzn3twqpxq5.onion/list.php?2", proxies = proxies) print(r.text)
Python 能够用于开发哪些应用？
web开发 数据分析 machine learning algorithm deep learning 后台服务 数据可视化 data visualization Python’ s disadvantages:
运行速度慢 代码不能加密 Python开发环境安装：
网页版可以安装anaconda 使用 jupyter notebook进行开发 下载地址： https://www.anaconda.com/distribution/
本地版可以安装pyCharm IDE 集成环境 下载地址： http://www.jetbrains.com/pycharm/download/#section=windows
可以安装轻量级的Wing IDE 下载地址： wingware.com 创建一个Python程序：
通常防止爬虫被反主要有以下几个策略： 一.BAN IP 原因：某一个某一个时刻IP访问量特别特别大 ，或者是超出正常用户使用权限，导致服务器会偶尔把该IP放入黑名单 ，过一段时间再将其放出来
解决办法：分布式爬虫（分布式【分散url的手动分布式，以及框架分布式】）以及购买代理IP（Tor代理~~能买暗网代理），转化成app有的也有效
二.BAN USERAGENT 原因：爬虫请求头就是默认的 python-requests/2.18.4 等等类型在headers的数据包，会直接拒绝访问，返回403错误
解决办法：伪装浏览器头 ，添加其请求头，再发送请求
三.BAN COOKIES 原因：服务器对每一个访问网页的人都set-cookie，给其一个cookies，当该cookies访问超过某一个阀值（请求次数或者timeout值）时就BAN掉该COOKIE
解决办法：
1,控制访问速度 ,
2,在某宝上买多个账号，生成多个cookies，在每一次访问时带上cookies
3,手动获取页面返回cookies
4，解析js拿到其js生成的cookies再带入请求（超级稳）
5，再没有遇到逆天js加载情况下无所不能的selenuim
案例：亚马逊等大型电商平台，马蜂窝
四.验证码验证 原因：当某一用户访问次数过多后，就自动让请求跳转到一个验证码页面，只有在输入正确的验证码之后才能继续访问网站
解决办法：python可以通过一些第三方库如(pytesser,PIL)来对验证码进行处理，识别出正确的验证码，复杂的验证码可以通过机器学习让爬虫自动识别复杂验证码，让程序自动识别验证码并自动输入验证码继续抓取 ，还有最终手段打码平台（兔宝贝，超级鹰等）打码平台99%的能搞定，那1%也可以用打码平台的人工打码搞定。哈哈
短信验证：易码（专业手机短信验证好几年）
二维码验证：打码平台有支持扫码（神一样的验证，我没有遇到过，但听说过）
案例：淘宝，12306
五.javascript渲染 原因：网页开发者将重要信息放在网页中但不写入html标签中，而浏览器会自动渲染 Recent Posts 暗网网址导航大全（2021年12月更新） 暗网网址合集 暗网链接 Deep Web Link Director 全球十大暗网搜索引擎 最详细的暗网教程——tor洋葱浏览器的安装和使用方法 最新darkweb暗网搜索引擎——Tordex | The Uncensored Tor Search Engine 顶级保密暗网网址分享 如何进入暗网？教程+工具 Tor 洋葱浏览器 如何进入暗网详细步骤（暗网网桥获取方法） 什么是“暗网”？我们该如何访问? Deep Web / Dark Web 大全 Tagsandroid (10) application (5) google (7) hacker (5) internet (5) java (7) Linux (16) network (6) qq (4) Source Code Analysis (15) tor (44) ubuntu (14) web (21) windows (9) 互联网 (7) 产品 (6) 代理服务器 (5) 信息安全 (4) 其他 (7) 区块链 (4) 存储 (4) 安全 (11) 工作 (20) 工具 (10) 手机 (9) 搜索引擎 (5) 暗网 (16) 服务器 (10) 杂项 (17) 活动 (12) 测试 (5) 浏览器 (19) 深度学习 (5) 照片 (6) 爬虫 (7) 物理学猜想 (10) 环境搭建 (3) 生活 (23) 电信 (4) 电话 (5) 百度 (4) 算法 (5) 网络 (52) 网络安全 (18) 网络安全知识 (6) Categories AI (5) AltiumDesigner (7) BTC (6) darknet (25) Database (3) DeepLearning (78) Docker (1) GIS (9) Google (2) iOS (7) IT (7) java (37) Life (93) linux (86) LPC (11) macOS (6) mysql (5) Python (52) qt (5) SEO (2) threejs (5) Unity (19) 产品设计 (15) 人工智能 (12) 信息安全 (36) 前端 (128) 区块链 (14) 图像处理 (59) 图形视频 (36) 大数据 (15) 嵌入式 (7) 工具 (45) 开发 (57) 性能优化 (2) 技术 (18) 搜索 (10) 操作系统 (35) 教程知识 (1) 教育 (2) 数字图像处理 (3) 数据分析 (2) 数据库 (4) 数据结构 (3) 数论 (1) 显卡驱动 (1) 智能搜索技术 (3) 未分类 (496) 机器学习 (23) 模型压缩 (2) 模拟电路 (1) 模拟题 (1) 比特币 (3) 水下图像增强 (1) 测试 (4) 浏览器 (1) 深网 (2) 渗透测试 (4) 游戏 (2) 游戏开发 (16) 爬虫 (6) 环境搭建 (2) 生活 (5) 电子商务 (1) 硬件设计 (1) 社工库 (1) 神经机制 (1) 移动web (1) 移动开发 (76) 程序员 (6) 站长 (1) 算法 (9) 统计搜索 (9) 网络优化 (7) 网络安全 (80) 视觉 (4) 计算机 (31) 论文 (8) 设计 (6) 资源搜集 (1) 资讯 (34) 软件工具 (15) 软件开发 (26) 运维 (21) 逆向 (2) 项目管理 (4) Archives December 2021 (1) August 2021 (8) April 2020 (4) March 2020 (63) February 2020 (154) January 2020 (134) December 2019 (14) November 2019 (25) October 2019 (27) September 2019 (43) August 2019 (32) July 2019 (51) June 2019 (49) May 2019 (65) April 2019 (64) March 2019 (97) February 2019 (49) January 2019 (78) December 2018 (70) November 2018 (69) October 2018 (31) September 2018 (73) August 2018 (109) July 2018 (70) June 2018 (58) May 2018 (51) April 2018 (52) March 2018 (52) February 2018 (19) January 2018 (25) December 2017 (39) November 2017 (31) October 2017 (26) September 2017 (42) August 2017 (46) July 2017 (50) June 2017 (71) May 2017 (32) April 2017 (29) March 2017 (36) February 2017 (18) January 2017 (25) December 2016 (20) November 2016 (17) October 2016 (19) September 2016 (14) August 2016 (23) July 2016 (26) June 2016 (15) May 2016 (11) April 2016 (21) March 2016 (18) February 2016 (21) January 2016 (14) December 2015 (13) November 2015 (13) October 2015 (6) September 2015 (7) August 2015 (12) July 2015 (11) June 2015 (3) May 2015 (9) April 2015 (12) March 2015 (7) February 2015 (10) January 2015 (10) December 2014 (14) November 2014 (6) October 2014 (10) September 2014 (6) August 2014 (10) July 2014 (11) June 2014 (6) May 2014 (9) April 2014 (6) March 2014 (5) February 2014 (3) January 2014 (3) December 2013 (12) November 2013 (7) October 2013 (6) September 2013 (7) August 2013 (4) July 2013 (5) June 2013 (6) May 2013 (28) April 2013 (17) March 2013 (4) February 2013 (2) January 2013 (6) December 2012 (6) November 2012 (4) October 2012 (6) September 2012 (6) August 2012 (4) July 2012 (8) June 2012 (5) May 2012 (8) April 2012 (15) March 2012 (5) February 2012 (2) January 2012 (3) December 2011 (9) November 2011 (4) October 2011 (1) September 2011 (4) August 2011 (4) July 2011 (4) June 2011 (4) May 2011 (6) April 2011 (2) March 2011 (4) February 2011 (2) January 2011 (3) December 2010 (6) November 2010 (6) October 2010 (5) September 2010 (8) August 2010 (8) July 2010 (7) June 2010 (3) May 2010 (14) April 2010 (7) February 2010 (4) January 2010 (11) December 2009 (8) November 2009 (3) October 2009 (5) September 2009 (4) July 2009 (7) April 2009 (5) March 2009 (5) February 2009 (3) January 2009 (3) December 2008 (5) November 2008 (5) October 2008 (3) September 2008 (3) August 2008 (2) July 2008 (5) June 2008 (6) May 2008 (9) April 2008 (4) March 2008 (5) February 2008 (4) January 2008 (3) December 2007 (6) November 2007 (3) October 2007 (1) September 2007 (5) August 2007 (2) July 2007 (3) June 2007 (3) May 2007 (1) April 2007 (1) March 2007 (2) February 2007 (2) January 2007 (3) December 2006 (1) November 2006 (3) September 2006 (3) July 2006 (1) June 2006 (3) May 2006 (3) April 2006 (1) March 2006 (2) February 2006 (3) January 2006 (1) December 2005 (2) November 2005 (1) September 2005 (1) August 2005 (1) July 2005 (2) April 2005 (2) March 2005 (3) February 2005 (2) January 2005 (2) December 2004 (2) November 2004 (4) September 2004 (2) August 2004 (2) July 2004 (2) September 2003 (1) May 2002 (1) March 2002 (1) Copyright ©️uzzz.
通常防止爬虫被反主要有以下几个策略： 一.BAN IP 原因：某一个某一个时刻IP访问量特别特别大 ，或者是超出正常用户使用权限，导致服务器会偶尔把该IP放入黑名单 ，过一段时间再将其放出来
解决办法：分布式爬虫（分布式【分散url的手动分布式，以及框架分布式】）以及购买代理IP（Tor代理~~能买暗网代理），转化成app有的也有效
二.BAN USERAGENT 原因：爬虫请求头就是默认的 python-requests/2.18.4 等等类型在headers的数据包，会直接拒绝访问，返回403错误
解决办法：伪装浏览器头 ，添加其请求头，再发送请求
三.BAN COOKIES 原因：服务器对每一个访问网页的人都set-cookie，给其一个cookies，当该cookies访问超过某一个阀值（请求次数或者timeout值）时就BAN掉该COOKIE
解决办法：
1,控制访问速度 ,
2,在某宝上买多个账号，生成多个cookies，在每一次访问时带上cookies
3,手动获取页面返回cookies
4，解析js拿到其js生成的cookies再带入请求（超级稳）
5，再没有遇到逆天js加载情况下无所不能的selenuim
案例：亚马逊等大型电商平台，马蜂窝
四.验证码验证 原因：当某一用户访问次数过多后，就自动让请求跳转到一个验证码页面，只有在输入正确的验证码之后才能继续访问网站
解决办法：python可以通过一些第三方库如(pytesser,PIL)来对验证码进行处理，识别出正确的验证码，复杂的验证码可以通过机器学习让爬虫自动识别复杂验证码，让程序自动识别验证码并自动输入验证码继续抓取 ，还有最终手段打码平台（兔宝贝，超级鹰等）打码平台99%的能搞定，那1%也可以用打码平台的人工打码搞定。哈哈
短信验证：易码（专业手机短信验证好几年）
二维码验证：打码平台有支持扫码（神一样的验证，我没有遇到过，但听说过）
案例：淘宝，12306
五.javascript渲染 原因：网页开发者将重要信息放在网页中但不写入html标签中，而浏览器会自动渲染 Recent Posts 暗网网址导航大全（2021年12月更新） 暗网网址合集 暗网链接 Deep Web Link Director 全球十大暗网搜索引擎 最详细的暗网教程——tor洋葱浏览器的安装和使用方法 最新darkweb暗网搜索引擎——Tordex | The Uncensored Tor Search Engine 顶级保密暗网网址分享 如何进入暗网？教程+工具 Tor 洋葱浏览器 如何进入暗网详细步骤（暗网网桥获取方法） 什么是“暗网”？我们该如何访问? Deep Web / Dark Web 大全 Tagsandroid (10) application (5) google (7) hacker (5) internet (5) java (7) Linux (16) network (6) qq (4) Source Code Analysis (15) tor (44) ubuntu (14) web (21) windows (9) 互联网 (7) 产品 (6) 代理服务器 (5) 信息安全 (4) 其他 (7) 区块链 (4) 存储 (4) 安全 (11) 工作 (20) 工具 (10) 手机 (9) 搜索引擎 (5) 暗网 (16) 服务器 (10) 杂项 (17) 活动 (12) 测试 (5) 浏览器 (19) 深度学习 (5) 照片 (6) 爬虫 (7) 物理学猜想 (10) 环境搭建 (3) 生活 (23) 电信 (4) 电话 (5) 百度 (4) 算法 (5) 网络 (52) 网络安全 (18) 网络安全知识 (6) Categories AI (5) AltiumDesigner (7) BTC (6) darknet (25) Database (3) DeepLearning (78) Docker (1) GIS (9) Google (2) iOS (7) IT (7) java (37) Life (93) linux (86) LPC (11) macOS (6) mysql (5) Python (52) qt (5) SEO (2) threejs (5) Unity (19) 产品设计 (15) 人工智能 (12) 信息安全 (36) 前端 (128) 区块链 (14) 图像处理 (59) 图形视频 (36) 大数据 (15) 嵌入式 (7) 工具 (45) 开发 (57) 性能优化 (2) 技术 (18) 搜索 (10) 操作系统 (35) 教程知识 (1) 教育 (2) 数字图像处理 (3) 数据分析 (2) 数据库 (4) 数据结构 (3) 数论 (1) 显卡驱动 (1) 智能搜索技术 (3) 未分类 (496) 机器学习 (23) 模型压缩 (2) 模拟电路 (1) 模拟题 (1) 比特币 (3) 水下图像增强 (1) 测试 (4) 浏览器 (1) 深网 (2) 渗透测试 (4) 游戏 (2) 游戏开发 (16) 爬虫 (6) 环境搭建 (2) 生活 (5) 电子商务 (1) 硬件设计 (1) 社工库 (1) 神经机制 (1) 移动web (1) 移动开发 (76) 程序员 (6) 站长 (1) 算法 (9) 统计搜索 (9) 网络优化 (7) 网络安全 (80) 视觉 (4) 计算机 (31) 论文 (8) 设计 (6) 资源搜集 (1) 资讯 (34) 软件工具 (15) 软件开发 (26) 运维 (21) 逆向 (2) 项目管理 (4) Archives December 2021 (1) August 2021 (8) April 2020 (4) March 2020 (63) February 2020 (154) January 2020 (134) December 2019 (14) November 2019 (25) October 2019 (27) September 2019 (43) August 2019 (32) July 2019 (51) June 2019 (49) May 2019 (65) April 2019 (64) March 2019 (97) February 2019 (49) January 2019 (78) December 2018 (70) November 2018 (69) October 2018 (31) September 2018 (73) August 2018 (109) July 2018 (70) June 2018 (58) May 2018 (51) April 2018 (52) March 2018 (52) February 2018 (19) January 2018 (25) December 2017 (39) November 2017 (31) October 2017 (26) September 2017 (42) August 2017 (46) July 2017 (50) June 2017 (71) May 2017 (32) April 2017 (29) March 2017 (36) February 2017 (18) January 2017 (25) December 2016 (20) November 2016 (17) October 2016 (19) September 2016 (14) August 2016 (23) July 2016 (26) June 2016 (15) May 2016 (11) April 2016 (21) March 2016 (18) February 2016 (21) January 2016 (14) December 2015 (13) November 2015 (13) October 2015 (6) September 2015 (7) August 2015 (12) July 2015 (11) June 2015 (3) May 2015 (9) April 2015 (12) March 2015 (7) February 2015 (10) January 2015 (10) December 2014 (14) November 2014 (6) October 2014 (10) September 2014 (6) August 2014 (10) July 2014 (11) June 2014 (6) May 2014 (9) April 2014 (6) March 2014 (5) February 2014 (3) January 2014 (3) December 2013 (12) November 2013 (7) October 2013 (6) September 2013 (7) August 2013 (4) July 2013 (5) June 2013 (6) May 2013 (28) April 2013 (17) March 2013 (4) February 2013 (2) January 2013 (6) December 2012 (6) November 2012 (4) October 2012 (6) September 2012 (6) August 2012 (4) July 2012 (8) June 2012 (5) May 2012 (8) April 2012 (15) March 2012 (5) February 2012 (2) January 2012 (3) December 2011 (9) November 2011 (4) October 2011 (1) September 2011 (4) August 2011 (4) July 2011 (4) June 2011 (4) May 2011 (6) April 2011 (2) March 2011 (4) February 2011 (2) January 2011 (3) December 2010 (6) November 2010 (6) October 2010 (5) September 2010 (8) August 2010 (8) July 2010 (7) June 2010 (3) May 2010 (14) April 2010 (7) February 2010 (4) January 2010 (11) December 2009 (8) November 2009 (3) October 2009 (5) September 2009 (4) July 2009 (7) April 2009 (5) March 2009 (5) February 2009 (3) January 2009 (3) December 2008 (5) November 2008 (5) October 2008 (3) September 2008 (3) August 2008 (2) July 2008 (5) June 2008 (6) May 2008 (9) April 2008 (4) March 2008 (5) February 2008 (4) January 2008 (3) December 2007 (6) November 2007 (3) October 2007 (1) September 2007 (5) August 2007 (2) July 2007 (3) June 2007 (3) May 2007 (1) April 2007 (1) March 2007 (2) February 2007 (2) January 2007 (3) December 2006 (1) November 2006 (3) September 2006 (3) July 2006 (1) June 2006 (3) May 2006 (3) April 2006 (1) March 2006 (2) February 2006 (3) January 2006 (1) December 2005 (2) November 2005 (1) September 2005 (1) August 2005 (1) July 2005 (2) April 2005 (2) March 2005 (3) February 2005 (2) January 2005 (2) December 2004 (2) November 2004 (4) September 2004 (2) August 2004 (2) July 2004 (2) September 2003 (1) May 2002 (1) March 2002 (1) Copyright ©️uzzz.
简单介绍下anaconda：简单来说，anaconda就是集合了python及其对应的几百种科学包和依赖项，同时还安装了ipython和spyder IDE。也就是说，安装了anaconda之后，就不用再安装numpy,pandas等库，也不用再额外安装IDE了。
下面就介绍下安装时的注意事项，以免采坑。
从官网上下载安装包后双击安装即可，到如下图
在安装时第一项必须要打勾，虽然这里写了not recommended，但还是要勾选，否则后面会很痛苦。建议第二项也勾选，可以在安装其他第三方IDE时免去很多麻烦。
如果第一项没打勾，在cmd中运行python, ipython，numpy，pandas等库都会提示无法启动。弹出如下提示：
在博客AlexNet原理及tensorflow实现训练神经网络的时候，做了数据增强，对图片的处理采用的是PIL(Python Image Library), PIL是Python常用的图像处理库.
下面对PIL中常用到的操作进行整理：
1. 改变图片的大小
from PIL import Image, ImageFont, ImageDraw def image_resize(image, save, size=(100, 100)): """ :param image: 原图片 :param save: 保存地址 :param size: 大小 :return: """ image = Image.open(image) # 读取图片 image.convert("RGB") re_sized = image.resize(size, Image.BILINEAR) # 双线性法 re_sized.save(save) # 保存图片 return re_sized 2. 对图片进行旋转：
from PIL import Image, ImageFont, ImageDraw import matplotlib.pyplot as plt def image_rotate(image_path, save_path, angle): """ 对图像进行一定角度的旋转 :param image_path: 图像路径 :param save_path: 保存路径 :param angle: 旋转角度 :return: "
深网是网络的一部分，与浅网（surface Web）对立。浅网是互联网上搜索引擎可以抓到的那部分网络。据不完全统计，互联网中其实约 90% 的网络都是深网。因为谷歌不能做像表单提交这类事情，也找不到那些没有直接链接到顶层域名上的网页，或者因为有 robots.txt 禁止而不能查看网站，所以浅网的数量相对深网还是比较少的。
暗网，也被称为 Darknet 或 dark Internet，完全是另一种“怪兽”。它们也建立在已有的网络基础上，但是使用 Tor 客户端，带有运行在 HTTP 之上的新协议，提供了一个信息交换的安全隧道。
图形是白色(颜色、字体可调)，背景是透明的。适用于暗色调背景。
图1 折线统计图
代码：
#encoding=utf-8 import matplotlib.pyplot as plt import numpy as np import pandas as pd #输入因变量 y1 = pd.read_csv('11.csv') y1 = np.array(y1) y2 = pd.read_csv('12.csv') y2 = np.array(y2) #assert y1.shape[0]==y2.shape[0], '两个因变量个数不相等！' fig,ax=plt.subplots(figsize=(10,9)) #设置自变量的范围和个数 x = np.linspace(1, 10, y1.shape[0]) #画图 ax.plot(x,y1,'r-',label='x', color='red', linestyle='-', marker='*', markerfacecolor='coral', markersize='10') ax.plot(x,y2,'b-',label='y', color='blue', linestyle='--', marker='o', markerfacecolor='deeppink', markersize='10') #设置坐标轴 ax.spines['right'].set_color('none') ax.spines['top'].set_color('none') ax.spines['left'].set_color('white') ax.spines['left'].set_linewidth(3) ax.spines['bottom'].set_color('white') ax.spines['bottom'].set_linewidth(3) #ax.set_xlim(0, 9.5) #ax.set_ylim(0, 1.4) ax.set_xlabel('time(s)', color='white', fontsize=15) ax.set_ylabel('distance(m)', color='white', fontsize=15) #设置刻度 ax.
现如今人脸识别的技术已经十分先进了，识别率很高，dlib也是人脸识别常用的一个库，可以检测出人脸上的68个点，并且进行标注，当我们准备自己的人脸数据时，常常用dlib进行数据提取。
首先需要在python中安装dlib
pip install dlib==19.6.1 如果提示无法编译的错误，则需要在python环境中安装cmake，之后再安装dlib就能够成功
dlib人脸检测使用分为两种，一种是对人脸检测后提取整个人脸区域，一种是在人脸上标注特征点
人脸区域
import cv2 import numpy as np import time import os from matplotlib import pyplot as plt import dlib detector = dlib.get_frontal_face_detector() img = cv2.imread('E:\\private\\deeplearning\\dlib\\timg.jpg') img_gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY) faces = detector(img_gray, 1) for index, face in enumerate(faces): left = face.left() top = face.top() right = face.right() bottom = face.bottom() cv2.rectangle(img, (left, top), (right, bottom), (0, 255, 0)) cv2.imwrite('E:\\private\\deeplearning\\dlib\\timg1.jpg', img) 女神镇楼
import cv2 import numpy as np import time import os from matplotlib import pyplot as plt import dlib detector = dlib.