在scrapy中使用洋葱头,





1、我以为可以直接用代理的模式,结果不行,Tor是将本地的代理进行包装,这种方法是不对的
在这里插入图片描述
2、没办法,我以为打开了新世界的大门,结果打脸了,只有百度了,
https://www.cnblogs.com/kylinlin/archive/2016/03/04/5242266.html 这个大佬写的,按照他的来吧,
下载安装了之后,直接运行时不可以的,要设置一下环境变量,设置好了之后局可以运行了,
在这里插入图片描述
在这里插入图片描述
又犯错了,要在这个安装的文件夹下,进入cmd命令才可以。。
在这里插入图片描述
虽然我不明白作者为啥在微软的浏览器中设置代理,我还是下载了edge浏览器,设置代理
这个是edge浏览器的下载地址,找了好一会才找到win7版本的,这个浏览器内核是Chrome,完全知道我平时浏览的网站,看着不错,嘿嘿
https://www.microsoftedgeinsider.com/zh-cn/download/
在这里插入图片描述
言归正传,开始设置吧,,应该是版本不一样,,
在这里插入图片描述
在这里插入图片描述
我用https://check.torproject.org/ 验证没通过,,
在这里插入图片描述
我点击support Tor ,显示今天支持,这个是全世界的电脑连接,表示支持,你换我的IP,我换别人的,
在这里插入图片描述
4、下一步开始配置scrapy的文件了,,setting里面,,127.0.0.1就代表的是localhost
在这里插入图片描述

5、不是吧,折腾了半天,还是不行。。
在这里插入图片描述

6、下面就是自己的showtime了,,好消息就是,实现了,将洋葱头写到, start_requests 里面
在这里插入图片描述我是在spider中的添加的代码。。
在这里插入图片描述
第一步我将前面的端口改为了9150,是洋葱头的默认的端口
在这里插入图片描述

第二步:在类名前引用stem(改变ip的类),和查看包装的ip地址是什么。。
在这里插入图片描述
主要看红色圈里面的东西,,http://checkip.amazonaws.com 查看ip的,这个不要写到中间件里面,我已经踩过坑了,,放到中间件,ip不会改变。。
在这里插入图片描述
8、哦了,,任务完成,,
引用大佬的一句话
至此,scrapy与tro的整合完成了,本文不对任何人使用这个方法所造成的后果负责

发布了51 篇原创文章 ·
获赞 12 ·
访问量 1万+