在scrapy使用Tor代理Ip的两种方法
第一个:按照https://www.cnblogs.com/kylinlin/archive/2016/03/04/5242266.html 大佬的写法,实现了
1、首先将本地的代理服务器进行设置,,这一步是为了与polipo对接。。
2、因为我们在polipo的配置文件中写了 洋葱头代理的地址和端口(9050),我们使用socks请求端口9150发出每次请求。
socksParentProxy = “localhost:9050”
socksProxyType = socks5
diskCacheRoot = “”
http://zhihan.me/network/2017/09/24/socks5-protocol/ 这个是关于sockes5的介绍。。
3、然后在中间件中写入
4、在stttings中
我是在start_requests() 中加了一个检测ip的语句
这样是可以运行的。。但是他的IP不会换。。
第二种:
先把这个关掉。。
在spider中书写,,
这个IP地址会变化的。。更加稳定。。
这种方法,我暂时不会设置使用MySQL;会起冲突,我以为的是本地的localhost和本地ip4的地址配置问题