python爬虫常用库和安装 — windows7环境


1:urllib  python自带

2:re      python自带

3:requests     pip install requests

4:selenium      需要依赖chromedriver

(selenium目前有版本限制:https://blog.csdn.net/qq_36625806/article/details/81463872)

下载地址:https://download.csdn.net/my

安装方式:解压后 python setup.py install –>>添加到环境变量path中

5:chromedriver    下载地址:https://download.csdn.net/download/qq_36625806/10589319

放到python安装目录中即可。

6:phantomjs 无界面浏览器,相当于一个网页控制台

下载地址:https://download.csdn.net/download/qq_36625806/10589328

将bin目录配置到环境变量的path中

7:xlml    pip install lxml

或访问:https://pypi.python.org/pypi/lxml  下载

8:beautifulsoup      pip install beautifulsoup4  (网页解析库,依赖xlml)

9:pyquery                  pip install pyquery  (网页解析库,语法跟jquery完全一致)

官方api:https://pythonhosted.org/pyquery/api.html

10:pymysql    pip install pymysql  (操作mysql的库)

11:pymongo   pip install pymongo  (操作Mongodb数据库)

12:redis           pip install redis   (操作redis)

13:flask           pip install flask   (代理)

14:django        pip install django  (python前端框架)

官网:https://www.djangoproject.com

15:jupyter        pip install jupyter    (记事本,可以在线运行代码)

安装jupyter如果遇到超时的问题,用以下命令安装:

pip install jupyter  –timeout 30000

 

jupyter安装成功后,在命令行输入 :jupyter notebook启动

浏览器会自动打开jupyter

ctrl+回车  运行代码

b 换新行