爬虫的概述

1.爬虫是什么呢？

爬虫是指按照一定的规则，自动地抓取网络数据，再对数据进行解析复用的程序或者脚本。

2.爬虫的分类

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。

3.爬虫的应用场景

也就是说你为什么要写这个爬虫程序或者脚本呢？是为了好玩还是用来装酷呢？

本质就是你拿到数据要干嘛呢，

• 3.1你可以进行热门岗位分析比如可以爬取拉勾网python工作职位的薪资以及待遇情况。
• 3.2也可以拿到豆瓣电影（豆瓣图书）的top100的电影名字、演员、上映时间以及各大网友的评论。
• 3.3你也可以做一个软件，可以通过爬取各个商店的同一类产品的数据，来比较他们的价格，销量，好评度等等，让你的朋友们永远你的软件，可以带来更多的乐趣吧。
• 3.4你也可以做一个信息咨询汇集的网页，也就是搜索引擎
• 3.5当然数据分析的前提是需要很多数据的，可以通过爬虫爬取下来。
• 3.6股市预测
• 3.7刷票抢票短信电话轰炸等等

应用还是非常多的，当我们熟练爬虫之后就可以实现我们的一些有趣的想法。