Java——网络爬虫基础

未分类

网络爬虫

在这里插入图片描述

工作原理

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：

  1. 通用网络爬虫（General Purpose Web Crawler）
  2. 聚焦网络爬虫（Focused Web Crawler）
  3. 增量式网络爬虫（Incremental Web Crawler）
  4. 深层网络爬虫（Deep Web Crawler）。
  5. 实际的网络爬虫系统通常是几种爬虫技术相结合实现的