Python网络爬虫基础教程-PPT课件（全）.pptx

第1章 认识网络爬虫《Python网络爬虫基础教程》学习目标/Target熟悉网络爬虫的概念及分类，能够归纳通用网络爬虫和聚焦网络爬虫的区别了解网络爬虫的应用场景，能够列举至少3个网络爬虫的应用场景熟悉网络爬虫的Robots协议，能够说明robots.txt文件中每个选项的含义熟悉防网络爬虫的应对策略，能够列举至少3个应对防网络爬虫的策略学习目标/Target掌握网络爬虫的工作原理，能够定义通用网络爬虫和聚焦网络爬虫的工作原理熟悉网络爬虫的工作流程，能够归纳网络爬虫抓取网页的完整流程了解网络爬虫的实现技术，能够说出使用Python实现网络爬虫有哪些优势熟悉网络爬虫的实现流程，能够归纳使用Python实现网络爬虫的流程章节概述/ Summary随着网络的蓬勃发展，万维网成为大量信息的载体，如何有效提取并利用这些信息成为一个巨大的挑战。网络爬虫作为一种自动采集数据技术，凭借自身强大的自动提取网页数据的能力，成为当下互联网高效、灵活地收集数据的解决方案之一。本章主要对网络爬虫的基础知识进行详细地讲解。目录/Contents1.11.4什么是网络爬虫网络爬虫的工作原理和流程网络爬虫的应用场景网络爬虫实现技术探究1.21.5网络爬虫合法性探究1.31.1什么是网络爬虫1.1 什么是网络爬虫学习目标熟悉网络爬虫的概念及分类，能够归纳通用网络爬虫和聚焦网络爬虫的区别1.1 什么是网络爬虫 网络爬虫概念网络爬虫（Web Crawler）又称网络蜘蛛、网络机器人，它是一种按照一定规则，自动浏览万维网的程序或脚本。通俗地讲，网络爬虫就是一个模拟真人浏览万维网行为的程序，这个程序可以代替真人自动请求万维网，并接收从万维网返回的数据。与真人浏览万维网相比，网络爬虫能够浏览的信息量更大，效率也更高。1.1 什么是网络爬虫 网络爬虫分类网络爬虫历经几十年的发展，技术变得更加多样化，并结合不同的需求衍生出类型众多的网络爬虫。网络爬虫按照系统结构和实现技术大致可以分为4种类型，分别是通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。通用网络爬虫聚焦网络爬虫增量式网络爬虫深层网络爬虫1.1 什么是网络爬虫 网络爬虫分类通用网络爬虫（General Purpose Web Crawler）又称全网爬虫（Scalable Web Crawler），是指访问全互联网资源的网络爬虫。通用网络爬虫是“互联网时代”早期出现的传统网络爬虫，它是搜索引擎（如百度、谷歌、雅虎等）抓取系统的重要组成部分，主要用于将互联网中的网页下载到本地，形成一个互联网内容的镜像备份。通用网络爬虫1.1 什么是网络爬虫 网络爬虫分类聚焦网络爬虫（Focused Crawler）又称主题网络爬虫（Topical Crawler），是指有选择性地访问那些与预定主题相关网页的网络爬虫，它根据预先定义好的目标，有选择性地访问与目标主题相关的网页，获取所需要的数据。与通用网络爬虫相比，聚焦网络爬虫只需要访问与预定主题相关的网页，这不仅减少了访问和保存的页面数量，而且提高了网页的更新速度，可见，聚焦网络爬虫在一定程度度节省了网络资源，能满足一些特定人群采集特定领域数据的需求。聚焦网络爬虫1.1 什么是网络爬虫 网络爬虫分类增量式网络爬虫（Incremental Web Crawler）是指对已下载的网页采取增量式更新，只抓取新产生或者已经发生变化的网页的网络爬虫。增量式网络爬虫只会抓取新产生的或内容变化的网页，并不会重新抓取内容未发生变化的网页，这样可以有效地减少网页的下载量，减少访问时间和存储空间的耗费，但是增加了网页抓取算法的复杂度和实现难度。增量式网络爬虫1.1 什么是网络爬虫 网络爬虫分类深层网络爬虫（Deep Web Crawler）是指抓取深层网页的网络爬虫，它要抓取的网页层次比较深，需要通过一定的附加策略才能够自动抓取，实现难度较大。深层网络爬虫多学一招表层网页与深层网页网页按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web），关于这两类网页的介绍如下。表层网页是指传统搜索引擎可以索引的页面，主要以超链接可以到达的静态网页构成的网页。深层网页是指大部分内容无法通过静态链接获取的，只能通过用户提交一些关键词才能获的网页，如用户注册后内容才可见的网页。1.2网络爬虫的应用场景1.2 网络爬虫的应用场景学习目标了解网络爬虫的应用场景，能够列举至少3个网络爬虫的应用场景1.2 网络爬虫的应用场景 网络爬虫的应用场景随着互联网信息的“爆炸”，网络爬虫渐渐为人们所熟知，并被应用到了社会生活的众多领域。作为一种自动采集网页数据的技术，很多人其实并不清楚网络爬虫具体能应用到什么场景。事实上，大多数依赖数据支撑的应用场景都离不开网络爬虫，包括搜索引擎、舆情分析与监测、聚合