爬虫技术-动态网页爬虫.pptxVIP

动态网页爬虫动态网页爬虫本节要点实验内容：实验目标：能够使用Selenium实现动态页面的爬取Ajax分析方法Selenium实现动态页面的爬取CONTENTSAjax介绍1.Ajax分析方法2.Selenium实现动态页面的爬取3.动态网页爬虫Ajax介绍某宝网站的首页，网址为：什么数据都没爬到动态网页爬虫Ajax介绍使用Ajax技术来加载数据，爬取的是不包含Ajax数据的原始HTML页面数据Ajax的好处：更好的用户体验节省流量无需频繁手动重新刷新整个页面，减少了页面加载的等待时间，提升了用户体验，增加用户粘性。只更新了局部页面的数据，对加载整个页面，节省了流量，减轻了服务器的负担。动态网页爬虫Ajax介绍Ajax（全称Asynchronous JavaScript and XML）Ajax，即异步的JavaScript和XML利用JavaScript在不重新加载整个页面的情况下，与服务器交换数据并更新部分网页内容的技术动态网页爬虫Ajax介绍Ajax实现的基本原理，发送Ajax请求到网页更新的过程步骤：1、发送请求当页面的某个地方需要更新数据，会向服务器发送Ajax请求，请求的最底层是通过JavaScript实现的2、解析内容服务器发送响应内容，可能是HTML代码或者JSON数据。使用JavaScript处理响应数据3、渲染页面JavaScript有改变网页内容的能力，解析完响应内容之后，可调用JavaScript来针对解析完的内容对网页进行下一步处理动态网页爬虫Ajax分析方法步骤1：键盘上按下F12，打开浏览器的开发者工具，刷新页面；步骤2：请求的上方有一层筛选栏，点击 XHR，下方显示的所有请求都是 Ajax 请求；动态网页爬虫Ajax分析方法步骤3：右侧可观察到 Request Headers、URL 和 Response Headers 等信息。Request Headers 中有一个信息为 X-Requested-With:XMLHttpRequest，标记了此请求是 Ajax 请求步骤4：根据右侧栏观察的信息，可以模拟请求和提取内容动态网页爬虫Selenium实现动态页面的爬取获取了Ajax数据的URL时，会发现一个问题，如下面为今日头条热点的的AjaxURL地址： 观察可知：冗长复杂经过加密具有时效性毫无规律可言/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=0&max_behot_time_tmp=0&tadrequire=true&as=A195DBDC06ADC25&cp=5BC65DAC62854E1&_signature=ZtN.cQAAPRnM.D.xF5yhvGbTf2/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=0&max_behot_time_tmp=0&tadrequire=true&as=A195DBDC06ADC25&cp=5BC65DAC62854E1&_signature=ZtN.cQAAPRnM.D.xF5yhvGbTf2动态网页爬虫Selenium实现动态页面的爬取获取ajax数据的方式方法一：分析ajax调用的接口，通过代码请求这个接口方法二：使用Selenium+chromedriver模拟浏览器行为获取数据方式优点缺点分析接口直接请求到数据不需做解析工作代码量少，性能高分析接口比较复杂，需有一定的js功底容易被发现是爬虫selenium直接模拟浏览器的行为爬虫更稳定代码量多性能低动态网页爬虫Selenium实现动态页面的爬取使用模拟浏览器运行的方式：浏览器中即可见即可爬。不用管网页内容使用了JavaScrapt或Ajax还是接口复杂。Selenium 动态网页爬虫Selenium实现动态页面的爬取Selenium+chromedriver获取动态数据：Selenium自动处理行为点击填充数据删除cookiechromedriver是驱动Chrome浏览器的驱动程序，可驱动浏览器。针对不同的浏览器有不同的driver。不同浏览器及其对应的driver： id浏览器驱动程序下载地址1Chrome/blog/6900/webdriver-support-in-safari-10//a//chromedriver/downloads2Firefox/mozilla/geckodriver/releases/mozilla/geckodriver/releases3Edge/en-us/microsoft-edge/tools/webdriver//en-us/microsof