爬虫技术-Requests模块.pptxVIP

requests模块requests模块本节要点实验内容：实验目标：requests安装requests库的使用代理的设置与使用处理不信任的SSL证书能够掌握requests库的使用CONTENTSrequests安装1.requests库的使用2.代理的设置与使用3.处理不信任的SSL证书4.requests模块requests介绍requests是Kenneth Reitz编写的优雅、易用的HTTP库。requests的底层基于Python官方库urllib， requets良好的API设计使用更简洁方便。requests最核心的两个类：request：对HTTP请求的封装reponse：对HTTP返回结果的封装requests模块requests安装使用pip方法可以非常快速进行安装：requests学习文档：requests模块requests库的使用相较于urllib.request发送请求，requests库发送请求更加方便。常用的请求方式主要有GET和POST请求。这里可以直接使用requests.get()函数发送请求：添加headers和查询参数：想添加 headers，可以传入headers参数来增加请求头中的headers信息。要将参数放在url中传递，可以利用 params 参数。 requests模块requests库的使用相关示例代码如右图所示： requests模块requests库的使用"/s中的 s 相当于调用搜索模块；params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要使用urlencode()；headers为设置的请求头，User-Agent则是浏览器的用户代理字符串。requests模块requests库的使用使用requests.post()函数发送post请求：传入data数据： 不使用urlencode进行编码，传入一个字典进去。 请求测试网站的数据的示例代码： requests模块requests库的使用requests模块代理的设置与使用很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，会禁止这个IP的访问。可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，可以换个IP继续爬取。requests模块代理的设置与使用爬虫程序目标服务器代理服务器requests模块代理的设置与使用通过访问网址/ip，获得自己的ip地址：注：代理ip地址可以去常用的代理网站中去选取。 requests模块处理不信任的SSL证书已经被信任的SSL整数的网站，比如/，使用requests以正常的返回响应。示例代码如下：requests设置移除SSL认证，控制台会抛出以下警告，但警告并不影响结果运行，可以去除爬虫的网站证书过期，可以在请求中加入verify=False。感谢您的观看