基于Python网络爬虫技术的数据采集系统研究_钟机灵.pdf

2020年第 04期 信息通信 2020 （总第 208期） INFORMATION COMMUNICATIONS （Sum.No208） 基于Python 网络爬虫技术的数据采集系统研究 钟机灵 （河源职业技术学院，广东河源517000） 摘要：从互联网里采集数据是解决数据来源问题的关键，研究开发基于Python 网络爬虫技术的数据采集系统实现了主 题数据的自动采集。利用urllib 、Beautiful Soup 、threading 库设计开发了包含数据爬取、异常处理、robots 协议管理及多 线程管理等模块的系统模型框架。通过具体案例应用，介绍了数据采集过程，相比传统手工数据采集，较大提高了工作 效率。 关键词：网络爬虫；数据采集；Python 技术 中图分类号：TP393 文献标识码：A 文章编号：1673- 113 1（2020）04-0096-03 Research on the python-based web crawler for data collection system Zhong Jiling (Heyuan Polytechnic,Guangdong Heyuan 517000) Abstract :Collecting data from the Internet is the key to solve the problem of data source, The research of data collection system based on python web crawler, which is realizes automatic collection subj ect data. The system model framework including data crawling, exception handling, robots protocol management and multithreading management is designed and which is using ur- llib, beautiful soup and threading libraries. The process of data collection is introduced through the application of specific cases. Compared with the traditional manual data collection ,there is greatly improved work efficiency. Keyword: web crawler ; data collection ; python technology 0 引言 后端数据库中。本文利用Pytho 爬虫相关技术对主题网络爬 虫的相关技术进行了研究。 随着大数据技术的发展，从互联网里采集数据是大众获 取数据的重要渠道，网络爬虫技术通过编写程序自动爬取互 1 Python 爬虫相关技术介绍 联网网页内容，实现数据的自动采集，已经广泛应用于搜索引