Python数据分析基础与案例实战 课件 第3章 3.4 掌握数据的读取方式.pptx

掌握数据的读取方式;;常见的数据储存媒介有数据库和文件，以下介绍如何读取数据库数据和文件数据。 在生产环境中，绝大多数的数据都存储在数据库中。 想要读取数据库中的数据需要先与数据库建立连接。 数据库连接是分析工具与数据库之间的通道，只有建立数据库连接后，用户才能对数据库中的数据进行操作。 Python也需要与数据库建立连接后才能读取数据库中的数据，一个常用建立连接的方法为通过SQLAlchemy库并配合相应数据库的Python连接工具。 ;不同的数据库需要选择对应的连接工具，如MySQL数据库需要安装mysqlclient或pymysql库，Oracle数据库需要安装cx_oracle库。 SQLAlchemy库支持与MySQL、postgresql、Oracle、SQLServer和SQLite等主流数据库建立连接。 建立连接时需要提供数据库产品名、连接工具名、用户名、密码、数据库IP地址、数据库端口号、数据库名称。 同时还需要注意数据库中使用的数据编码，使用错误的编码会导致乱码问题。 使用SQLAlchemy连接MySQL数据库，与数据库进行连接后，可以与数据库进行交互，对数据库中的数据进行操作。;使用SQLAlchemy连接MySQL数据库，与数据库进行连接后，可以与数据库进行交互，对数据库中的数据进行操作。 常见的操作包括读取、存储以及增、删、改、查等，通过pandas库对数据库进行读取和存储操作，得到结果。 ;;另一种常见的数据载体是文本文件，文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。 常见的有TXT文件和CSV文件，这两种文件的主要区别是TXT文件使用空格分隔，而CSV是一种逗号分隔的文件格式。 因为CSV文件分隔符不一定是逗号，所以又被称为字符分隔文件，文件以纯文本形式存储表格数据（数字和文本）。 CSV是一种通用、相对简单的文件格式，最广泛的应用是在程序之间转移表格数据，而这些程序本身是在不兼容的格式上进行操作的（往往是私有的或无规范的格式）。;因为大量程序都支持CSV或其变体，所以可以作为大多数程序的输入和输出格式。 CSV文件根据其定义也是一种文本文件，在数据读取过程中可以使用文本文件的读取函数对CSV文件进行读取。 使用read_table和read_csv函数读取CSV文??，读取文件时需要注意编码问题，常用的编码有utf-8、utf-16、gbk、gb2312、gb18030等。 如果编码指定错误，那么数据将无法读取，IPython解释器会报解析错误。使用不同的参数读取二手车售价表，除了TXT文件和CSV文件外，Excel文件也是常见的需要读取的数据文件种类。;Excel可以进行各种数据的处理、统计分析和辅助决策操作，被广泛地应用于管理、统计财经和金融等众多领域。 其文件格式依照程序版本的不同分为以下两种。 Microsoft Office Excel 2007之前的版本（不包括2007）默认保存的文件名后缀为.xls。 Microsoft Office Excel 2007之后的版本默认保存的文件名后缀为.xlsx。 通过pandas库读取xlsx格式的伦敦自行车租赁表，得到结果。;本章主要对常见的数据来源进行了简要的介绍，常见的数据来源主要分为直接来源和间接来源两种。 大致描述了交通信息的采集，如交通信息的分类和特点以及交通信息的采集技术。 还介绍了常见的数据类型，包括结构化、半结构化和非结构化数据。 最后介绍了数据的读取方式，主要包括读取数据库数据和读取文件数据。 掌握数据的读取方式;;常见的数据储存媒介有数据库和文件，以下介绍如何读取数据库数据和文件数据。 在生产环境中，绝大多数的数据都存储在数据库中。 想要读取数据库中的数据需要先与数据库建立连接。 数据库连接是分析工具与数据库之间的通道，只有建立数据库连接后，用户才能对数据库中的数据进行操作。 Python也需要与数据库建立连接后才能读取数据库中的数据，一个常用建立连接的方法为通过SQLAlchemy库并配合相应数据库的Python连接工具。 ;不同的数据库需要选择对应的连接工具，如MySQL数据库需要安装mysqlclient或pymysql库，Oracle数据库需要安装cx_oracle库。 SQLAlchemy库支持与MySQL、postgresql、Oracle、SQLServer和SQLite等主流数据库建立连接。 建立连接时需要提供数据库产品名、连接工具名、用户名、密码、数据库IP地址、数据库端口号、数据库名称。 同时还需要注意数据库中使用的数据编码，使用错误的编码会导致乱码问题。 使用SQLAlchemy连接MySQL数据库，与数据库进行连接后，可以与数据库进行交互，对数据库中的数据进行操作。;使用S