人工智能应用实战 第4章 数据存储与加载-数据编码.ppt

1+X人工智能深度学习工程应用 1+X职业技能等级认证 项目目标 项目描述 了解项目相关背景 知识准备 学习项目相关理论知识 项目实施 实践项目相关实验 知识拓展 了解更多拓展知识 课后实训 巩固项目知识 人工智能深度学习工程应用 人工智能深度学习工程应用 数据存储与加载 数据采集 课堂导入 我们经常会见到“.bmp”， “.jpg”, “.txt”等格式的文件。 不同存储格式的文件有什么区别？ 该如何使用这些文件呢？ 项目描述 数据存储的格式虽然五花八门，但是其存储和加载的方式却是一脉相通的。因此，在本项目中，将了解多种不同的图像、文字、语音等数据的存储格式，并以掌握如何存储、加载不同的数据为最终目的进行学习。数据存储及加载流程如下图所示。 数据读取流程图 数据编码 数据编码是指对计算机加工处理的对象进行编码，用一个编码符号代表一条信息或一串数据。人们可以利用编码来识别每一个记录，区别处理方法，进行分类和校核，从而节省存储空间，提高处理速度。 文本 M A n ASCII 77 97 110 二进制 0100 110101101110 数据编码 1 图像编码 图像编码的作用在于去除冗余数据，以减少表示数字图像时需要的数据量，也称为图像压缩。在图像压缩中，有3种基本的数据冗余，包括编码冗余、像素间冗余、视觉冗余。 编码 冗余 像素间 冗余 视觉 冗余 有损压缩 数据编码 1 图像编码 无损压缩 无损压缩是指优化文件的数据存储方式，采用算法对文件中重复数据信息进行表示。 无损压缩的文件可以完全还原，不影响任何文件内容。 有损压缩是指在保存图像时，将色相及纯度的信息和周围像素进行合并操作。 由于信息量减少了，所以压缩比更高，但图像质量也会相应地下降。 图像压缩 数据编码 1 图像编码 算法名称 算法描述 哈夫曼编码 在源数据中出现概率越大的符号，分配的码字越短，用尽可能少的码表示源数据。 算术编码 利用编码符号的联合概率，用一个单独的浮点数代替一串输入符号。 预测编码 对新的信息进行编码，以消除相邻像素之间的相关性和冗余性。 变换编码 把图像从空间域转化为能量比较集中的变换域系数，然后对变换系数进行编码。 数据编码 计算机只能处理数字，如果要处理文本，就必须先把文本转换为计算机能识别的二进制数才能处理，将文本转换为二进制数的过程称为编码，常见的字符编码格式有以下几种： 2 文本编码 ASCII GBK Unicode UTF-8 大家好，欢迎学习1+X人工智能深度学习工程应用课程 , 本次微课将讲解课程中的《数据存储与加载》。 本节微课将讲解课程中的项目目标、项目描述、知识准备、知识拓展和课后实训的内容。 * 我们经常会见到“.bmp”， “.jpg”, “.txt”等文件后缀。 不同存储格式的文件有什么区别？该如何使用这些文件呢？ 事实上，这些为文件的后缀名，是操作系统用来标记文件类型的一种机制。 扩展名几乎是每个文件必不可少的一部分。 如果一个文件没有扩展名，那么操作系统就无法处理这个文件，无法判别到底如何处理该文件。 本次课程我们就将学习不同类型存储格式的数据的存储与加载方法。 * 常见的数据分为文本、语音、图像三大类，不同类型的数据有其对应多种不同类型的存储方式。数据存储的类型可谓是五花八门，但是其存储和加载的方式却是一脉相通的，因此，我们在本次项目中将了解多种不同的图像、文本等数据的存储格式，以掌握如何存储、加载不同的数据为最终目的进行学习。 * 数据编码是计算机处理的关键。由于计算机要处理的数据信息十分庞杂，有些数据库所代表的含义又使人难以记忆。为了便于使用，容易记忆，常常要对加工处理的对象进行编码，用一个编码符号代表一条信息或一串数据。对数据进行编码在计算机的管理中非常重要，这可以方便进行信息分类、校核、合计、检索等操作。人们可以利用编码来识别每一个记录，区别处理方法，进行分类和校核，从而节省存储空间，提高处理速度。 * 图像的编码分为有损编码和无损编码，图像数据之所以可以被压缩，是因为数据中存在着冗余。 在图像压缩中，有三种基本的数据冗余：编码冗余；像素间冗余；视觉冗余。 * 图片压缩有无损压缩和有损压缩。 无损压缩是对文件本身的压缩，和其它数据文件的压缩一样，是对文件的数据存储方式进行优化，采用某种算法表示重复的数据信息，文件可以完全还原，不影响文件内容，对于数字图像而言，也不会使图像细节有任何损失。 有损压缩是对图像本身的改变，在保存图像时保留了较多的亮度信息，而将色相和色纯度的信息和周围的像素进行合并，合并的比例不同，压缩的比例也不同，由于信息量减少了，所以压缩比可以很高，图像质量也会相应的下降。 * 常用图像变换算法： 哈夫曼编码 哈夫曼编码是根据源数据符号发生的概率进行