人工智能开源硬件与python编程实践 课件 项目9、10 人眼检测与瞳孔检测、 计算机视觉与条码识别.ppt

人眼检测与瞳孔检测 人工智能开源硬件与python编程实践 情境导入 智能手机、智能相机普遍采用了自动跟踪人脸、自动对焦的技术，辅助人们拍下美好画面。新功能还支持实时检测眼睛，实现自动对焦。 在人脸检测的基础上进一步进行人眼和瞳孔检测有很多重要用途。在学校智慧教室中，利用人眼检测等技术可以判断学生有没有集中精力学习，有没有关注讲台等，进行课堂教学质量的监控。 任务与目标 了解人眼检测与瞳孔检测技术的基本原理、Haar相关算法和应用框架； 掌握运用人工智能机器视觉开源硬件设计智能应用系统的方法，掌握Python语言的编程方法； 应用人工智能机器视觉开源硬件和Python相关算法，编写代码调用Haar Cascade算法，实现人眼检测与瞳孔检测功能； 针对生活应用场景进行创意设计，设计有实用价值的人眼检测与瞳孔检测应用系统。 知识拓展：Haar分类器训练过程 采集人脸图像，建立人脸、非人脸样本集； 计算Haar-like特征值和积分图； 进行弱分类器训练，筛选出T个最优弱分类器； 把这T个最优弱分类器传给AdaBoost算法，训练出区分人脸和非人脸的强分类器； 使用筛选式级联把强分类器级联到一起，提高准确率。 知识拓展：正样本训练数据 从开放人脸数据集中提取了16个人的人脸图像数据文件，存放在正样本文件夹中，每个人的人脸图像文件单独另建一个子目录存放。 知识拓展：负样本训练数据 收集一批与人脸无关的图像作为人脸分类器的负样本文件。这些图像都不包含有完整人脸，主要是人身体的其它部位，以及户外、居室、教室等人们经常活动的地方。负样本照片存放在负样本文件夹中 。 知识拓展：创建训练样本 格式化训练数据。启动训练前，需要对所收集的样本数据进行规范化，需要统一图像文件的大小，宽高比统一设为1:1，正样本背景要一致等。实际训练中，一般都是采用20*20像素的小图像块，在此基础上计算出Haar特征。 使用opencv的opencv_createsamples工具，通过描述文件的图片列表清单来创建训练样本。 输入训练样本配置文件的路径，生成vec文件与负样本列表文本文件 。 知识拓展：训练cascade分类器 使用分类器训练工具opencv_traincascade 。 训练中，要把负样本和bg.txt文件拷贝到build/x64/vc14/bin目录下，还需要在data文件夹下新建文件HaarReslut来保存训练的结果。 opencv_traincascade.exe -data C:\Users\Administrator\Desktop\data\HaarReslut -vec C:\Users\Administrator\Desktop\data\mysamples_341.vec -bg bg.txt -numPos 170 -numNeg 500 -numStages 12 -featureType HAAR -w 24 -h 24 -minHitRate 0.996 -maxFalseAlarmRate 0.5 -mode ALL 设计与实践 模型加载 瞳孔定位 瞳孔检测系统的Python编程 运行结果分析 模型加载 视觉库内置有已经训练好的相关Haar模型，如“frontalface”人脸模型和“eye”人眼模型，编程是直接指定即可。 人脸检测模型的加载 #加载Haar Cascade级联分类器，启用内置人脸检测模型，分类器的比对阶段数设置为25； face_cascade = image.HaarCascade("frontalface", stages=25) 人眼检测模型的加载 #加载Haar Cascade级联分类器，启用内置人眼检测模型，分类器的比对阶段数设置为25； face_cascade = image.HaarCascade("eye", stages=25) 瞳孔定位 利用人脸Haar模型在整个图像帧中快速搜索到人脸后，再启用人眼Haar模型在人脸区域中检测人眼区域。在检测到的2个人眼区域中分别寻找区域中颜色最深处的中心点，就当做瞳孔的位置。 先使用image.find_features()和Haar算子frontalface来搜索人脸。然后使用image.find_features和Haar算子find_eye 在人脸区域搜索眼睛。最后，在返回的每个眼睛ROI区域上调用这一方法，得到瞳孔的位置坐标。 瞳孔检测的编程 #在识别到的人眼中寻找瞳孔。 for e in eyes:#e是先前过程中搜索到的若干人眼矩形区域； iris = img.find_eye(e) #find_eye((x, y, w, h))参数是一个矩形区域，左上顶点为（