电子社2023大数据分析与挖掘实验教程-课件ch5.pdf

大数据分析与挖掘实验教程 2 0 2 3 ——文本挖掘 配套教材 ： 《大数据分析与挖掘实验教程》 实 验 目 的 了解文本挖掘的概 学会使用NLTK、Jieba、 了解常用的文本 念、应用场景以及 Scikit-learn和Keras等 分类算法和技术 基本技术 工具进行文本预处理 和文本分类 01 概念和应用场景 02 自然语言处理的基本概念及技术 CONT ENT 03 基于NLTK、j ieba库实现文本预处理 实验 内容 04 文本分类的基本原理和算法 05 基于Scikit-learn和Keras实现文本分类 “ 概 念 和 应 用 场 景 01 概 念 文本挖掘是指从大规模的文本数据中提取出有用的信息和知识的过程。利用文本 挖掘技术 ，可以实现自动化的文本分类、信息提取、情感分析、主题模型等任务。文 本挖掘技术通常需要结合 自然语言处理、机器学习、信息检索等多个领域的技术 ，才 能实现对文本数据的有效处理和分析。 应 用 场 景 文本挖掘技术可以应用于各种领域 ，如商业、政府、医疗、教育等。以下是一些常见的文本挖掘 应用场景 ： Ø 舆情分析 ：舆情分析是指对社会公众对某一事件或话题的态度和情感进行分析。利用文本挖掘 技术 ，可以实现对社交媒体、新闻报道等文本数据的自动化分析 ，从而获取公众对某一事件或 话题的态度和情感。 Ø 信息提取 ，信息提取是指从文本数据中提取出特定的信息 ，如人名、地名、组织机构等。利用 文本挖掘技术 ，可以实现对大规模文本数据的自动化处理 ，从中提取出有用的信息。 应 用 场 景 Ø 文本分类 ：文本分类是指对文本数据进行分类 ，如新闻分类、产品评论分类等。利用文本挖掘 技术 ，可以实现对大规模文本数据的自动化分类 ，从而提高文本数据的处理效率。 Ø 情感分析 ：情感分析是指对文本数据进行情感判断，如积极、消极、中性等。利用文本挖掘技 术 ，可以实现对社交媒体、产品评论等文本数据的情感分析 ，从而了解公众对某一产品或事件 的态度和情感。 Ø 主题模型分析 ：主题模型是指对文本数据进行主题分析 ，从中提取出主题和关键词。利用文本 挖掘技术 ，可以实现对大规模文本数据的自动化主题分析 ，从中发现潜在的主题和关键词。 “ 自 然 语 言 处 理 的 02 基 本 概 念 与 技 术 概 念 自然语言处理 （Natural Language Processing ，简称NLP）是研究如何让计算