《管理研究方法》第11章 大数据文本分析法（52页）.pptx

第十一章：大数据文本分析;目 录 CONTENTS;大数据文本分析概述;一、 大数据时代文本数据的价值;二、 大数据文本分析方法的分类及原理;二、 大数据文本分析方法的分类及原理;大数据文本分析流程;大数据文本分析流程;大数据文本分析流程;大数据文本分析流程;(三)文本特征学习 词汇(实体)特征(entity extraction) 主题特征(topic extraction) 关系特征(relation extraction) 词汇(实体)特征(entity extraction) 词汇的含义及使用习惯反映了个体心理或社会集体文化等信息，能够反映众多实体概念的特征。将文档拆解为词汇或词组的列表形式后，通过计算特定类别范畴的词汇数量及其在文本中的占比能 够为研究人员提供“创作内容”(写什么)和“语言风格”(怎么写)两大特征线索. 主题特征(topic extraction) 指文本中的部分词汇集合能够表达某项共同的主题或相同的构念,有助于我们理解大数据文本的潜在结构。主题特征由主题分布和主题词列表来共同描述。;大数据文本分析流程;大数据文本分析流程;大数据文本分析流程;大数据文本分析实际操作和软件示例;（一）软件安装 前往Anaconda官方网站 ()选取并下载对应版本； 完成下载后，启动安装程序，按照指示步骤进行勾选与点击； 完成安装，启动Anaconda- Navigator以检验安装是否成功； Anaconda-Navigator主页面找到Jupyter Notebook。;（二）自然语言库 模块：指包含Python定义和语句的程序文件，是规模较小的代码； 包：可用来组织模块并提供一个命名层次，是若干模块的集合； 库：指完成一定功能的代码集合，由诸多函数、模块和包组成，可供用户直接调用。;（二）自然语言库 结巴（jieba）分词 SnowNLP HanLP LTP语言技术平台 Stanford NLP Gensim Sklearn;（二）自然语言库 结巴（jieba）分词 SnowNLP HanLP LTP语言技术平台 Stanford NLP Gensim Sklearn;（一）中文语料预处理 第一步，数据导入;（一）中文语料预处理 第三步，中文分词;（二）中文文本表示——开源词向量介绍 中文词向量语料库（Chinese Word Vectors） 腾讯AI Lab中文词向量 百度AI开放平台;（二）中文文本表示——词向量使用示例 词向量数据加载;（三）文本信息提取 词典法 ① 词典的选择与构建 ② 词频统计 ③ 词语权重的选择 主题模型 整合文档数据并进行预处理 准备Dcoument-Term（文档-词条）矩阵 创建LDA模型对象并训练 文本分类 ① 文本分类简介 ② 文本分类的技术与实现;（1）词典的选择与构建 中文常用情绪词典： 大连理工大学中文情感词汇：解决多类别情感分类、一般的倾向性分析的问题 台湾大学NTUSD简体中文情感词典：基于文本情感二元划分方法，通常作为一种基础知识 中文语义知识库： 知网（HowNet）：应用于语义分析、语料库语义标注以及意义排歧等 其他资源： 清华大学李军中文褒贬义词典;（2）词频统计 第一步，读取并输出词典数据;（2）词频统计 第二步，正负情感分析 依据词典中各个词语的情感分 类规则：分为“乐”、“好”、 “怒”、“哀”、“惧”、 “恶”、“惊”7大类，以及 “PA”、“PE”、“NB”、 “NJ”等21小类。首先把词 语纳入各个情感小类，然后将其通过情感大类归为积极或消极情感词，以对文本进行正负情感分析;（2）词频统计 第三步，定义词频统计函数;（2）词频统计 第四步，输出结果;（3）词语权重的设定 等权重 假定文本中每个词语的重要程度相同 词频-逆文档(TF-IDF)加权 同时考虑词语在文本中出现的次数(频率)和多少文档包含该词语这两个维度，对在文本中频繁出现但并没有实际含义的词语赋予较少的权重、而给予有重要含义但出现次数较少的词语较大权重 对应变量加权 借用文本中词语与对应变量（例如，市场收益率、波动率指数等）的关系来确定词语的权重 利用第三方工具包Sklearn，jieba（结巴中文分词）以及Gensim等可实现TF-IDF算法;第一步，整合文档数据并进行预处理;第二步，准备Dcoument-Term（文档-词条）矩阵;第三步，创建LDA模型对象并训练;（1）文本分类简介 文本分类的定义 是一个典型的监督学习任务：人工标注文档类别，利用分类语料训练模型，通过模型预测文档类别。 文本分类的基本过程 文本预处理 清洗文本、分词及去除停用词等 文本表示 主要有空间向量模型、布尔模型、概率检索模型等 文本分类的特征选择和提取 从向量空间中抽取最有效、最具代表性的词汇作为