【3】 文本挖掘方法论
|
接下来还给出我们如何降低TDM的维度的问题(问题 #2)。因为，TDM经常是很大的，并且相当稀疏（绝大多数单元都是0）。这个答案更易处理。有几个选择可以降低矩阵到可管理的规模： * 领域专家遍历词条列表，并消除那些没有多大意义的研究的内容（这需要手工，是一个密集劳动的过程）。 * 消除与极少数发生在极少数的文件词条。 * 变换使用奇异值分解矩阵。 奇异值分解奇异值分解(SVD)为代表的矩阵为一系列线性近似值的方法，即揭示矩阵的潜在意义的结构。 SVD的目标是找到最能预测结果因子的最优集合。在之前的文本挖掘业务数据预处理，SVD被用于潜层语义分析(LSA)来查找各种文件词条的基本含义。 在更多的技术术语中，SVD与主成分分析密切相关，因为它将输入矩阵降低(通过提取词条的数量的输入文件的数量)到较低维空间中(在规模上小得多的矩阵)，其中每个连续的维代表了变量的最大概率的程度(在词条及文档之间)(Manning和Schutze，1999年)。理想的情况，分析师可能会找出两个或三个最显著的维度，占据了大部分的变量空间(差异)，从而识别出潜在的语义空间(这个词与低维空间相同？)，并组织词条和文档进行分析。当这些维度被确定，它们代表了包含在文档中的潜在意义(讨论或说明)。例如，假设矩阵A代表了m×n个词出现的矩阵，其中m是输入文件的数目，n是所分析的词条。 SVD计算了
第3阶段，第3不：提取知识抽取出已上下文中已解决的特定问题的新模式，使用良好的结构化TDM，并可能增加其他结构化的数据元素（如数字和/或标量，其中可能包含的文件的时间和地点的规格）。在文本挖掘研究中，这些知识的提取方法的主要类别：
分类可以说在分析复杂数据源中最常见的知识发现主题是把某些对象或事件转换为预定的类别。分类的目的是将数据实例分配到预定的一组类别。因为它适用于文本挖掘的领域，此任务被称为文本分类，这里需要给出一组类别和文本文档的集合，所面临的挑战是要为每个文档找到正确的主题（主题或概念）。这种挑战通过训练数据集可以实现，训练集既包括文件也包括实际文档的分类。今天，在不同的背景下自动化的文本分类，包括迭代（自动或半自动）索引的文本，垃圾邮件过滤，网页分类下的分层目录，自动生成元数据，题材检测，以及许多其他的应用。 有两种主要的文本分类方法，一是专家系统（通过运用知识工程技术），二是分类模型（通过使用统计和/或机器学习技术）。专家系统的方法是将专家的知识以规则表达式的形式编码成分类系统。机器学习的方法是一个广义归纳过程，采用由一组预分类的例子，通过“学习”建立分类。由于文件数量的增加以指数速度和知识专家的可用性变得越来越小，潮流趋势正在转向机器学习 - 基于自动分类技术。 聚类聚类是一种无监督的学习过程，这里对象或事件被置于“自然”的分组称为集群。无监督的学习过程是不使用模式或先验知识来指导聚类的过程。文本分类是一个监督的过程，其中预分类的训练样本集被用于开发基于类别的描述性特征的模式，以区分新的未标记的样本。在无监督的聚类方法中，问题是把未标记的对象集合（例如，文档，客户评论，网页）分组为成有意义的集群，而没有任何先验知识。 集群应用广泛，从文献检索到实现更好的网络内容搜索上。事实上，聚类的突出应用之一是分析和导航非常大的文字集合，例如网页。基本的基本假设是，相关的文件比彼此之间毫不相关的文件往往更相似。如果这个假设是成立的，基于内容相似性的文档聚类可以提高搜索的效率（Feldman和Sanger，2007）。 两种最流行的聚类方法是分散/聚集集群和特定查询集群。当特定的搜索查询不能被形式化时，分散/聚集的方法使用集群来提高人们对文件的浏览效率。在某种意义上，该方法动态地生成一个内容表，通过收集和适应以及修改它来响应用户的选择。在另一方面，特定查询的聚类方法采用分层聚类方法，即最相关的文件位于集群的中心，而相关度较低的则在外延，根据文档相关性的水平创建出一种频谱。对于较大尺度的文档集合此方法执行得一直比较好。 关联关联是查找不同的数据元素（对象或事件）相关度的过程。在零售行业，关联分析通常被称为市场购物篮分析。产生关联规则的主要思想是识别出在特定上下文中的频繁集。零售行业一个著名的例子是在同一个购物车中啤酒和尿布的关联（关系到周一晚上的足球比赛的电视转播）。 在文本挖掘中，关联特别是指概念（或词语）或一组概念之间的直接关系。X => Y的关联规则，是两个频繁概念集X和Y的相关性，可量化（或证实）为两个基本测度，支持度和置信度。置信度是个文档的百分比值，这些文档包含了Y的所有概念，其中也包含了X的所有概念的子集。支持度也是个文档的百分比值，它包含了X,Y的所有概念。例如，一个包含“项目失败”的文档集合，可能最经常出现的关键词“企业资源规划”和“客户关系管理”的支持度为4％，而置信度为55％，也就是说，4％的含义是在语料库中一篇文档同时出现所有三个概念的概率是4%，其中同时包括“项目失败”，“企业资源规划”和“客户关系管理”的文档占55%。 （编辑：92站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
