0%

刘知远等《大数据智能》|20220627

摘要:现在大数据智能万众瞩目,我们不妨心中默念凛冬将至。

Chapter5 · 主体模型 智能摘要的利器

解决什么问题

  • 【背景】 互联网的文本数据在不断的增加。

  • 【问题】 如何能够快速地了解和获取一个文本数据集合中主要覆盖的内容,以及如何分析每个文本文档中所包含的主要语义信息。

  • 【本质】对于文本数据集合提供内容摘要、语义抽取和语义表示的功能需求。

什么原理

  • 主题模型提供了一种建模思路、方法和工具,可以从大规模甚至海量文本集合中抽取主题和主题分布,其生成的结果既可以用来对语料集合进行初步的语义分析,也可以作为其他高级语义分析挖掘任务的“高阶知识”。

  • 通过主题抽取,可以很方便地获得 一个语料集合上的主要语义信息,每个主题可以理解成一个在所有词汇上的权重,通过 选择在一个主题内具有高权重的若干个词汇,就可以形成主题语义信息的可视化,供用户理解。