1 简介

摘要算法简介。

生成式摘要算法分析

生成式摘要（Generative Summarization）不同于抽取式摘要，它不仅是简单地提取文章中的现有句子，还能够生成新的、精简的句子，总结并概括文章内容。

生成式摘要通常基于自然语言生成（NLG）技术，使用机器学习模型，如序列到序列模型（Seq2Seq）、变压器（Transformer）以及预训练语言模型（如BERT、GPT、T5）等。

编码器-解码器架构：

    编码器：将输入的文章序列（文本）转换为隐藏的向量表示。
    解码器：基于编码器的输出生成新的句子，生成摘要。

注意力机制（Attention Mechanism）：

    在解码过程中，解码器动态关注输入序列的不同部分，这使得模型能够更好地理解文章的上下文和句子之间的依赖关系。

预训练模型：

现代生成式摘要模型（如GPT-3、T5）通过大规模文本数据进行预训练，学习语言的结构和上下文，摘要生成的效果会更加精确。

抽取式摘要 (Extractive Summarization)

这是一种自动摘要方法，其核心是从文档中提取出最能代表全文内容的句子或片段。常见的方法包括以下几种：

词频法（Term Frequency, TF）：计算文档中每个词的频率，选择包含高频词的句子作为摘要。

TF-IDF（Term Frequency-Inverse Document Frequency）：结合词频和逆文档频率来衡量一个词在文档中的重要性，选取重要词汇较多的句子。

基于图的算法（如TextRank）：将句子看作图中的节点，根据句子之间的相似度构建图，利用PageRank算法排序，选出重要句子。

LDA主题模型：通过隐含狄利克雷分布 (Latent Dirichlet Allocation) 模型，确定文档的主题，从中抽取与主题相关的句子。

深度学习方法：使用BERT等预训练语言模型，通过句子向量化和相似性计算，选取最有代表性的句子。

2 抽取式摘要算法的例子

这里我们将实现一个基于TF-IDF的抽取式摘要算法。该算法会计算每个句子的TF-IDF得分，选择得分最高的句子作为摘要。

    package main

    import (
        "fmt"
        "math"
        "strings"
    )

计算TF的函数 calculateTF 和 IDF的函数

    func calculateTF(sentence string, word string) float64 {
        words := strings.Fields(sentence)
        count := 0
        for _, w := range words {
            if strings.ToLower(w) == strings.ToLower(word) {
                count++
            }
        }
        return float64(count) / float64(len(words))
    }

    // 计算IDF
    func calculateIDF(sentences []string, word string) float64 {
        totalDocuments := len(sentences)
        wordCount := 0
        for _, sentence := range sentences {
            if strings.Contains(strings.ToLower(sentence), strings.ToLower(word)) {
                wordCount++
            }
        }
        if wordCount == 0 {
            return 0
        }
        return math.Log(float64(totalDocuments) / float64(wordCount))
    }

计算句子权重(TF-IDF)

    func calculateSentenceWeight(sentence string, sentences []string) float64 {
        words := strings.Fields(sentence)
        score := 0.0
        for _, word := range words {
            tf := calculateTF(sentence, word)
            idf := calculateIDF(sentences, word)
            score += tf * idf
        }
        return score
    }

提取摘要

    func extractSummary(sentences []string, n int) []string {
        sentenceWeights := make(map[string]float64)
        for _, sentence := range sentences {
            sentenceWeights[sentence] = calculateSentenceWeight(sentence, sentences)
        }

        // 按句子权重排序
        sortedSentences := sortSentencesByWeight(sentenceWeights)

        // 返回权重最高的n个句子
        return sortedSentences[:n]
    }

简单的排序函数

    func sortSentencesByWeight(sentenceWeights map[string]float64) []string {
        type sentencePair struct {
            Sentence string
            Weight   float64
        }
        var pairs []sentencePair
        for sentence, weight := range sentenceWeights {
            pairs = append(pairs, sentencePair{Sentence: sentence, Weight: weight})
        }

根据权重降序排序

        sort.Slice(pairs, func(i, j int) bool {
            return pairs[i].Weight > pairs[j].Weight
        })

        var sortedSentences []string
        for _, pair := range pairs {
            sortedSentences = append(sortedSentences, pair.Sentence)
        }
        return sortedSentences
    }

输入示例文本并提取摘要

    func main() {

        // 示例文本
          text := `
         以逗号分隔的示例文本
  `
  sentences := strings.Split(text, ",") // 简单句子分割 提取摘要，假设我们提取前3个重要句子
  var summarys []string
  summarys = append(summarys, "哈里斯特朗普首次辩论 交锋表现或定输赢")
  summary := extractSummary(sentences, 3)
  summary = append(summarys, summary...)
  fmt.Println("摘要:....")
  for _, sentence := range summary {
      fmt.Println(sentence)
  }
    }

应用到文章示例
要对
进行抽取操作，需要首先获取文章的文本内容，然后运行该程序。

3 示例文本的提取

这里准备了一份以逗号分隔的示例文本如下

        哈里斯特朗普首次辩论 交锋表现或定输赢
          （华盛顿综合电）美国民主党总统候选人哈里斯与共和党对手特朗普的第一场、且可能是两人之间唯一一场电视辩论星期二（9月10日）举行,一般认为,这场辩论不会像特朗普与总统拜登之前的交锋那么戏剧性,但仍有可能对选举胜负起到关键影响,
      哈里斯与特朗普定于星期二到宾夕法尼亚州费城,参与由美国广播公司（ABC）主持的电视辩论,这是两人在这场总统竞选中第一次面对面碰头,也是选民首次有机会看到两人同台较劲,加上宾州是少数摇摆州中竞争最激烈的一个,使此次辩论备受关注,
      罗格斯大学传播与信息学院助理教授克里斯蒂（Erin Christie）告诉法新社：“两位候选人截然不同,两人此前从未见过面,这将是一场非常有启发性的辩论,甚至可能成为选举成败的关键,”

      拜登一个多月前因与特朗普辩论表现不佳,加剧人们对他的年龄和健康的担忧而被迫退选,哈里斯取代拜登上阵后,已抹去特朗普在民调中的优势,但她自认处于劣势,在辩论前五天里都呆在费城附近的匹兹堡备战,
      哈里斯少说少错策略 对比特朗普强势攻击哈里斯投入总统选战后虽然迅速受看好,但能够介绍和推销自己的时间已经不多,
      周二的辩论是她更明确地阐述政策立场,同时加强对特朗普攻势的绝佳机会,预料,哈里斯团队将建议她继续采取言简意赅、稳扎稳打、少说少错的策略,哈里斯将依靠曾任检察官的经验与冷静尖锐的风格,应对特朗普这名被定罪的重罪犯,以及他做出的性别和种族歧视攻击,
      对特朗普来说,这是他重夺优势的最好机会,预料他会在辩论中继续采取咄咄逼人的姿态,但据美国政治新闻网站Politico报道,一些共和党人担心,特朗普可能会搞砸这次机会,特别是如果他把重点放在攻击哈里斯这个人,而不是她的政策表现上,面对哈里斯这位印度裔女对手,如果特朗普攻击过火,可能会引起反效果,

      特朗普周六（7日）在另一摇摆州威斯康辛的竞选集会上,就再次以侮辱性言辞猛烈攻击哈里斯,他也把拜登和哈里斯政府描绘成由左翼独裁者领导的“流氓政权”,称两人从世界各地引进了杀人犯、侵犯儿童者和连环强奸犯,同时把执法武器化,以监禁政治对手,
      哈里斯周六访问一家香料店时则强调团结的重要性,与特朗普形成鲜明对比,被问及她最希望在辩论中传达什么信息时,哈里斯说：“是时候翻过分裂的一页了,是时候让我们的国家团结起来——规划一条新的前进道路了,”
      哈里斯也说,她对共和党籍前副总统切尼与切尼的女儿利兹表态支持她感到荣幸,并强调“把国家置于党派之上很重要”,
      民调差距微小 选举结果仍难料
      《纽约时报》和锡耶纳学院星期天（8日）公布的全国民调结果显示,特朗普以48%的支持率领先哈里斯的47%,但这一差距仍在误差范围内,目前,特朗普在七个战场州不是与哈里斯不相上下,就是以微幅优势领先,这意味着胜负仍然难料,
      尽管人们对总统候选人辩论会在多大程度上影响民调看法不一,但毫无疑问,辩论有时会引发政治地震,密歇根大学教授卡尔（Aaron Kall）以拜登6月与特朗普的辩论为例,向半岛电视台指出：“总统辩论无法让你赢得选举,但绝对有可能让你落败,”
      在6月辩论中,特朗普刻意抹黑拜登,主办方美国有线电视新闻网（CNN）被指未及时纠错,加上拜登本身表现不好,使他最终被迫退选,目前,美国多家媒体机构已为报道此次辩论做好准备,尤其是要更快地纠正特朗普可能抛出的谎言,

在代码中，文本的标题被固定的添加了。这是一个取巧的方式。

运行结果

  摘要:....
哈里斯特朗普首次辩论 交锋表现或定输赢
这意味着胜负仍然难料
也是选民首次有机会看到两人同台较劲
特朗普以48%的支持率领先哈里斯的47%

可以看到，它能筛选出几个出现频率和重要性比较大的作为文本的摘要。虽然因为逆频率的算法导致每次运行获得的摘要结果不一样。

4 小结

程序会根据TF-IDF计算每个句子的得分，并提取出最重要的几句话作为摘要。

运行摘要提取程序：运行程序并返回摘要。你可以通过这些步骤实现自动摘要、看官们可以根据该程序编写一个抓取网页内容的程序，并尝试从标签中提取正文。你可以根据实际网页的结构调整选择器，比如选择 div, main, 或者其他更适合的标签来获取文本。

获取网页内容可以使用Go的网络库如net/http或者第三方库如colly来获取页面的正文文本。然后对文本进行分句：使用上述程序，将文章文本按句子分割。最后获得摘要。

一个抽取式摘要的应用示例

1 简介

2 抽取式摘要算法的例子

3 示例文本的提取

4 小结

云原生

热门文章

最新文章

相关电子书