CRAN 任务视图：自然语言处理

自然语言处理自 20 世纪 40 年代和 50 年代奠基以来取得了长足进步（有关介绍，请参阅 Jurafsky 和 Martin (2008, 2009, 2022 年第三版草案)：语音和语言处理，Pearson Prentice Hall）。本 CRAN 任务视图收集了相关的 R 包，这些包支持计算语言学家在各种层面上进行语音和语言分析 - 将重点放在词语、句法、语义和语用学上。

近年来，我们制定了一个框架，用于处理书面材料的包：tm 包。强烈建议使用此领域的扩展包与 tm 的基本例程进行交互，并诚挚邀请用户参与有关此框架包的进一步发展的讨论。

Fridolin Wild (2016) 的书籍《R 中的学习分析》（Springer）提供了包含全面示例的基本介绍。

框架

• tm 为 R 提供了一个全面的文本挖掘框架。 统计软件杂志 文章 R 中的文本挖掘基础设施 详细概述了基于计数的分析方法、文本聚类、文本分类和字符串内核的技术。
• tm.plugin.dc 允许将语料库分布在存储设备（本地文件或 Hadoop 分布式文件系统）上。
• tm.plugin.mail 帮助从 Thunderbird（mbox、eml）等存档文件中导入邮件信息。
• tm.plugin.alceste 允许导入以 Alceste 格式存储在文件中的文本语料库。
• RcmdrPlugin.temis 是一个 Rcommander 插件，它提供了一个集成解决方案来执行一系列文本挖掘任务，例如导入和清理语料库，以及词语和文档计数、词汇表、词语共现和文档相似度度量、时间序列分析、对应分析和层次聚类等分析。
• openNLP 为 OpenNLP 提供了一个 R 接口，OpenNLP 是一个自然语言处理工具集合，包括句子检测器、分词器、词性标注器、浅层和完整句法分析器以及命名实体识别器，使用 Maxent Java 包进行训练和使用最大熵模型。
• 用于 openNLP 的英语和西班牙语训练模型可从 http://datacube.wu.ac.at/ 获取，分别为 openNLPmodels.en 和 openNLPmodels.es 包。
• RWeka 是一个 Weka 接口，Weka 是一个用 Java 编写的用于数据挖掘任务的机器学习算法集合。在自然语言处理的背景下，它的分词和词干提取功能特别有用。
• tidytext 提供了使用 dplyr、ggplot2 和其他整洁工具进行词语处理和情感分析的文本挖掘方法。
• udpipe 提供语言无关的分词、词性标注、词形还原、依存句法分析以及树库基于注释模型的训练。

词语（词汇数据库、关键词提取、字符串操作、词干提取）

• R 的基本包已经提供了丰富的字符操作例程。有关这些功能的更多信息，请参见 help.search(keyword = "character", package = "base")。
• wordnet 为 WordNet 提供了一个 R 接口，WordNet 是一个大型英语词汇数据库。
• RKEA 提供了与 KEA (版本 5.0) 的 R 接口。KEA（Keyphrase Extraction Algorithm 的缩写）允许从文本文档中提取关键词。它可以用于免费索引或使用受控词汇进行索引。
• gsubfn 可用于某些解析任务，例如通过内容而不是分隔符从字符串中提取单词。demo("gsubfn-gries") 展示了自然语言处理环境中的一个示例。
• textreuse 提供了一套用于测量文档之间相似性的工具，并有助于检测重复使用的段落。该包实现了分块 n 元语法、跳过 n 元语法和其他分词器；相似性/不相似性函数；成对比较；最小哈希和局部敏感哈希算法；以及适用于自然语言的 Smith-Waterman 局部对齐算法版本。
• boilerpipeR 有助于从 HTML 文件中提取和清理文本内容：使用 boilerpipe Java 库删除广告、侧边栏和标题。
• tau 包含文本处理中所需的字符串基本操作和分析例程，例如处理字符编码、语言、模式计数和分词。
• SnowballC 提供与 Rstem 完全相同的 API，但使用来自 Snowball 项目的 C libstemmer 库的略微不同的设计。它还支持两种语言。
• stringi 为 Unicode 国际组件 (ICU) 库提供 R 语言包装器，并允许：文本编码转换、任何语言环境中的字符串搜索和排序、文本的 Unicode 规范化、处理混合阅读方向的文本（例如，从左到右和从右到左），以及文本边界分析（用于不同聚合级别的分词或识别合适的换行位置）。
• stringdist 实现了一个近似字符串匹配版本的 R 本机“match”函数。它可以根据编辑（Damerau-Levenshtein、Hamming、Levenshtein、最佳字符串对齐）、q 元语法（q 元语法、余弦、Jaccard 距离）或启发式指标（Jaro、Jaro-Winkler）计算各种字符串距离。还提供了一个 soundex 的实现。可以在考虑适当的编码或表示通用序列的整数向量之间计算字符向量之间的距离。
• Rstem（可从 Omegahat 获取）是 Porter 词干提取算法的 C 版本的替代接口。
• koRpus 是一个包含多种功能的集合，用于自动语言检测、连字符化、多种词汇多样性指标（例如，词语类型比率、HD-D/vocd-D、MTLD）和可读性（例如，弗莱士指数、SMOG指数、LIX指数、戴尔-查尔指数）。更多信息请访问 网页。
• ore 提供了基于 Onigmo 正则表达式库的替代方案，用于处理 R 的内置正则表达式功能。它提供了首选的编译正则表达式对象、部分匹配和基于函数的替换等功能。一个比较 ore 函数与 stringi 和 R 基础实现结果的基准测试可以在 regex-performance 中找到。
• languageR 提供了数据集和函数，用于举例说明统计方法，以及 R. H. Baayen 在其著作“Analyzing Linguistic Data: a Practical Introduction to Statistics Using R”（剑桥大学出版社，2008 年）中使用的一些辅助实用程序函数。
• zipfR 提供了一些用于词频分布的统计模型。这些实用程序包括用于加载、操作和可视化词频数据和词汇增长曲线的函数。该包还实现了多种用于人口中词频分布的统计模型。（该库的名称源于最著名的词频分布，即齐夫定律。）
• wordcloud 提供了类似于著名的 wordle 的可视化效果：它以一种令人愉悦的可视化方式水平和垂直地分布特征，字体大小按频率缩放。
• hunspell 是一个词干提取器和拼写检查器库，专为具有丰富形态学和复杂词语复合或字符编码的语言而设计。该包可以检查和分析单个单词，以及在文本、LaTeX 或（R 包）手册文档中搜索不正确的单词。
• phonics 提供了一系列语音算法，包括 Soundex、Metaphone、NYSIIS、Caverphone 等。
• tesseract 是一款支持 Unicode（UTF-8）的 OCR 引擎，可以识别 100 多种语言。
• mscsweblm4r 提供了与 Microsoft Cognitive Services Web 语言模型 API 的接口，可用于计算一组词语一起出现的概率、特定词语在现有词语序列之后出现的条件概率、获取最有可能出现在给定词语序列之后的词语列表（补全），以及将没有空格的词语串（标签、URL 等）插入空格。
• mscstexta4r 提供了与 Microsoft Cognitive Services 文本分析 API 的接口，可用于执行情感分析、主题检测、语言检测和关键词提取。
• sentencepiece 是一种无监督的标记器，生成字节对编码 (BPE)、单字、字符或词语模型。
• tokenizers 帮助将文本拆分为标记，支持分片 n 元语法、跳跃 n 元语法、词语、词干、句子、段落、字符、行和正则表达式。
• tokenizers.bpe 帮助将文本拆分为音节标记，使用字节对编码和 YouTokenToMe 库实现。
• crfsuite 使用条件随机场对顺序数据进行标注。
• jiebaR 中文分词、关键词提取和词性标注，适用于 R。
• keyperm 实现了一种基于置换检验的关键词分析新方法，即识别在一个语料库中比另一个语料库中显著更频繁的词语。

语义

• lsa 提供了使用 R 执行潜在语义分析的例程。潜在语义分析 (LSA) 的基本思想是，文本确实具有更高阶（=潜在语义）结构，但是这种结构被词语的使用所掩盖（例如，通过使用同义词或多义词）。通过使用从给定文档-词语矩阵的截断奇异值分解（双模因子分析）中统计得出的概念索引，可以克服这种可变性问题。文章 Representing and Analysing Meaning with LSA by Wild (2016) 对此进行了详细概述并提供了综合示例。
• topicmodels 提供了对 David M. Blei 及其合著者开发的潜在狄利克雷分配 (LDA) 模型和相关主题模型 (CTM) 的 C 代码接口，以及 Xuan-Hieu Phan 及其合著者开发的用于使用 Gibbs 采样拟合 LDA 模型的 C++ 代码。
• BTM 帮助从词语共现 (因此称为“双词”主题模型，BTM) 中识别文本中的主题。
• topicdoc 为 LDA 和 CTM 主题模型提供特定于主题的诊断，以帮助评估主题质量。
• lda 实施了潜在狄利克雷分配和类似于 LSA 和 topicmodels 的相关模型。
• stm (结构化主题模型) 实施了主题模型衍生，可以包含文档级别的元数据。该软件包还包括用于模型选择、可视化和主题协变量回归估计的工具。
• kernlab 允许创建和计算字符串内核，例如完整字符串、频谱或有界范围字符串内核。它可以直接使用 tm 使用的文档格式作为输入。
• golgotha (尚未在 CARN 上) 为双向编码器表示来自 Transformer (BERT) 提供了一个包装器，用于语言建模和文本蕴涵，特别是。
• ruimtehol 提供了一种神经网络机器学习方法来处理向量空间语义，实现了对 StarSpace 的接口，提供了用于分类、邻近度测量和模型管理 (训练、预测、多种用于不同粒度的文本蕴涵的接口) 的方法。
• skmeans 通过提供几种用于球形 k 均值划分的算法来帮助进行聚类。
• movMF 提供了另一种聚类替代方案 (近似值使用单位长度向量的冯·米塞斯-费舍尔分布拟合)。
• sentometrics 基于文本情感的优化预测，考虑到情感可以在各种方式下跨文本和时间计算和汇总的固有挑战。参见 Ardia 等人 (2021)
• svs 提供了各种语义向量空间技术 (即潜在语义分析、概率潜在语义分析、非负矩阵分解、EM 聚类、潜在类别分析、对应分析等) 的简单实现。
• textir 是一套用于文本和情感挖掘的工具。
• textcat 提供了对基于 n 元语法文本分类的支持。
• textrank 是 PageRank 的扩展，它允许通过计算句子之间的相关性来总结文本。
• corpora 提供用于语料库频率数据统计分析的实用函数。
• text2vec 提供文本向量化、主题建模（LDA、LSA）、词嵌入（GloVe）和相似性工具。
• word2vec 允许通过“word2vec”算法的连续词袋和跳跃词模型学习词的向量表示。这些技术在 Mikolov 等人（2013 年）的论文 Distributed Representations of Words and Phrases and their Compositionality 中有详细介绍。

语用学

• qdap 有助于对转录本进行定量话语分析。
• quanteda 支持对文本数据的定量分析。
• sentiment.ai 使用预训练的情感模型执行句子级文本嵌入和上下文感知情感分析（您也可以使用自己的模型）。这种方法优于基于词袋的情感分析，并允许用户在内置情感评分功能之外，对嵌入文本执行聚类和其他监督学习。sentiment.ai 还提供使用余弦相似度执行嵌入文本矩阵之间匹配的功能。目前支持 Google 的通用句子编码器模型（英语或多语言），但可以支持其他 Tensorflow 集线器嵌入模型。可以使用 NVIDIA Cuda 通过 GPU 加速来实现可扩展性。

语料库

• corporaexplorer 使用 Shiny 构建的交互式 Web 应用程序，支持对文档集合进行可视化信息检索，支持过滤以及语料库级和文档级可视化。
• textplot 提供各种用于语料库、文档和句子级可视化的方法。
• tm.plugin.factiva、tm.plugin.lexisnexis、tm.plugin.europresse 允许从道琼斯 Factiva、LexisNexis 和 Europresse（分别）导入新闻和 Web 语料库。

CRAN 包

相关链接

• R 中的学习分析：包含 tm、lsa、mpia、network 的教程式示例
• 面向（计算）语言学家的统计学入门 (SIGIL)
• Stefan Th. Gries (2017): 定量语料库语言学与 R，第二版，Routledge。
• Dan Jurafsky 和 James H. Martin (2022): 语音和语言处理（第三版草稿）
• 语料库和 NLP 模型包：http://datacube.wu.ac.at/

其他资源

• GitHub 项目：golgotha
• GitHub 项目：regex-performance
• Omegahat 包：Rstem