CRAN 任务视图：官方统计与抽样调查统计

本 CRAN 任务视图包含一个包列表，其中包含官方统计和抽样调查统计中常用的方法。许多包提供了针对以下列出主题中的多个主题的功能。因此，此列表不是严格的分类，包可能被列出多次。

任务视图分为几个部分

• 第一部分：“生产官方统计”。本部分面向在国家统计机构、国家银行、国际组织等机构工作，并参与官方统计生产和使用抽样调查统计方法的人员。它与 “通用统计业务流程模型” 相关联。
• 第二部分：“访问官方统计”。本部分的目标受众是所有希望直接从 R 中使用官方统计结果的人员。
• 第三部分：“相关方法” 展示了在官方统计和抽样调查统计中重要的包，但并不直接适合官方统计的生产。它补充了关于 “其他” 的一个小节 - 一些与官方统计松散相关或对官方统计和抽样调查方法提供有限补充的包的集合。

第一部分：官方统计数据的生产

1 准备/ 管理/ 计划（问卷设计等）

• questionr 包含一组函数，使调查数据的处理和分析更容易。它提供交互式 shiny 应用程序和附加组件，用于数据重新编码、列联表、数据集元数据处理以及一些便捷函数。
• surveydata 使得跟踪调查的元数据以及轻松提取包含特定问题的列变得容易。
• blaise 实现用于读取和写入 Blaise 格式（荷兰统计局）文件的函数。

2 抽样

• sampling 包含许多不同的算法（Brewer、Midzuno、pps、系统抽样、Sampford、平衡抽样（通过立方体方法进行聚类或分层抽样）等），用于绘制调查样本并校准设计权重。
• pps 包含使用 pps 抽样选择样本的函数。分层简单随机抽样也是可能的，以及计算 Sampford 的 pps 抽样方法的联合包含概率。
• BalancedSampling 提供函数，用于在具有任何规定包含概率的多维空间中选择平衡且空间平衡的概率样本。它还包括局部枢轴方法、立方体和局部立方体方法以及其他一些方法。
• PracTools 包含用于使用分层或聚类的一、二、三阶段样本设计计算调查样本的样本量，以及用于计算多阶段设计的方差分量和两阶段设计的样本量的函数。
• surveyplanning 包含用于样本调查规划的工具，包括样本量计算、估计总计估计值的预期精度以及计算最佳样本量分配。
• stratification 允许使用 Lavallee-Hidiroglou 方法的推广对调查总体进行单变量分层。
• SamplingStrata 提供了一种方法，用于在多变量和多域环境中选择最佳的抽样框分层，其中每个层的抽样量被确定为满足目标估计的精度约束。为了评估目标变量在不同层中的分布，可以使用抽样框的信息或来自同一调查先前轮次的數據。
• R2BEAT 提供用于一阶段和两阶段分层抽样设计的、特定于域的多变量最佳样本量分配的函数（即，将 Neyman 和 Tschuprow 的分配方法推广到多个变量的情况）。

3 数据收集（包括记录链接）

3.1 数据整合（统计匹配和记录链接）

• StatMatch 提供了在共享多个公共变量的两个数据源之间执行统计匹配的功能。它通过似然方法或热平台法匹配两个数据源后创建合成数据集。
• MatchIt 允许最近邻匹配、精确匹配、最佳匹配和完全匹配等其他匹配方法。如果需要匹配两个数据集，则数据必须作为包含一个因子变量的数据框，该因子变量包含有关每个观测值成员资格的信息。
• MatchThem 提供了匹配和加权多重插补数据集的工具，以控制混杂因素的影响。来自 mice 和 amelia 的多重插补数据文件可以直接使用。
• stringdist 可以根据编辑（damerau-levenshtein、hamming、levenshtein、最佳字符串对齐）、qgrams（q-gram、余弦、Jaccard 距离）或启发式指标（jaro、jaro-winkler）计算各种字符串距离。
• XBRL 允许从 XBRL 文档中提取商业财务信息。
• RecordLinkage 实施了 Fellegi-Sunter 记录链接方法。
• fastLink 实施了 Fellegi-Sunter 概率记录链接模型，该模型允许缺失数据和辅助信息的包含。文档可以在 http://imai.princeton.edu/research/linkage.html 上找到。
• fuzzyjoin 提供了基于精确或相似匹配连接表的函数。它允许根据不准确的键匹配记录。
• PPRL 实施了隐私保护记录链接，特别是在无法使用个人 ID 来链接两个数据集时很有用。这种方法保护了人员的身份。
• reclin2 提供了帮助执行概率记录链接和重复数据删除的函数。

3.2 网络抓取

网络抓取如今在官方统计数据的生产中越来越频繁地使用。例如，在价格统计中，以前通过网络手工收集或通过亲自访问商店收集的产品价格，现在被抓取特定主页所取代。此过程步骤的工具未在此处列出，但可以在 CRAN 任务视图的 WebTechnologies 上找到详细概述。

4 数据处理

4.1 权重和校准

• survey 允许进行后分层、广义回归/校准、GREG 估计和权重修剪。
• svrep 提供了校准工具，其函数 calibrate_to_estimate（Fuller 1998 的方法，回归，后分层）扩展了包 survey。
• sampling 提供了函数 calib() 用于校准非响应（具有响应同质性组）的分层样本。
• laeken 提供了函数 calibWeights() 用于校准，它可能比 sampling 中的 calib() 更快（取决于示例）。
• icarus 专注于调查抽样中的校准和重新加权，旨在为 SAS 宏 Calmar（由 INSEE 开发）的用户提供熟悉的 R 环境。
• CalibrateSSB 包含一个函数，用于计算具有非响应的面板数据的权重和估计值。
• Frames2 允许在双框架调查中进行点估计和区间估计。当从每个框架中抽取两个概率样本时。收集的信息被适当地组合起来，以获得感兴趣参数的估计量。
• surveysd 提供了通过迭代比例拟合进行校准，这是一种针对复杂调查优化的校准引导程序，以及基于它的误差估计。
• inca 使用整数权重执行校准加权。
• jointCalib 对总计和分位数进行联合校准。

4.2 编辑（包括异常值检测）

• validate 包括规则管理和数据验证，包 validatetools 用于检查和简化验证规则集。
• errorlocate 包含基于 Fellegi 和 Holt 原理的错误定位。它支持分类和/或数值数据以及线性等式、不等式和条件规则。该包包含一个可配置的后端，用于基于 MIP 的错误定位。
• editrules 将可读的线性（不）等式转换为矩阵形式。
• deducorrect 依赖于包 editrules 并基于平衡编辑对简单的舍入、类型和符号错误进行演绎校正。更改值以满足给定的平衡编辑。为了确定更改哪些值，应用了 Levenstein 度量。
• deductive 允许使用演绎方法进行数据校正和插补。
• rspa 实现函数以最小程度地调整数值记录，使其符合（不）等式限制。
• univOutl 包含用于检测单变量异常值的各种方法，例如 Hidiroglou-Berthelot 方法。
• extremevalues 旨在通过对整体分布建模来检测单变量异常值。

4.3 插补

可以在 CRAN 任务视图“缺失数据” MissingData 中找到插补方法的概述。但是，这些方法中的大多数没有考虑复杂设计调查的特殊性，即不是专门为官方统计和调查设计的那些方法。例如，应用方法的标准通常取决于数据的规模，在官方统计中，这些数据通常是连续、半连续、二元、分类和计数变量的混合。此外，测量误差会极大地影响非稳健的插补方法。

统计机构中常用的软件包是 VIM 和 simputation，它们具有针对一般距离的快速 k 最近邻 (knn) 算法和已实现的 (稳健) 基于 EM 的多重插补算法。

4.4 季节性调整

季节性调整是制作官方统计数据的重要步骤，这里经常使用一套非常有限的方法，例如美国人口普查局开发的 X13-ARIMA-SEATS。在 CRAN 任务视图 TimeSeries 部分的季节性调整中，可以找到用于此的 R 包。

5 调查数据分析

5.1 估计和方差估计

• survey 用于处理调查样本。它允许指定复杂的调查设计（分层抽样设计、整群抽样、多阶段抽样和有或无放回的pps抽样）。一旦在svydesign()函数中指定了给定的调查设计，就可以计算点估计和方差估计。生成的物体可用于估计（霍维茨-汤普森-）总计、均值、比率和域或整个调查样本的百分位数，以及应用回归模型。均值、总计和比率的方差估计可以通过泰勒线性化或重抽样（BRR、jackkife、bootstrap或用户定义）来完成。
• robsurvey 提供了用于计算有限总体特征（均值、总计、比率、回归等）的稳健（抗异常值）估计量的函数，使用权重减少、修剪、Winsor化和M估计。该包是对survey的补充。

• surveysd 为复杂调查（包括具有旋转设计的调查）提供校准、bootstrap和误差估计。

• gustave 提供了用于调查抽样中分析方差估计的工具包。
• vardpoor 允许计算几个非线性总体统计量的线性化，通过最终集群方法对样本调查进行方差估计，对纵向和横断面测量进行方差估计，以及对任何阶段集群抽样设计的变化测量。
• rpms 将线性模型拟合到通过递归划分数据获得的每个节点的调查数据。该算法考虑了一阶段分层和聚类，以及不平等的抽样概率。
• collapse 实现了用于分组和加权统计以及多类型数据聚合（例如，均值、方差、统计模式等）的先进且计算速度快的算法，时间序列和面板数据的快速（分组、加权）转换（例如，缩放、居中、差分、增长率），以及用于复杂多级/面板数据的快速（分组、加权、面板分解）汇总统计。
• srvyr 的灵感来自dplyr包的合成风格（即，管道、group_by和summarize之类的动词）。它为survey包的设计对象提供汇总统计。
• weights 提供了各种用于生成简单加权统计的函数，例如加权皮尔逊相关性、偏相关性、卡方统计量、直方图和t检验。
• svrep 提供了用于创建、更新和分析调查重复权重的工具，作为survey的扩展。可以对全样本和重复权重进行非响应调整。可以为各种抽样设计创建 bootstrap 重复权重，包括分层多阶段样本和使用系统或不平等概率抽样选择的样本。

• NonProbEst 包含不同的推断程序，用于校正非随机选择机制可能引入的选择偏差。

5.2 可视化

• VIM 旨在使用合适的绘图方法来可视化缺失值。它可用于使用单变量、双变量、多变量和多元图分析微数据中缺失值的结构，其中来自指定变量的缺失值信息在选定变量中突出显示。它还带有一个图形用户界面。
• longCatEDA 扩展了包 VIM 中的矩阵图，以检查纵向数据中的单调缺失。
• treemap 提供树状图。树状图是具有层次结构的数据聚合的空间填充可视化。颜色可用于关联以突出显示可比较聚合之间的差异。
• tmap 提供了一种基于图层的方式来制作主题地图，例如等值线图和气泡图。
• rworldmap 概述了如何绘制国家参考数据并支持用户可视化自己的数据。例如，世界银行和联合国的世界地图。它还提供新的地图可视化方法。

6 统计披露控制

来自统计机构和其他机构的数据在其原始形式中大多是机密的，数据提供者必须通过修改原始数据来确保机密性，以便任何统计单位都无法被重新识别，并通过保证最少的信息损失。

单位级数据（微数据）

• sdcMicro 可用于匿名化数据，即创建匿名文件供公众和科学使用。它实现了广泛的方法来匿名化分类和连续（关键）变量。该软件包还包含一个图形用户界面，可以通过调用函数 sdcGUI 来使用。
• simPop 使用线性回归和稳健回归方法、随机森林（以及更多方法）从给定的复杂数据中模拟合成数据。它也适合在数据具有层次和集群信息（例如家庭中的个人）以及数据使用复杂抽样设计收集时生成合成数据。它在内部使用并行计算。
• synthpop 使用回归树方法从给定数据中模拟合成数据。它适合在数据没有层次和集群信息（例如家庭）以及数据没有使用复杂抽样设计收集时生成合成数据。

聚合信息（表格数据）

• sdcTable 可用于提供机密（层次）表格数据。它包括 HITAS 和 HYPERCUBE 技术，并使用线性规划包（Rglpk 和 lpSolveAPI）来解决（大量）线性规划。
• sdcSpatial 可用于平滑或/和抑制地图中的栅格单元。这在在地图上绘制基于栅格的计数时很有用。
• sdcHierarchies 提供生成、修改、导入和转换嵌套层次结构的方法，这些层次结构通常用于定义统计披露控制方法的输入。
• SmallCountRounding 可用于通过对必要的内部单元格进行舍入来保护频率表，以便发布的交叉分类是安全的。
• GaussSuppression 可用于使用高斯消元二次抑制算法通过抑制来保护表格。

远程访问

• DSI 是 DataShield 的接口。DataShield 是一种基础设施和一系列 R 包，它使敏感研究数据的远程和非披露分析成为可能。

第二部分：访问官方统计数据

访问国际组织和多个组织的数据

• OECD 搜索并提取来自 OECD 的数据。
• Rilostat 包含从 国际劳工组织数据库 下载数据的工具，以及搜索和操作实用程序。它还可以导入以 SDMX 格式在其数据库中提供的 ilostat 数据。
• eurostat 提供对欧洲联盟统计局 Eurostat 的数据进行搜索和访问。
• ipumsr 提供了一种简单的方法来导入 IPUMS 提供的人口普查、调查和地理数据。
• FAOSTAT 可用于从联合国粮食及农业组织 (FAO) 的 FAOSTAT 数据库下载数据。
• pxweb 为许多国家统计机构使用的 PX-Web/PC-Axis API 提供通用接口。
• PxWebApiData 提供对例如挪威统计局、瑞典统计局和芬兰统计局的简单 API 访问。
• rdhs 与人口与健康调查 (DHS) 计划数据集交互。
• prevR 实现函数（参见 import.dhs()）以从人口与健康调查中导入数据。
• rsdmx 提供了对支持 SDMX 网络服务的统计机构数据的轻松访问。该软件包包含各种国家和国际统计机构的 SDMX 访问点列表。
• readsdmx 实现函数，从本地 SDMX-ML 文件或 Web 服务读取 SDMX 到数据帧。由 OECD 提供。
• regions 提供了处理区域统计数据的工具，重点关注欧洲数据。
  
• statcodelists 使 R 用户能够使用国际标准化的 SDMX 代码列表。
• rdbnomics 提供对 DB.nomics 数据库的访问，该数据库包含来自 38 个官方提供商（如 INSEE、Eurostat、世界银行等）的宏观经济数据。
• iotables 使投入产出表整洁，并允许对从 Eurostat 数据仓库接收的数据进行格式化，使其成为适当的、经过验证的矩阵形式，从而进行经济和环境影响分析。
• npi 提供对美国国家提供者标识符注册表的 API 的访问，该注册表是医疗保健领域国家提供者标识符记录的权威数据源。
• WDI 提供对世界银行收集的世界发展指标 API 的访问。
• refugees 包含来自联合国难民署 (UNHCR) 发布的 难民人口统计数据库 的数据。

访问国家组织的数据

• tidyqwi 提供了一个 API，用于访问美国人口普查局的季度劳动力指标。
• tidyBdE 提供对西班牙银行管理局西班牙银行提供的官方统计数据的访问。
• cancensus 提供对加拿大统计局人口普查数据的访问，可以选择将所有数据检索为空间数据。
• sorvi 提供对芬兰开放政府数据的访问。
• insee 搜索并提取来自 Insee 的 BDM 数据库的数据。
• acs 下载、操作和展示美国社区调查和美国人口普查的十年数据。
• censusapi 实现了一个美国人口普查局 API 的包装器，它返回人口普查数据和元数据的dataframe。
• idbr 实现用于向美国人口普查局国际数据库 API 发出请求的功能。
• tidycensus 为美国十年人口普查和美国社区调查 API 以及美国人口普查局的地理边界文件提供了一个集成的 R 接口。
• inegiR 提供对墨西哥官方统计机构 INEGI 发布的数据的访问。
• cbsodataR 提供对荷兰统计局 (CBS) 开放数据 API 的访问。
• EdSurvey 包括对 NCES 教育调查和评估数据的分析。
• nomisr 提供对 Nomis 英国劳动力市场数据的访问，包括人口普查和劳动力调查。
• readabs 实现用于从澳大利亚统计局下载和整理时间序列数据的函数。
• BIFIEsurvey 包括用于教育评估中调查统计的工具，包括具有重复权重的数据（例如，来自 bootstrap）。
• CANSIM2R 提供用于提取 CANSIM（加拿大统计局）表格并将它们转换为易于使用的数据的函数。
• statcanR 为加拿大统计局的 Web 数据服务提供 R 连接。开放经济数据（以前是 CANSIM 表格）可在 R 环境中作为数据框访问。
• cdlTools 提供用于为指定州下载 USDA 国家农业统计局 (NASS) 作物景观数据的函数。
• csodata 提供用于从爱尔兰中央统计局 (CSO) 下载数据的函数。

第三部分：相关方法

小区域估计

• sae 提供用于小区域估计的函数（基本区域和单元级模型、具有空间/时间相关性的 Fay-Herriot 模型），例如，直接估计量、经验最佳预测量和复合估计量。
• rsae 提供用于通过最大似然 (ML) 或稳健 M 估计来估计基本单元级小区域估计 (SAE) 模型（也称为嵌套误差回归模型）的参数的函数。根据估计的参数，计算区域特定均值的稳健预测（包括 MSE 估计；参数自举）。
• emdi 提供支持估计、评估和绘制区域分解指标的函数。到目前为止，估计方法包括直接估计、基于模型的单元级方法经验最佳预测、区域级模型及其各种扩展，以及它们的精度估计。对所用模型的评估通过摘要和诊断图得到支持。为了适当地呈现估计值，可以轻松创建和导出地图图。
• hbsae 提供基于基本区域或单元级模型计算小区域估计的函数。该模型使用受限最大似然估计或分层贝叶斯方法拟合。辅助信息可以是来自分类变量的计数或来自连续人口信息的均值。
• SAEval 提供用于评估小区域估计量的诊断和图形工具。
• mind 提供使用混合线性模型对域进行多元预测和推断（均方误差），如 Datta、Day 和 Basawa（1999，J. Stat. Plan. Inference）所提议。
• JoSAE 提供广义回归 (GREG) 的点估计和方差估计，以及可以在域级别进行的单元级经验最佳线性无偏预测 EBLUP 估计量。它基本上为 nlme 包提供了包装函数，该包用于拟合基本随机效应模型。
• SUMMER SUMMER：提供小区域估计单元和区域模型，以及使用调查数据对人口统计和健康指标进行空间和时空平滑的方法。

微观模拟

• simPop 允许生成合成人口数据，有时需要作为微观模拟的起始人口。
• sms 提供从给定区域宏观数据模拟微观数据的工具。模拟退火用于最佳满足区域的可用描述。出于计算问题，计算可以在并行模式下运行。
• saeSim 实施了在小区域估计的背景下模拟数据的工具。
• SimSurvey 模拟给定内置或用户定义的抽样协议的年龄结构时空人口。

指标、指标、表格和指标可视化

• laeken 提供函数来估计流行的贫困风险和不平等指标（贫困风险率、五分位数份额比率、相对中位数贫困风险差距、基尼系数）。此外，还提供了用于帕累托分布尾部建模的标准和稳健方法，用于从连续单变量分布（如收入变量）中对指标进行半参数估计。
• convey 使用 survey 包创建的熟悉线性化和基于复制的设计来估计收入集中度和贫困指标的方差，例如基尼系数、阿特金森指数、贫困风险阈值，以及十几个其他指标。
• ineq 计算各种不平等指标（基尼系数、泰尔指数、熵等）、集中度指标（赫芬达尔指数、罗森布鲁斯指数）和贫困指标（沃茨指数、森指数、SST 指数和福斯特指数）。它还可以计算和绘制经验洛伦兹曲线和理论洛伦兹曲线以及彭氏游行图。它不是为了直接处理抽样权重而设计的（这些只能通过 rep(x, weights) 来模拟）。
• wINEQ 填补了 ineq 的空白，并允许直接使用抽样权重。它包含各种不平等指标，例如基尼系数、泰尔指数、莱蒂指数、帕尔玛比率、20:20 比率、艾利森和福斯特指数、詹金斯指数、考威尔和弗莱谢尔指数、阿布尔·纳加和亚尔辛指数、阿普伊指数、布莱尔和莱西指数。
• DHS.rates 估计人口与健康调查 (DHS) 数据的关键指标（尤其是生育率）及其方差。
• micEconIndex 实现函数来计算价格指数（帕舍型、费舍尔型和拉氏型）；参见 priceIndex()。要估计数量（例如商品的数量），请参见函数 quantityIndex()。

其他

• samplingbook 包含来自 Goeran Kauermann 和 Helmut Kuechenhoff (2010) 编著的《Stichproben. Methoden und praktische Umsetzung mit R》一书的抽样程序。
• SDaA 旨在重现 Lohr, S. (1999) 编著的《Sampling: Design and Analysis, Duxbury》一书中的结果，并包含该书中的数据集。
• samplingVarEst 实现用于估计单阶段或两阶段设计的不等概率方差的 Jackknife 方法。
• memisc 包含用于管理调查数据、图形和模拟的工具。
• anesrake 提供了一个全面的系统，用于选择变量和加权数据以匹配美国国家选举研究的规范。
• spsurvey 包含用于空间调查设计和分析的工具，适用于等概率和不等概率（分层）抽样。
• FFD 提供函数来计算生活在兽群中的动物种群的最佳样本量，用于调查以证实无病。估计样本量的标准考虑了疾病的兽群级聚类以及不完美的诊断测试，并根据两阶段设计选择样本。估计中未考虑包含概率。该软件包还提供图形用户界面。
• mipfp 提供多维迭代比例拟合，以根据目标边缘表校准 n 维数组。
• MBHdesign 从研究区域中的一组（连续的）潜在采样位置提供空间平衡设计。
• quantification 提供了多种用于量化定性调查数据的函数。它支持 Carlson-Parkin 方法、回归方法、平衡方法和条件期望方法。
• surveybootstrap 包含使用不同类型的 bootstrap 来估计使用复杂调查数据进行抽样变异的工具。
• RRreg 实现了单变量和多变量分析（相关性、线性回归和逻辑回归），用于随机响应技术的几种变体，这是一种用于消除由于社会期望而导致的响应偏差的调查方法。
• RRTCS 包含用于复杂调查的随机响应技术。
• panelaggregation 将商业趋势调查数据（和其他定性调查）聚合到不同聚合级别的时序数据。
• rtrim 实现了用于研究趋势和指标以监控数据的函数。它提供了基于站点计数（包括缺失数据的发生）估计动物/植物种群的工具。
• rjstat。读取和写入 JSON-stat 格式的数据集。
• diffpriv 实现了使用差分隐私对统计数据进行扰动。
• easySdcTable 为软件包 sdcTable 的一小部分功能提供图形界面。
• MicSim 包含微观模拟方法。给定初始人口、死亡率、离婚率、结婚率、教育变化等，以及它们的转移矩阵，可以定义并包含在人口未来状态的模拟中。该软件包不包含编译代码，但提供了并行运行微观模拟的功能。
• singleRcapture 提供了使用单源捕获-再捕获方法估计难以接触人群的种群规模的方法。

CRAN 软件包

其他资源

• CRAN 任务视图：MissingData
• CRAN 任务视图：TimeSeries
• CRAN 任务视图：WebTechnologies