返回首页
联手数据库专委：“近似查询处理”与“数据集市”术语发布 | CCF术语快线
此文收录于CCF计算机术语审定委员会的术语快线话题，本期联合数据库专业委员会推出行业术语热词与新词介绍。
开篇导语： 此文收录于CCF计算机术语审定委员会的术语快线话题，本期联合数据库专业委员会推出行业术语热词与新词介绍。 本期所选术语热词为：近似查询处理(Approximate Query Processing)。针对在线联机分析处理任务给出近似计算结果，进而支持在线交互式数据分析应用。 除此之外，本期新增术语新词：数据集市(Data Market)。作为一种新的数据经济形式和数据共享方式，数据集市使政府或企业能够以新的方式访问数据，推动了数据经济的发展，让数据创造更多价值。 作者：柴成亮（清华大学）、李国良（清华大学） 近似查询处理(Approximate Query Processing) InfoBox 中文名：近似查询处理 外文名：Approximate Query Processing 简称：AQP 学科：数据库系统 实质：利用离线概要、在线采样或机器学习模型近似回答大数据聚合查询 基本简介： 近似查询处理使用离线概要(Synopsis)、在线采样或机器学习模型来表达原数据集的关键统计信息、样本或概率密度分布函数，以针对在线联机分析处理任务给出近似计算结果，进而支持在线交互式数据分析应用。 背景与动机： 数据库系统是现代信息技术中的一项核心基础软件，各种上层高级应用的性能都依赖于数据库系统的查询处理能力。联机分析处理(Online Analytical Processing，简称 OLAP)是数据库系统中的一项重要功能[1]。处理OLAP查询的能力是许多决策支持系统中的重要指标。相对于联机事务处理(Online Transaction Processing，简称 OLTP)，OLAP更多地关注于帮助用户迅速地、多维度地分析数据并理解数据，从而支持更高层次的决策。 在实践中，在大型数据集上支持OLAP操作的计算代价十分巨大。尽管许多成熟的商用系统已能支持大数据上的OLAP（例如Spark[2]），但这些系统通常需要数十分钟甚至几小时才能完成一个复杂的OLAP查询。然而，在许多具有在线OLAP需求的应用场景下都要求在几秒钟内获得OLAP结果。为了解决此问题，数据库研究者们提出了大数据近似查询处理（Approximate Query Processing，简称 AQP）技术，此类方法可以非常快速地计算OLAP查询的近似答案且可以提供一定的精度保证[3]。 中文语境下广义的“近似查询处理”覆盖范围较为广泛，而数据库系统相关的研究中所指的近似查询处理（即AQP问题）特指数据库（包含但不仅限于关系型数据库）上聚合查询结果的近似估计[4,5]。近似查询处理主要支持包含聚合函数的SQL语句，此处所指的聚合函数主要为SUM、AVG、COUNT、MAX、MIN或上述几种函数的复合。 研究概况：近似查询处理这一领域的研究历程总体可分为两个阶段：（1）在关系型数据库上使用采样技术在1986年首次被提出并实现[6]。此后，在随机采样的基础上，分层抽样和各种离线构建数据概要的方法被广泛研究。在分布式系统被提出后，研究者们则关注于如何在分布式场景下离线或在线采样；（2）在深度学习技术推动的AI浪潮下，研究者逐渐意识到机器学习模型对于数据的强大拟合能力，大量基于生成模型的AQP算法在这种背景下被提出。因此，现行的AQP算法主要包含在线算法、离线算法与机器学习算法三种。 在线AQP算法的主要目的是在查询执行期间设计合理的采样策略，基于在线采样计算OLAP的近似查询结果，并为此近似查询结果设计误差估计算法[7]。 离线AQP算法主要通过分析历史查询日志和原数据集，对数据总体进行采样或计算其关键统计信息，并用这些信息近似回答在线查询[8,9,10]。 机器学习驱动的AQP算�