面向 Agent 的高并发分析:Doris vs. Snowflake vs. ClickHouse


                                                                                                                                                <p>数据价值的不断升级,是过去三十年来数据库演进的核心驱动力。而 AI 的崛起,将这一需求推向新的高度:数据不仅要能被"看"到,更要能被"理解"和"创造"------这一点已在基于大语言模型(LLM)为核心的代码生成、智能对话等应用中得以验证。</p> 

这一背景下,由自主 AI 智能体(Agent)驱动的分析已成为典型范式。 智能体能够独立推理、实时分析数据,甚至主动触发行动。这意味着分析模式正从被动报告转向主动决策,处理模式也从以查询为中心转向以语义和响应为中心。

这一转变对数据基础设施提出巨大挑战:工作负载已从”少量用户、繁重查询、慢容忍度”转变为”海量用户(智能体)、轻量级/迭代查询、零延迟容忍度”。如果数据库系统无法满足高并发低延迟的查询需求,那么其上构建的 AI 智能体就会变得缓慢、笨拙,尤其是在一些信息检索的领域产生幻觉,给人误导性的结果

因此,面向智能体的高并发和低延迟处理能力,已不再是可选项,而是决定数据仓库能否支撑 AI 时代的生存基石

  1. 查询吞吐(QPS)全面领先

进入 AI 时代,Apache Doris 继续保持技术领先。4.0 版本实现了与 AI 能力的深度融合,增强 AI 原生支持,并基于混合搜索技术统一处理结构化过滤、文本搜索、向量语义搜索,突破数仓功能界限,升级为企业核心的”AI 分析中枢”,为智能决策和创新实践提供稳定、高效的底层数据支持。

不可忽视的是,Apache Doris 一直以实时极速著称,在性能和吞吐量方面均处于领先水平。因此,在 AI 时代,这一能力依旧强悍,能够高效支持面向 Agent 分析的高并发分析。

为了更直观的展示这些能力,我们对最当下流行几款数据系统进行评估,结果显示,结果显示,Apache Doris 在每种设置下的表现均优于其他系统。

1.1 基础配置

我们对 SelectDB(基于 Apache Doris 内核构建的现代实时数据仓库)、Snowflake 和 Clickhouse Cloud 进行了性能及吞吐量的比较 。评测基于 SSB-FLAT、SSB、TPC-H 这三个测试集,并借助 Apache JMeter(一款开源软件应用程序,旨在对功能行为进行负载测试并测量性能)进行负载测试。具体测试方法为:启动 10/30/50 个线程并按顺序提交查询,每个查询运行 3 分钟,然后获取每个查询的 QPS

为确保测试的准确性和公平性,我们尽可能保证配置规模和定价的一致性。由于各平台对计算资源的命名不尽相同,以下是相关配置的简要说明:

  • SelectDB 和 Clickhouse Cloud:用户可以根据 CPU 核心数选择预期的集群规模。本次评估 SelectDB 和 Clickhouse Cloud 均选择了 128 核集群。
  • Snowflake:集群按大小(超小、小、中、大、超大)衡量。本次评估选择超大(X-Large)尺寸集群,约等于 128 核集群。

1.2 测试及结果

结论先行,在三个基准测试集中,SelectDB 在不同并行度(10/30/50)下的性能及吞吐量均优于 SnowFlake 和 Clickhouse

1.2 测试及结果.png

其中 SSB-FLAT 是一个纯宽表基准测试,而 SSB 和 TPC-H 则是包含了表连接的复杂查询测试。

通常情况下,Clickhouse 在扫描单个宽表时通常表现更快,Snowflake 以其更好的弹性扩缩容能力而著称,SelectDB 则兼具二者,并且在复杂查询和单表查询的场景都进行了针对性的优化。SelectDB 凭借强大的优化器能够重写复杂查询,凭借高效的执行引擎来执行查询,从而能够在各个并行度的基准测试中表现出了远优于其他系统的并发处理能力。

SSB-FLAT

SSB-FLAT 旨在衡量系统查询单张宽表的能力。在该基准测试中,SSB 中所有表被转换为一个非规范化的扁平表,且不涉及连接操作。

在 10、30、50 三种并行度下,SelectDB 均展现出比 Snowflake 和 ClickHouse 更高的 QPS :

  • 相比 Snowflake,SelectDB 的 QPS 分别达到其 6.38 倍、7.28 倍、7.39 倍;
  • 相比 ClickHouse,SelectDB 的 QPS 分别达到其 6.92 倍、5.66 倍、4.76 倍。

下图直观展示了这一性能对比结果。

1.2 测试及结果-1.PNG 1.2 测试及结果-2.png

SSB

专为评估数据库对星型模型的查询优化能力而设计。该基准结构简明,包含四个查询集、四个维度表和一个简单的汇总层次。在该测试集下:

  1. 在 10、30、50 三种并发条件下,SelectDB 的 QPS 分别是 Snowflake 的 6.37 倍、5.98 倍、5.17 倍,性能表现显著领先。
  2. 由于 ClickHouse 在当前测试中无法完整支持 SSB 所需的连接操作,未能产生有效可比结果,因此在图中将其结果设为 0。

1.2 测试及结果-3.png 1.2 测试及结果-4.png

TPC-H

TPC-H 是业界广泛采用的决策支持系统基准测试。它包含一系列面向业务的即席查询与并发数据更新任务,其查询语句与测试数据均经过严谨设计,具备广泛的行业代表性。该基准旨在评估系统处理大规模数据、执行复杂查询并辅助关键业务决策的能力。

  1. 在 10、30、50 三种并发度下,SelectDB 的 QPS 分别达到 Snowflake 的 3.10 倍、2.16 倍与 1.71 倍,持续保持性能领先。
  2. 由于 ClickHouse 在部分 TPC-H 查询(尤其是 Q20、Q21、Q22)中无法完全支持所需的连接操作,未能获得有效的可比结果,因此在图表中将其设为 0 。

1.2 测试及结果-5.png 1.2 测试及结果-6.png

完整测试结果可从 SelectDB 官网获取:https://www.selectdb.com/blog/1580

  1. Apache Doris 为何能够领先?

承接前文基准测试中展现出的卓越吞吐性能,接下来介绍为何 Apache Doris 在高并发查询上能全面领先其他同类型产品,其背后有哪些能力或技术支持?

其能力并非源于单一优化手段,而是通过多层协同——比如高效的数据裁剪、Pipeline 执行模式、向量化执行引擎等共同构筑了支撑海量请求并发的技术基石。下面我们将对其中的几项关键技术进行原理解析。

2.1 数据裁剪

如何高效处理数据是实时数据仓库中的核心主题之一。在 Apache Doris 中,过滤掉不必要的数据,只读取最小的数据子集,这被称为”数据裁剪”,是查询加速的主要手段之一。

2.1.1 谓词过滤

在 Apache Doris 中,就生成过滤器的时间而言,可将其分为两类:静态过滤器和动态过滤器。

  • 我们将查询执行前生成的过滤器称为静态过滤器 。例如,假设用户要查询所有价格大于 10 的饮料,> 10 这一谓词过滤器就可在 SQL 解析阶段推导出来。
  • 对于包含内等值连接的查询,只有探测侧与构建侧匹配的行才应该被读取。因此,这些过滤器只能在构建哈希表之后生成,称为动态过滤器

现在我们探讨 Apache Doris 中的静态过滤器——谓词过滤。对于一张普通的表,其列可分为分区列、键列和值列三种类型。针对不同类型的列,过滤方式也各不相同:

  1. 对于分区列的谓词: FE 可直接根据元数据判断需要访问哪些分区,从而直接在分区级别进行数据裁剪,这是最高效的数据裁剪方式。
  2. 关于键(Key)列的谓词:由于数据在段内是按键列顺序组织的,只需根据谓词条件生成键列的上下边界,再通过二分查找即可定位需要读取的数据行范围。
  3. 关于普通列的谓词:每个列数据文件都会维护包含最大值/最小值的元数据,因此可以通过比较谓词条件和元数据来过滤列文件。然后读取剩余列文件并执行谓词计算,过滤掉所有不匹配谓词的行。

完成谓词过滤后,系统获得所有匹配查询条件的行索引。随后,只需按行索引加载对应的数据行即可。

2.1.2 LIMIT 裁剪

另一种数据裁剪的方法是 LIMIT 裁剪。在查询时限定返回行数是常见使用方式,具体来说:由于限制条件会被下推至查询执行过程中,一旦满足该行数限制,查询即可提前终止。

2.1.2 LIMIT 裁剪.png

2.1.3 TopK 裁剪

TopK 查询在 BI 查询中广泛使用。简单来说,TopK 查询是指根据某些列的顺序检索前 K 个结果,与 LIMIT 裁剪类似。但如果使用最基本的方法对数据进行全排序,然后取前 K 个结果,扫描数据所带来的开销非常大。因此,在 Apache Doris 中,TopK 通常通过堆排序方法实现

A. 标准堆排序方法

处理 TopK 查询的直观方法是标准堆排序方法。核心是维护一个最小堆以实现降序排序。当新数据入堆时,会即时更新堆内容。此过程中,不在堆排序范围中的数据将被丢弃,这意味着无需维护不必要的数据。扫描完成后,堆中现有数据便是我们所需的全部结果。

B. 理论最优解

堆排序的理论最优解指通过扫描数据获取正确结果所需的最小数据量。在 Doris 中,数据在段内按键列顺序存储。因此,当 TopK 查询的结果按键列排序时,我们只需读取每个段的前 K 行,然后进行归并排序即可得到最终结果。如果排序结果基于普通列,理论最优的方法应是读取每个段的排序数据进行排序,并根据排序结果检索相应的数据行,而无需读取所有数据进行排序。

那么在堆排序过程中,如果能够应用一些特殊的优化方法,只扫描满足查询条件的数据,查询执行的效率将得到极大提升。因此,Doris 针对 TopK 查询,主要进行了以下优化

首先,在数据扫描线程中,先对数据局部截断,然后通过全局协调器对数据进行最终排序,并根据排序结果进行全局截断。因此,Doris 的 TopK 查询执行过程实际上分为两个阶段:

  • 第一阶段,按照上述方案读取排序列,执行局部排序和全局排序,得到符合条件的数据的行号。
  • 第二阶段,根据第一阶段得到的行号,读取除排序列之外的所需列,从而得到最终输出结果。

2.1.3 TopK 裁剪.png

2.1.4 JOIN 裁剪

JOIN 是数据库系统中最耗时的操作,数据量越少,JOIN 的开销就越低。若暴力执行 JOIN,即计算笛卡尔积,时间复杂度为 O(M*N),其中 M 和 N 分别为两个表的大小。因此,我们通常选择 Hash Join 作为更高效的连接方法。

在 Hash Join 中,我们选择较小的数据表作为构建端,基于其数据构建哈希表,然后用另一侧的表作为探测端来查找哈希表。理想情况下,若忽略内存访问的影响,构建和探测单行的复杂度为 O(1),整个哈希连接的复杂度为 O(M + N)。由于探测端的数据通常较大,减少探测端数据的读取和计算显得尤为重要。

Apache Doris 支持 JOIN 裁剪,能够对探测侧数据进行有效裁剪。由于哈希表中构建侧数据的值是确定的,可以根据数据量的大小选择合适的 JOIN 裁剪方式。

2.1.4 JOIN 裁剪.png

2.2 Pipeline 执行引擎

Apache Doris Pipeline 执行引擎的设计目标是能够在查询执行遇到阻塞算子(例如,Join 和 Shuffle 算子中的磁盘 IO、网络 IO)时在用户态主动出让 CPU。这些阻塞算子被称为 Pipeline Breaker。因此,每个执行线程可以专注于计算密集型任务,尽量减少上下文切换的开销。同时, Pipeline Breaker 的存在使得数据能够均匀重新分布,每条 Pipeline 可以独立设置并行度。例如,在单线程情况下,从两个分片加载数据的扫描算子可以将数据分发到所有具有 N 并行度的下游算子。

2.2 Pipeline 执行引擎.png

通过 Pipeline 执行引擎,用户可以更高效地处理数据,具体收益包括:

  1. 引入本地交换优化,充分利用 CPU 资源,实现数据均匀分布,最大限度减少数据倾斜,同时并行性不再受分片数量的限制。
  2. 多个并发任务共享状态,减少额外的初始化开销,如表达式和常量变量。
  3. 所有流水线任务的阻塞条件通过 Dependency 进行封装,任务执行逻辑由外部事件(如 RPC 完成)触发,消除阻塞轮询线程的开销。
  4. 用户可获得更直观的查询 Profile。

2.3 向量化执行引擎

向量化查询执行是指通过批量处理数据而非逐行处理来提升查询性能的方法。该方法充分利用现代 CPU 架构的优势,借助单指令多数据流(SIMD)操作和循环展开等技术,显著提高了 CPU 的数据处理效率。在 Apache Doris 中,向量化执行引擎为实际应用场景带来了显著的查询性能提升。数据压缩、循环计算等操作也因此得到大幅加速。

2.3 向量化执行引擎.png

结论

在本文中,我们探讨了 AI 时代数据仓库的现状与前景,我们认识到数据在训练和推理中发挥着关键作用。针对这一挑战,面向 AI 时代设计的 Apache Doris 4.0 版本应运而生,该版本原生支持 MCP Server、向量检索、检索增强生成(RAG)及 AI 函数等功能。并在查询延迟、吞吐量和成本效益方面均显著优于同类产品,成为 AI 时代理想的数据仓库解决方案。

附录

TPC-H (Parallelism = 10)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX Error % QPS MIN AVG MAX Error % QPS MIN AVG MAX Error %
TOTAL 5.22 41.06s 0.00% 2.24 1min20s 0.00% 0.722 3min24s 34.50%
Q1 1.4 7.05s 7.09s 7.15s 0.00% 1.1 7.64s 8.39s 9.06s 0.00% 0.408 6.48s 15.22s 24.50s 0.00%
Q2 49.8 182ms 192ms 200ms 0.00% 25.6 301ms 343ms 389ms 0.00% 2.32 1.81s 3.37s 4.32s 0.00%
Q3 10.2 946ms 965ms 985ms 0.00% 0.786 6.43s 9.60s 12.72s 0.00% 0.669 6.44s 12.98s 14.95s 0.00%
Q4 12.5 778ms 795ms 803ms 0.00% 1.24 5.74s 6.46s 8.08s 0.00% 0.606 97ms 8.30s 16.50s 10.00%
Q5 5.23 1.89s 1.90s 1.91s 0.00% 26.2 310ms 335ms 381ms 0.00% 0.536 8.37s 14.03s 18.67s 90.00%
Q6 64.5 148ms 152ms 154ms 0.00% 11.2 700ms 753ms 890ms 0.00% 1.35 2.44s 4.47s 7.42s 0.00%
Q7 10.4 938ms 949ms 957ms 0.00% 28.3 301ms 318ms 353ms 0.00% 0.299 9.14s 22.88s 33.45s 10.00%
Q8 9.65 1.01s 1.03s 1.03s 0.00% 20.1 272ms 341ms 496ms 0.00% 0.322 13.48s 19.17s 31.07s 30.00%
Q9 1.86 5.24s 5.26s 5.37s 0.00% 13.3 422ms 561ms 749ms 0.00% 0.51 7.97s 14.10s 19.59s 100.00%
Q10 2.77 3.40s 3.51s 3.61s 0.00% 16.9 284ms 415ms 590ms 0.00% 0.933 4.91s 8.61s 10.72s 0.00%
Q11 24.2 349ms 399ms 413ms 0.00% 15.6 315ms 440ms 638ms 0.00% 172 46ms 51ms 58ms 100.00%
Q12 24 408ms 412ms 416ms 0.00% 1.64 4.11s 4.90s 6.09s 0.00% 0.701 3.35s 9.00s 14.27s 0.00%
Q13 2.41 4.06s 4.09s 4.15s 0.00% 0.541 13.38s 15.74s 18.47s 0.00% 0.227 11.24s 29.73s 44.14s 10.00%
Q14 22.7 298ms 331ms 438ms 0.00% 1.57 4.09s 4.55s 6.36s 0.00% 2.04 2.03s 3.55s 4.91s 0.00%
Q15 10.8 924ms 926ms 929ms 0.00% 1.71 4.75s 5.52s 5.86s 0.00% 175 50ms 53ms 56ms 100.00%
Q16 9.63 1.03s 1.03s 1.04s 0.00% 1.94 3.38s 4.19s 5.14s 0.00% 5.22 814ms 1.45s 1.91s 0.00%
Q17 16.1 320ms 564ms 622ms 0.00% 2.52 2.65s 3.17s 3.98s 0.00% 0.394 7.36s 16.28s 25.36s 10.00%
Q18 1.74 5.06s 5.49s 5.74s 0.00% 0.988 4.19s 6.88s 10.12s 0.00% 1.24 3.40s 5.53s 8.04s 0.00%
Q19 15.9 344ms 575ms 627ms 0.00% 2.33 2.57s 3.48s 4.29s 0.00% 0.408 5.65s 14.63s 24.51s 0.00%
Q20 22.5 394ms 429ms 445ms 0.00% 32.5 274ms 292ms 308ms 0.00% 204 28ms 41ms 48ms 100.00%
Q21 2.8 3.36s 3.46s 3.57s 0.00% 27.4 310ms 325ms 365ms 0.00% 217 31ms 38ms 45ms 100.00%
Q22 6.41 1.51s 1.52s 1.56s 0.00% 3.59 2.32s 2.53s 2.79s 0.00% 56.2 120ms 154ms 177ms 100.00%

TPC-H (Parallelism = 30)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 5.01 2min9s 0.00% 2.83 2min27s 0.00% 1.31 4min59s 48.80%
Q1 1.42 20.62s 20.86s 21.08s 21.08s 0.00% 1.93 5.13s 10.27s 15.56s 15.56s 0.00% 0.814 12.55s 25.40s 36.84s 36.84s 0.00%
Q2 58.6 424ms 483ms 511ms 511ms 0.00% 56.2 411ms 455ms 532ms 532ms 0.00% 1.75 1.86s 11.77s 17.17s 17.17s 0.00%
Q3 7.08 4.04s 4.17s 4.24s 4.24s 0.00% 0.992 5.21s 17.51s 30.23s 30.23s 0.00% 1.11 6.12s 15.95s 26.93s 26.93s 60.00%
Q4 11.3 2.53s 2.58s 2.65s 2.65s 0.00% 1.53 4.75s 12.14s 19.60s 19.60s 0.00% 1.07 3.15s 16.96s 28.06s 28.06s 63.30%
Q5 4.68 6.35s 6.36s 6.41s 6.41s 0.00% 63.8 397ms 431ms 468ms 468ms 0.00% 0.991 38ms 16.91s 30.27s 30.27s 90.00%
Q6 78.9 208ms 345ms 380ms 380ms 0.00% 40 368ms 548ms 748ms 748ms 0.00% 1.98 2.70s 11.06s 15.15s 15.15s 0.00%
Q7 8.83 2.99s 3.29s 3.40s 3.40s 0.00% 87.7 268ms 301ms 341ms 341ms 0.00% 0.631 7.47s 22.91s 47.56s 47.56s 46.70%
Q8 9.01 3.22s 3.30s 3.33s 3.33s 0.00% 89.6 269ms 296ms 333ms 333ms 0.00% 0.568 11.59s 28.21s 52.86s 52.86s 80.00%
Q9 1.64 17.97s 18.16s 18.28s 18.28s 0.00% 89.3 260ms 295ms 332ms 332ms 0.00% 1.02 3.87s 12.35s 29.31s 29.31s 100.00%
Q10 2.65 10.62s 11.07s 11.29s 11.29s 0.00% 55.2 396ms 448ms 541ms 541ms 0.00% 0.996 4.97s 23.08s 30.11s 30.11s 36.70%
Q11 23.9 1.14s 1.22s 1.25s 1.25s 0.00% 70.6 305ms 374ms 425ms 425ms 0.00% 254 59ms 80ms 117ms 117ms 100.00%
Q12 23.3 1.23s 1.25s 1.28s 1.28s 0.00% 2.15 2.88s 8.29s 13.96s 13.96s 0.00% 1.68 6.67s 14.11s 17.90s 17.90s 0.00%
Q13 2.36 12.24s 12.63s 12.71s 12.71s 0.00% 0.568 13.63s 33.12s 52.78s 52.78s 0.00% 0.496 9.88s 25.77s 1min0s 1min0s 10.00%
Q14 33.9 781ms 837ms 883ms 883ms 0.00% 2.62 2.73s 7.12s 11.44s 11.44s 0.00% 2.16 4.17s 9.53s 13.90s 13.90s 0.00%
Q15 11 2.63s 2.70s 2.72s 2.72s 0.00% 2.47 7.09s 10.31s 12.15s 12.15s 0.00% 500 37ms 47ms 57ms 57ms 100.00%
Q16 12.2 2.22s 2.39s 2.45s 2.45s 0.00% 2.38 2.85s 7.54s 12.60s 12.60s 0.00% 5.44 1.47s 3.69s 5.51s 5.51s 0.00%
Q17 15.9 1.02s 1.72s 1.88s 1.88s 0.00% 2.55 2.95s 7.27s 11.78s 11.78s 0.00% 1.28 7.32s 12.33s 23.42s 23.42s 80.00%
Q18 1.74 15.51s 16.78s 17.28s 17.28s 0.00% 1.05 3.96s 16.46s 28.69s 28.69s 0.00% 1.2 7.56s 18.18s 25.09s 25.09s 6.70%
Q19 16 746ms 1.38s 1.87s 1.87s 0.00% 2.4 2.39s 7.68s 12.48s 12.48s 0.00% 0.688 6.71s 30.09s 43.61s 43.61s 0.00%
Q20 24.9 926ms 1.10s 1.20s 1.20s 0.00% 89.3 268ms 303ms 336ms 336ms 0.00% 536 27ms 38ms 49ms 49ms 100.00%
Q21 2.55 11.40s 11.60s 11.77s 11.77s 0.00% 85 284ms 315ms 351ms 351ms 0.00% 545 37ms 43ms 53ms 53ms 100.00%
Q22 6.39 4.57s 4.64s 4.69s 4.69s 0.00% 4.09 3.08s 5.11s 7.33s 7.33s 0.00% 57 166ms 318ms 511ms 511ms 100.00%

TPC-H (Parallelism = 50)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 4.84 3min43s 0.00% 2.88 3min43s 0.00% 1.68 6min28s 59.30%
Q1 1.43 34.43s 34.80s 35.03s 35.03s 0.00% 1.99 5.11s 15.00s 25.11s 25.11s 0.00% 1.01 24.68s 40.55s 49.63s 49.63s 0.00%
Q2 61.8 314ms 764ms 807ms 807ms 0.00% 88.2 405ms 469ms 564ms 564ms 0.00% 1.83 14.03s 19.12s 27.25s 27.25s 18.00%
Q3 6.76 7.20s 7.34s 7.39s 7.39s 0.00% 0.975 4.58s 27.89s 51.26s 51.26s 0.00% 1.17 7.17s 21.34s 42.60s 42.60s 88.00%
Q4 10.5 4.54s 4.66s 4.75s 4.75s 0.00% 1.52 4.94s 18.82s 32.85s 32.85s 0.00% 1.17 5.86s 18.59s 42.57s 42.57s 88.00%
Q5 3.61 12.89s 13.76s 13.84s 13.84s 0.00% 78.7 413ms 491ms 632ms 632ms 0.00% 1.22 5.85s 25.81s 40.96s 40.96s 98.00%
Q6 73.2 426ms 666ms 682ms 682ms 0.00% 41.4 430ms 794ms 1.21s 1.21s 0.00% 1.98 7.17s 18.78s 25.29s 25.29s 10.00%
Q7 7.04 5.73s 6.90s 7.10s 7.10s 0.00% 124 261ms 332ms 401ms 401ms 0.00% 0.696 7.26s 25.94s 1min12s 1min12s 84.00%
Q8 8.74 612ms 5.55s 5.72s 5.72s 0.00% 77.2 319ms 560ms 646ms 646ms 0.00% 0.914 11.85s 27.73s 54.73s 54.73s 84.00%
Q9 1.6 30.98s 31.04s 31.22s 31.22s 0.00% 129 265ms 323ms 386ms 386ms 0.00% 1.15 7.56s 20.05s 43.44s 43.44s 100.00%
Q10 2.61 16.46s 18.72s 19.17s 19.17s 0.00% 71.5 409ms 510ms 695ms 695ms 0.00% 1.27 15.21s 26.13s 39.38s 39.38s 62.00%
Q11 21.9 1.08s 2.14s 2.29s 2.29s 0.00% 96.2 329ms 445ms 520ms 520ms 0.00% 329 51ms 94ms 137ms 137ms 100.00%
Q12 23.6 2.01s 2.10s 2.12s 2.12s 0.00% 2.21 2.92s 12.78s 22.57s 22.57s 0.00% 1.74 10.36s 23.25s 28.63s 28.63s 0.00%
Q13 2.32 21.29s 21.49s 21.52s 21.52s 0.00% 0.568 13.94s 51.08s 1min28s 1min28s 0.00% 0.955 29.81s 37.50s 52.32s 52.32s 6.00%
Q14 32.9 1.39s 1.45s 1.51s 1.51s 0.00% 2.64 2.92s 10.89s 18.90s 18.90s 0.00% 2.34 6.55s 16.27s 21.29s 21.29s 0.00%
Q15 11 4.51s 4.53s 4.54s 4.54s 0.00% 2.6 10.88s 15.50s 19.25s 19.25s 0.00% 476 33ms 48ms 63ms 63ms 100.00%
Q16 11.7 3.91s 4.17s 4.26s 4.26s 0.00% 2.47 2.84s 11.40s 20.21s 20.21s 0.00% 6.25 1.46s 5.42s 7.96s 7.96s 0.00%
Q17 15.6 872ms 2.71s 3.20s 3.20s 0.00% 2.64 2.38s 10.77s 18.94s 18.94s 0.00% 1.54 7.51s 11.89s 32.45s 32.45s 94.00%
Q18 1.77 27.02s 28.04s 28.28s 28.28s 0.00% 1.06 4.06s 25.82s 47.06s 47.06s 0.00% 2.15 5.87s 13.32s 23.26s 23.26s 64.00%
Q19 15.5 1.21s 2.25s 3.23s 3.23s 0.00% 2.56 3.01s 11.21s 19.50s 19.50s 0.00% 0.996 3.80s 35.56s 50.17s 50.17s 8.00%
Q20 26.9 775ms 1.59s 1.85s 1.85s 0.00% 123 265ms 343ms 403ms 403ms 0.00% 694 29ms 43ms 71ms 71ms 100.00%
Q21 2.38 20.09s 20.66s 20.97s 20.97s 0.00% 123 278ms 334ms 403ms 403ms 0.00% 538 26ms 45ms 67ms 67ms 100.00%
Q22 6.35 7.80s 7.83s 7.87s 7.87s 0.00% 4.18 3.31s 7.70s 11.97s 11.97s 0.00% 52.6 212ms 499ms 904ms 904ms 100.00%

Star Schema Benchmark(Parallelism = 10)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 14.9 8.14s 0.00% 2.34 40.57s 0.00% 0.692 1min59s 4.60%
Q1.1 28.7 335ms 339ms 349ms 349ms 0.00% 2.98 1.58s 2.79s 3.35s 3.35s 0.00% 1.54 1.67s 3.86s 6.51s 6.51s 0.00%
Q1.2 95.2 77ms 95ms 102ms 102ms 0.00% 4.6 2.09s 2.12s 2.17s 2.17s 0.00% 2.89 1.63s 2.40s 3.46s 3.46s 0.00%
Q1.3 91.7 83ms 96ms 108ms 108ms 0.00% 4.61 2.10s 2.13s 2.17s 2.17s 0.00% 5.85 878ms 1.60s 1.71s 1.71s 0.00%
Q2.1 12.3 791ms 808ms 816ms 816ms 0.00% 2.48 1.82s 2.95s 4.03s 4.03s 0.00% 0.612 2.92s 9.53s 16.35s 16.35s 0.00%
Q2.2 10.9 596ms 802ms 921ms 921ms 0.00% 2.27 2.13s 3.30s 4.41s 4.41s 0.00% 1.98 2.29s 3.97s 5.06s 5.06s 0.00%
Q2.3 15.6 271ms 511ms 639ms 639ms 0.00% 3.61 1.67s 2.13s 2.77s 2.77s 0.00% 1.17 2.26s 6.06s 8.54s 8.54s 0.00%
Q3.1 6.45 1.53s 1.55s 1.55s 1.55s 0.00% 1.57 2.70s 4.40s 6.38s 6.38s 0.00% 0.213 17.16s 27.91s 46.85s 46.85s 20.00%
Q3.2 13.3 527ms 683ms 751ms 751ms 0.00% 2.55 1.80s 2.78s 3.93s 3.93s 0.00% 0.354 5.80s 15.31s 28.23s 28.23s 0.00%
Q3.3 15.4 299ms 516ms 649ms 649ms 0.00% 3.53 1.73s 2.19s 2.83s 2.83s 0.00% 0.719 5.43s 8.59s 13.90s 13.90s 0.00%
Q3.4 52.1 176ms 183ms 192ms 192ms 0.00% 3.22 1.80s 2.31s 3.10s 3.10s 0.00% 0.779 5.41s 9.78s 12.84s 12.84s 0.00%
Q4.1 6.49 1.53s 1.53s 1.54s 1.54s 0.00% 1.3 2.42s 4.93s 7.68s 7.68s 0.00% 0.557 5.24s 11.54s 17.95s 17.95s 0.00%
Q4.2 15.2 602ms 636ms 655ms 655ms 0.00% 1.32 2.82s 5.27s 7.60s 7.60s 0.00% 0.672 4.63s 9.44s 14.88s 14.88s 40.00%
Q4.3 23.8 351ms 389ms 420ms 420ms 0.00% 1.96 1.68s 3.27s 5.10s 5.10s 0.00% 0.866 8.33s 9.46s 11.55s 11.55s 0.00%

Star Schema Benchmark(Parallelism = 30)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 15.3 22.82s 0.00% 2.56 1min30s 0.00% 1.04 4min0s 22.60%
Q1.1 52.3 521ms 558ms 573ms 573ms 0.00% 4.4 2.73s 4.94s 6.81s 6.81s 0.00% 4.38 3.64s 4.80s 6.85s 6.85s 0.00%
Q1.2 148 116ms 183ms 201ms 201ms 0.00% 5.01 2.74s 4.26s 5.98s 5.98s 0.00% 4.87 892ms 3.93s 6.15s 6.15s 0.00%
Q1.3 155 114ms 168ms 191ms 191ms 0.00% 4.86 2.84s 4.41s 6.17s 6.17s 0.00% 4.31 1.69s 3.95s 6.96s 6.96s 0.00%
Q2.1 12.2 1.86s 2.41s 2.46s 2.46s 0.00% 2.7 1.95s 6.48s 11.09s 11.09s 0.00% 1.03 2.98s 19.16s 29.18s 29.18s 0.00%
Q2.2 10.9 686ms 2.41s 2.75s 2.75s 0.00% 2.67 2.16s 6.61s 11.23s 11.23s 0.00% 1.98 4.91s 11.58s 15.14s 15.14s 0.00%
Q2.3 16.3 346ms 1.23s 1.83s 1.83s 0.00% 3.85 1.79s 4.76s 7.79s 7.79s 0.00% 1.98 4.39s 10.53s 15.14s 15.14s 0.00%
Q3.1 6.33 4.65s 4.72s 4.74s 4.74s 0.00% 1.74 2.51s 9.82s 17.28s 17.28s 0.00% 0.465 15.57s 36.32s 1min04s 1min04s 33.30%
Q3.2 13.6 861ms 1.55s 2.21s 2.21s 0.00% 2.64 1.91s 6.53s 11.37s 11.37s 0.00% 0.648 6.21s 30.55s 46.30s 46.30s 43.30%
Q3.3 16.2 367ms 1.29s 1.86s 1.86s 0.00% 3.59 2.01s 5.11s 8.36s 8.36s 0.00% 0.729 11.55s 29.18s 41.17s 41.17s 33.30%
Q3.4 61.3 234ms 435ms 486ms 486ms 0.00% 3.57 1.87s 5.09s 8.40s 8.40s 0.00% 0.538 5.43s 34.58s 55.80s 55.80s 40.00%
Q4.1 5.97 4.69s 5.00s 5.03s 5.03s 0.00% 1.35 2.57s 12.25s 22.17s 22.17s 0.00% 0.675 11.49s 26.55s 44.47s 44.47s 0.00%
Q4.2 15.2 1.28s 1.77s 1.97s 1.97s 0.00% 1.45 2.38s 11.53s 20.72s 20.72s 0.00% 1.3 4.82s 15.25s 23.01s 23.01s 73.30%
Q4.3 26.1 1.05s 1.10s 1.15s 1.15s 0.00% 1.98 2.00s 8.56s 15.11s 15.11s 0.00% 1.38 8.01s 14.11s 21.76s 21.76s 70.00%

Star Schema Benchmark(Parallelism = 50)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 13.6 43.51s 0.00% 2.63 2min18s 0.00% 1.48 5min28s 35.70%
Q1.1 60 488ms 775ms 832ms 832ms 0.00% 4.73 3.28s 6.84s 10.57s 10.57s 0.00% 5.04 3.89s 7.64s 9.92s 9.92s 0.00%
Q1.2 158 107ms 246ms 314ms 314ms 0.00% 5.14 2.46s 6.05s 9.71s 9.71s 0.00% 6.36 3.31s 5.61s 7.78s 7.78s 0.00%
Q1.3 172 123ms 232ms 287ms 287ms 0.00% 5.11 2.28s 6.21s 9.78s 9.78s 0.00% 7.07 4.13s 5.44s 7.04s 7.04s 0.00%
Q2.1 11.8 550ms 4.11s 4.22s 4.22s 0.00% 2.79 2.11s 9.89s 17.90s 17.90s 0.00% 1.31 3.25s 29.38s 38.17s 38.17s 0.00%
Q2.2 10.3 631ms 4.30s 4.83s 4.83s 0.00% 2.75 1.98s 9.99s 18.17s 18.17s 0.00% 1.72 11.50s 21.07s 28.98s 28.98s 0.00%
Q2.3 15.8 379ms 2.31s 3.15s 3.15s 0.00% 3.87 1.81s 7.13s 12.94s 12.94s 0.00% 2.14 10.06s 17.25s 23.37s 23.37s 0.00%
Q3.1 4.75 10.11s 10.48s 10.52s 10.52s 0.00% 1.68 3.01s 16.35s 29.75s 29.75s 0.00% 0.886 26.90s 42.88s 56.42s 56.42s 68.00%
Q3.2 13.2 432ms 3.05s 3.79s 3.79s 0.00% 2.70 1.88s 10.18s 18.53s 18.53s 0.00% 0.959 31.67s 38.50s 52.11s 52.11s 72.00%
Q3.3 16 448ms 2.10s 3.12s 3.12s 0.00% 3.78 1.94s 7.50s 13.22s 13.22s 0.00% 0.95 24.44s 41.67s 52.60s 52.60s 70.00%
Q3.4 63.7 330ms 664ms 784ms 784ms 0.00% 3.63 2.08s 7.82s 13.76s 13.76s 0.00% 0.873 18.55s 42.54s 57.24s 57.24s 66.00%
Q4.1 4.72 2.96s 10.23s 10.59s 10.59s 0.00% 1.39 2.63s 19.22s 35.90s 35.90s 0.00% 0.888 24.83s 40.72s 56.29s 56.29s 0.00%
Q4.2 14.6 1.61s 3.09s 3.43s 3.43s 0.00% 1.52 2.50s 17.77s 32.99s 32.99s 0.00% 2.26 11.63s 17.34s 22.08s 22.08s 94.00%
Q4.3 25.4 1.86s 1.92s 1.97s 1.97s 0.00% 2.11 1.83s 12.68s 23.74s 23.74s 0.00% 1.84 10.39s 17.65s 27.19s 27.19s 94.00%

Star Schema Benchmark FLAT (Parallelism = 10)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 33.90 3.74s 0.00% 5.31 28.66s 0.00% 4.90 20.63s 0.00%
Q1.1 35.10 283ms 284ms 285ms 285ms 0.00% 4.90 1.09s 2.04s 4.38s 4.27s 0.00% 6.20 1.36s 1.50s 1.61s 1.61s 0.00%
Q1.2 200.00 43ms 45ms 48ms 48ms 0.00% 8.42 639ms 1.19s 2.23s 1.73s 0.00% 31.90 78ms 250ms 312ms 312ms 0.00%
Q1.3 100.00 91ms 95ms 100ms 100ms 0.00% 3.89 1.51s 2.56s 4.43s 3.38s 0.00% 41.00 213ms 226ms 243ms 243ms 0.00%
Q2.1 22.20 433ms 447ms 450ms 450ms 0.00% 5.87 1.15s 1.70s 4.05s 2.67s 0.00% 1.81 1.54s 3.96s 5.53s 5.53s 0.00%
Q2.2 25.90 377ms 381ms 386ms 386ms 0.00% 3.94 1.17s 2.53s 3.67s 3.44s 0.00% 3.43 992ms 1.95s 2.92s 2.92s 0.00%
Q2.3 37.50 247ms 255ms 266ms 266ms 0.00% 7.71 585ms 1.29s 2.59s 1.92s 0.00% 5.00 992ms 1.77s 2.00s 2.00s 0.00%
Q3.1 15.60 631ms 635ms 640ms 640ms 0.00% 2.95 2.35s 3.38s 6.72s 4.51s 0.00% 4.60 1.43s 1.96s 2.17s 2.17s 0.00%
Q3.2 27.90 346ms 351ms 358ms 358ms 0.00% 3.57 1.90s 2.79s 4.85s 3.79s 0.00% 2.91 1.14s 2.84s 3.44s 3.44s 0.00%
Q3.3 38.50 187ms 250ms 260ms 260ms 0.00% 7.64 698ms 1.31s 3.27s 1.89s 0.00% 5.16 626ms 1.27s 1.94s 1.94s 0.00%
Q3.4 147.00 52ms 63ms 68ms 68ms 0.00% 9.38 671ms 1.06s 3.00s 1.63s 0.00% 127.00 67ms 72ms 77ms 77ms 0.00%
Q4.1 17.50 564ms 568ms 572ms 572ms 0.00% 4.88 1.28s 2.05s 4.29s 3.07s 0.00% 2.34 2.60s 3.30s 4.28s 4.28s 0.00%
Q4.2 47.60 199ms 207ms 210ms 210ms 0.00% 2.87 2.46s 3.47s 6.21s 4.24s 0.00% 11.00 408ms 683ms 906ms 906ms 0.00%
Q4.3 59.20 156ms 161ms 168ms 168ms 0.00% 3.03 2.38s 3.29s 6.39s 4.35s 0.00% 9.43 530ms 862ms 1.06s 1.06s 0.00%

Star Schema Benchmark FLAT (Parallelism = 30)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 38.80 9.78s 0.00% 5.33 1min25s 0.00% 6.85 37.84s 0.00%
Q1.1 75.40 366ms 383ms 398ms 398ms 0.00% 4.85 3.93s 6.13s 12.76s 11.80s 0.00% 17.50 1.31s 1.51s 1.71s 1.71s 0.00%
Q1.2 462.00 52ms 58ms 65ms 65ms 0.00% 8.62 1.96s 3.46s 5.14s 4.22s 0.00% 137.00 81ms 115ms 210ms 210ms 0.00%
Q1.3 142.00 145ms 191ms 206ms 206ms 0.00% 3.88 4.30s 7.63s 9.72s 9.23s 0.00% 127.00 67ms 119ms 236ms 236ms 0.00%
Q2.1 26.30 1.11s 1.13s 1.14s 1.14s 0.00% 5.91 3.86s 5.03s 7.86s 6.53s 0.00% 4.07 2.41s 5.05s 7.36s 7.36s 0.00%
Q2.2 27.40 1.07s 1.08s 1.09s 1.09s 0.00% 3.96 3.65s 7.47s 10.14s 8.97s 0.00% 4.95 1.99s 4.11s 6.02s 6.02s 0.00%
Q2.3 41.00 526ms 696ms 727ms 727ms 0.00% 7.83 2.19s 3.81s 5.59s 4.70s 0.00% 4.23 1.01s 4.59s 7.09s 7.09s 0.00%
Q3.1 15.70 1.85s 1.88s 1.91s 1.91s 0.00% 2.97 4.09s 9.90s 12.52s 11.31s 0.00% 5.19 1.82s 3.96s 5.78s 5.78s 0.00%
Q3.2 29.60 990ms 1.01s 1.01s 1.01s 0.00% 3.57 3.42s 8.25s 10.47s 9.32s 0.00% 3.78 3.07s 5.17s 7.94s 7.94s 0.00%
Q3.3 42.20 376ms 680ms 709ms 709ms 0.00% 7.70 2.08s 3.86s 5.47s 4.59s 0.00% 6.78 1.11s 2.72s 4.42s 4.42s 0.00%
Q3.4 236.00 115ms 122ms 126ms 126ms 0.00% 9.46 1.83s 3.15s 4.67s 3.83s 0.00% 283.00 53ms 70ms 106ms 106ms 0.00%
Q4.1 18.20 1.63s 1.64s 1.65s 1.65s 0.00% 4.90 2.84s 6.05s 8.26s 6.87s 0.00% 2.82 1.34s 6.97s 10.63s 10.63s 0.00%
Q4.2 52.40 549ms 557ms 571ms 571ms 0.00% 2.88 3.04s 10.21s 12.32s 11.59s 0.00% 13.50 405ms 1.59s 2.21s 2.21s 0.00%
Q4.3 72.30 197ms 350ms 415ms 415ms 0.00% 3.03 3.45s 9.71s 12.05s 11.20s 0.00% 9.71 921ms 1.89s 3.07s 3.07s 0.00%

Star Schema Benchmark FLAT (Parallelism = 50)

场景 SelectDB v4.0.5.1 Snowflake v9.36.2 ClickHouse v25.4
QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error % QPS MIN AVG MAX 99th Error %
TOTAL 39.40 15.68s 0.00% 5.33 2min19s 0.00% 8.27 56.86s 0.00%
Q1.1 91.60 386ms 519ms 544ms 544ms 0.00% 4.82 8.46s 10.18s 18.32s 17.06s 0.00% 18.60 1.84s 2.19s 2.69s 2.69s 0.00%
Q1.2 543.00 45ms 70ms 89ms 89ms 0.00% 8.69 2.28s 5.69s 7.48s 6.50s 0.00% 214.00 81ms 126ms 173ms 173ms 0.00%
Q1.3 152.00 132ms 273ms 326ms 326ms 0.00% 3.89 1.97s 12.53s 16.64s 14.17s 0.00% 260.00 56ms 85ms 140ms 140ms 0.00%
Q2.1 26.40 1.84s 1.88s 1.90s 1.90s 0.00% 5.93 4.07s 8.27s 11.84s 10.06s 0.00% 4.04 3.52s 8.90s 12.31s 12.31s 0.00%
Q2.2 27.60 1.79s 1.80s 1.81s 1.81s 0.00% 3.97 3.83s 12.26s 14.62s 13.42s 0.00% 6.12 3.90s 6.37s 8.10s 8.10s 0.00%
Q2.3 40.90 88ms 1.01s 1.22s 1.22s 0.00% 7.88 2.25s 6.26s 8.07s 7.12s 0.00% 4.85 3.87s 6.86s 10.31s 10.31s 0.00%
Q3.1 16.10 3.08s 3.10s 3.11s 3.11s 0.00% 2.97 4.25s 16.23s 19.38s 18.49s 0.00% 5.83 3.78s 6.18s 8.54s 8.54s 0.00%
Q3.2 29.40 1.68s 1.69s 1.70s 1.70s 0.00% 3.57 3.46s 13.57s 16.39s 15.06s 0.00% 5.02 3.19s 7.53s 9.96s 9.96s 0.00%
Q3.3 42.60 299ms 860ms 1.17s 1.17s 0.00% 7.70 2.02s 6.39s 8.76s 7.32s 0.00% 9.97 1.16s 4.18s 4.97s 4.97s 0.00%
Q3.4 266.00 62ms 178ms 187ms 187ms 0.00% 9.55 1.58s 5.17s 7.16s 5.86s 0.00% 382.00 47ms 69ms 97ms 97ms 0.00%
Q4.1 17.90 2.71s 2.78s 2.79s 2.79s 0.00% 4.88 2.89s 10.01s 11.91s 11.33s 0.00% 3.85 5.04s 8.81s 12.94s 12.94s 0.00%
Q4.2 53.00 921ms 934ms 942ms 942ms 0.00% 2.89 3.73s 16.67s 19.11s 18.41s 0.00% 16.60 1.02s 2.34s 3.01s 3.01s 0.00%
Q4.3 73.90 318ms 592ms 676ms 676ms 0.00% 3.05 3.63s 15.82s 19.09s 17.55s 0.00% 10.20 1.29s 3.21s 4.89s 4.89s 0.00%
                                                                                </div>



Source link

未经允许不得转载:紫竹林-程序员中文网 » 面向 Agent 的高并发分析:Doris vs. Snowflake vs. ClickHouse

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
关于我们 免责申明 意见反馈 隐私政策
程序员中文网:公益在线网站,帮助学习者快速成长!
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的