一、前言：速度与激情

先看一组对比数据：

ClickHouse 的江湖地位：

今天我们要回答的核心问题：

ClickHouse 凭什么这么快？它用了什么黑科技？

二、列式存储：OLAP 的基石

2.1 行存 vs 列存

2.2 为什么列存更适合 OLAP？

列存的三大优势：

2.3 压缩效果对比

三、ClickHouse 核心架构

3.1 整体架构

3.2 MergeTree 引擎：ClickHouse 的灵魂

四、稀疏索引：以少胜多的艺术

4.1 稀疏索引 vs 稠密索引

4.2 稀疏索引工作原理

假设有一张表按 user_id 排序，数据如下：

Granule 0 (第0-8191行):    user_id = 1000 ~ 1820
Granule 1 (第8192-16383行): user_id = 1821 ~ 2650  
Granule 2 (第16384-24575行): user_id = 2651 ~ 3480
...

索引内容只存储每个 Granule 的起始值：

4.3 为什么选择 8192？

五、数据压缩：存储的黑科技

5.1 ClickHouse 压缩流程

5.2 各种编码方式详解

Delta 编码：处理递增序列

DoubleDelta 编码：处理时间戳

LowCardinality：枚举值优化

-- 假设 status 字段只有 5 种值
-- 原始存储：每行存完整字符串
"PENDING", "PROCESSING", "COMPLETED", "FAILED", "CANCELLED"

-- LowCardinality 存储：字典 + 索引
字典：{0: "PENDING", 1: "PROCESSING", 2: "COMPLETED", 3: "FAILED", 4: "CANCELLED"}
数据：0, 0, 1, 2, 2, 2, 3, 1, 2, 4...  （每个只占 1 字节）

5.3 压缩效果实测

六、向量化执行：榨干 CPU 性能

6.1 传统逐行处理 vs 向量化处理

6.2 SIMD 是什么？

SIMD = Single Instruction, Multiple Data（单指令多数据）

6.3 ClickHouse 向量化实现

// 伪代码：传统标量处理
for (int i = 0; i < n; i++) {
    result[i] = a[i] + b[i];  // 一次处理1个
}

// 伪代码：ClickHouse向量化处理
for (int i = 0; i < n; i += 8) {
    __m256i va = _mm256_loadu_si256(&a[i]);  // 加载8个int
    __m256i vb = _mm256_loadu_si256(&b[i]);
    __m256i vr = _mm256_add_epi32(va, vb);   // 一条指令加8个
    _mm256_storeu_si256(&result[i], vr);
}

6.4 向量化带来的收益

七、数据分片与副本

7.1 分布式架构

7.2 分布式查询执行

7.3 分片键选择

八、MergeTree 引擎家族

8.1 引擎类型一览

8.2 ReplacingMergeTree 示例

-- 场景：用户表，需要按user_id去重，保留最新版本
CREATE TABLE users (
    user_id UInt64,
    name String,
    age UInt8,
    update_time DateTime
) ENGINE = ReplacingMergeTree(update_time)  -- 按update_time保留最新
ORDER BY user_id;

-- 插入数据（假设同一用户更新多次）
INSERT INTO users VALUES (1, '张三', 25, '2024-01-01 10:00:00');
INSERT INTO users VALUES (1, '张三', 26, '2024-01-02 10:00:00');  -- 更新年龄

-- 注意：去重在后台Merge时发生，不是立即生效
-- 强制去重查询：
SELECT * FROM users FINAL WHERE user_id = 1;

8.3 SummingMergeTree 示例

-- 场景：实时统计每日每商品的销售额
CREATE TABLE daily_sales (
    date Date,
    product_id UInt64,
    sales_count UInt64,
    sales_amount Decimal(18,2)
) ENGINE = SummingMergeTree()  -- 自动SUM数值列
ORDER BY (date, product_id);

-- 插入多条同一天同一商品的数据
INSERT INTO daily_sales VALUES ('2024-01-15', 1001, 10, 100.00);
INSERT INTO daily_sales VALUES ('2024-01-15', 1001, 5, 50.00);
INSERT INTO daily_sales VALUES ('2024-01-15', 1001, 8, 80.00);

-- Merge后自动汇总为一条：
-- 2024-01-15, 1001, 23, 230.00

九、实战：ClickHouse 建表最佳实践

9.1 完整建表示例

-- 电商订单明细表
CREATE TABLE order_detail (
    -- 时间字段
    order_time DateTime CODEC(DoubleDelta),
    order_date Date DEFAULT toDate(order_time),
    
    -- 业务主键
    order_id UInt64,
    order_no String,
    
    -- 维度字段（低基数）
    user_id UInt64,
    product_id UInt64,
    category_id UInt32,
    province LowCardinality(String),  -- 省份只有34个
    city LowCardinality(String),
    order_status LowCardinality(String),
    pay_type LowCardinality(String),
    
    -- 度量字段
    quantity UInt32,
    unit_price Decimal(10,2),
    total_amount Decimal(12,2),
    discount_amount Decimal(10,2),
    
    -- 扩展字段
    extra_info String CODEC(ZSTD(3))  -- JSON字符串，高压缩
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(order_date)  -- 按月分区
ORDER BY (order_date, user_id, order_id)  -- 排序键
SETTINGS 
    index_granularity = 8192,  -- 索引粒度
    merge_with_ttl_timeout = 86400;  -- TTL合并间隔

-- 添加TTL：180天后删除
ALTER TABLE order_detail 
MODIFY TTL order_date + INTERVAL 180 DAY;

9.2 关键设计要点

9.3 常见踩坑

十、ClickHouse 查询优化

10.1 EXPLAIN 分析

EXPLAIN SYNTAX  -- 查看改写后的SQL
SELECT * FROM order_detail WHERE order_date = '2024-01-15';

EXPLAIN PLAN    -- 查看执行计划
SELECT user_id, SUM(total_amount) 
FROM order_detail 
WHERE order_date >= '2024-01-01'
GROUP BY user_id;

EXPLAIN PIPELINE  -- 查看执行流水线
SELECT * FROM order_detail WHERE user_id = 12345;

10.2 常用优化技巧

-- 1. 利用PREWHERE提前过滤（比WHERE更早执行）
SELECT * FROM order_detail 
PREWHERE order_status = 'COMPLETED'  -- 先按此条件过滤
WHERE total_amount > 100;

-- 2. 使用物化视图预聚合
CREATE MATERIALIZED VIEW mv_daily_sales
ENGINE = SummingMergeTree()
ORDER BY (order_date, product_id)
AS SELECT 
    order_date,
    product_id,
    count() AS order_count,
    sum(total_amount) AS total_sales
FROM order_detail
GROUP BY order_date, product_id;

-- 3. 使用投影（Projection）
ALTER TABLE order_detail
ADD PROJECTION proj_by_product (
    SELECT product_id, order_date, sum(total_amount)
    GROUP BY product_id, order_date
);

10.3 查询性能优化清单

十一、ClickHouse vs 传统数据库

11.1 能力对比

11.2 适用场景

十二、总结：ClickHouse 为什么快？

一句话总结：

ClickHouse = 列式存储 + 稀疏索引 + 极致压缩 + 向量化执行 + 分布式并行

把 OLAP 场景的每一个环节都做到极致，所以它快得飞起！🚀