标签

大数据

共 31 篇文章

AI/大数据

Flink从入门到放弃④:用SQL玩转流处理

一、前言：为什么用 SQL？1.1 DataStream vs SQL同样的功能对比：1.2 Flink SQL 能力二、快速上手2.1 启动 SQL Client2.2 第一个查询2.3 Table API 入门三、动态表与连续查询3.1…

11 0 6 分钟 阅读全文
AI/大数据

Flink从入门到放弃②-时间语义与窗口：和时间赛跑的艺术

一、前言：时间的困惑1.1 一个让人崩溃的问题这个问题会导致：1.2 本文要解决的问题什么是事件时间、处理时间？Watermark 到底是什么？数据迟到怎么办？各种窗口怎么选？二、三种时间语义2.1 时间语义图解2.2 三种时间详解时间类型…

11 0 9 分钟 阅读全文
AI/大数据

Iceberg 从入门到放弃：表格式演进与时间旅行

一、前言：为什么需要 Iceberg？1.1 Hive 的历史包袱1.2 Netflix 的挑战1.3 Iceberg 发展历程二、Iceberg 核心设计2.1 表格式 vs 存储格式表格式的职责：职责说明元数据管理追踪哪些文件属于这张表…

14 0 8 分钟 阅读全文
AI/大数据

Hudi从入门到放弃：增量数据湖的实现原理

一、前言：数据湖的困境1.1 传统数据湖的痛点1.2 Hudi 的诞生Hudi = Hadoop Upserts Deletes and IncrementalsUber 的工程师发现：打车订单需要频繁更新状态（下单→接单→进行中→完成），…

6 0 8 分钟 阅读全文
AI/大数据

实时数仓架构从入门到放弃：Lambda vs Kappa之争

一、前言：数据架构的演进之路你可能遇到过这些场景：本文将回答的核心问题：如何设计一个既能支持离线分析，又能支持实时查询的数据架构？二、传统批处理架构的困境2.1 经典批处理架构2.2 批处理的痛点三、Lambda 架构：双轨并行3.1 La…

8 0 8 分钟 阅读全文
AI/大数据

调度器选型对比：Airflow vs DolphinScheduler vs XXL-Job

一、前言：调度器江湖本文将对比的调度器：调度器定位背景Airflow工作流编排平台Apache 顶级项目，Airbnb 开源DolphinScheduler分布式调度平台Apache 顶级项目，国产开源XXL-Job分布式任务调度国产开源，…

24 0 8 分钟 阅读全文
AI/大数据

Airflow从入门到放弃系列：以代码定义工作流的魅力

一、前言：为什么需要工作流调度？还记得你刚入行时是怎么跑定时任务的吗？Crontab 的致命问题：工作流调度器的价值：二、Airflow 是什么？2.1 一句话定义Airflow = 以 Python 代码定义工作流（DAG）的分布式任务调…

3 0 10 分钟 阅读全文
AI/大数据

OLAP 选型指南：ClickHouse vs Doris vs Presto

一、前言：OLAP 选型之痛每个团队选 OLAP 引擎时都会纠结：ClickHouse 性能强，但运维复杂Doris 好维护，但性能比 ClickHouse 差一点？Presto 灵活，但到底是查询引擎还是 OLAP？还有 Druid、Ky…

19 0 10 分钟 阅读全文
Enter 搜索Esc 关闭