Flink从入门到放弃⑥—调优与问题排查：从入门到不秃头
一、前言：生产环境的噩梦1.1 你可能遇到过这些问题graph TD A凌晨告警 -- B"Checkpoint 失败" A -- C"背压严重" A -- D"OOM 崩溃" A -- E"数据延迟" A -- F"作业重启" B & C…
9 0
9 分钟 阅读全文
标签
大数据
共 31 篇文章
Flink从入门到放弃⑤—CDC实时数据集成：告别离线同步
一、前言：为什么需要 CDC？1.1 传统数据同步的痛点graph TD A传统离线同步 -- BT+1 延迟 A -- C全量同步耗时 A -- D无法捕获删除 A -- E业务库压力大 B -- B1"今天的数据明天才能分析" C --…
11 0
7 分钟 阅读全文
Flink从入门到放弃④:用SQL玩转流处理
一、前言：为什么用 SQL？1.1 DataStream vs SQLgraph LR subgraph "DataStream API" A1"编写 Java/Scala 代码" A2"类型安全" A3"灵活但复杂" A4"需要编译打包"…
8 0
6 分钟 阅读全文
Flink从入门到放弃②-时间语义与窗口：和时间赛跑的艺术
一、前言：时间的困惑1.1 一个让人崩溃的问题sequenceDiagram participant 事件发生 participant Kafka participant Flink participant 结果 Note over 事件发…
8 0
9 分钟 阅读全文
Flink从入门到放弃①：流批一体的秘密
一、前言：为什么是 Flink？1.1 流处理框架演进timeline title 流处理框架演进史 2011 : Storm (Twitter) - 第一代流处理 2013 : Spark Streaming - 微批处理 2014 : …
3 0
7 分钟 阅读全文
OOM 避坑指南：大数据开发中那些让人头秃的内存溢出案例
一、前言：OOM 的噩梦graph TD A凌晨3点 -- B手机响了 B -- C"告警：Spark任务失败java.lang.OutOfMemoryError" C -- D"你：😱" D -- E"重启试试？" E -- F"又挂了"…
4 0
9 分钟 阅读全文
湖仓一体选型从入门到放弃系列：Hudi vs Iceberg vs Delta Lake
一、前言：三足鼎立的数据湖江湖graph TB subgraph "数据湖三巨头" AHudiUber -- A1"增量处理王者CDC 场景首选" BIcebergNetflix -- B1"开放标准之选多引擎友好" CDelta Lake…
9 0
7 分钟 阅读全文
Iceberg 从入门到放弃：表格式演进与时间旅行
一、前言：为什么需要 Iceberg？1.1 Hive 的历史包袱graph TD AHive表的问题 -- B元数据瓶颈 A -- C分区爆炸 A -- DSchema演进困难 A -- E无法安全并发写入 B -- B1"Hive Me…
1 0
8 分钟 阅读全文
Hudi从入门到放弃：增量数据湖的实现原理
一、前言：数据湖的困境1.1 传统数据湖的痛点graph TD A传统数据湖痛点 -- B不支持更新删除 A -- C缺乏事务支持 A -- D小文件问题 A -- E没有Schema演进 B -- B1"HDFS/S3 只能追加更新一条记…
2 0
8 分钟 阅读全文
实时数仓架构从入门到放弃：Lambda vs Kappa之争
一、前言：数据架构的演进之路timeline title 数据架构演进史 2000s : 数据仓库时代 (Teradata/Oracle) 2006 : Hadoop 诞生 (批处理为王) 2011 : Lambda 架构提出 (Natha…
4 0
8 分钟 阅读全文
调度器选型对比：Airflow vs DolphinScheduler vs XXL-Job
一、前言：调度器江湖graph LR A你 -- B{选择调度器} B -- C"Airflow国际范儿" B -- D"DolphinScheduler国产之光" B -- E"XXL-Job轻量级" B -- F"Azkaban老前辈"…
11 0
8 分钟 阅读全文
Airflow从入门到放弃系列：以代码定义工作流的魅力
一、前言：为什么需要工作流调度？还记得你刚入行时是怎么跑定时任务的吗？Crontab 的致命问题：graph TD ACrontab的痛点 -- B无依赖管理 A -- C无失败重试 A -- D无可视化监控 A -- E无历史记录 B -…
1 0
10 分钟 阅读全文
OLAP 选型指南：ClickHouse vs Doris vs Presto
一、前言：OLAP 选型之痛graph TD A老板 --要实时报表 B你 C架构师 --要低延迟 B D运维 --要好维护 B E财务 --要省钱 B B -- F"我太难了 😭"每个团队选 OLAP 引擎时都会纠结：ClickHouse…
12 0
10 分钟 阅读全文
Doris/StarRocks从入门到放弃：实时 OLAP 的新选择
一、前言：OLAP 江湖新势力如果说 ClickHouse 是 OLAP 界的"老炮儿"，那 Doris 和 StarRocks 就是正在崛起的"新生代"。timeline title OLAP引擎发展史 2008 : Vertica (商…
8 0
9 分钟 阅读全文
ClickHouse从入门到放弃 列存原理：为什么它这么快
一、前言：速度与激情先看一组对比数据：场景MySQLHiveClickHouse10亿行数据 COUNT超时2分钟0.3秒10亿行数据 GROUP BY别想了5分钟1.2秒10亿行数据聚合分析🤯😰😎ClickHouse 的江湖地位：grap…
3 0
9 分钟 阅读全文