Flink从入门到放弃⑥—调优与问题排查：从入门到不秃头
一、前言：生产环境的噩梦1.1 你可能遇到过这些问题1.2 本文内容二、资源配置调优2.1 内存模型2.2 内存配置2.3 内存配置建议2.4 并行度设置并行度配置建议：场景建议Kafka Source= Kafka 分区数普通算子= 全局…
17 0
9 分钟 阅读全文
标签
Flink
共 6 篇文章
Flink从入门到放弃⑤—CDC实时数据集成：告别离线同步
一、前言：为什么需要 CDC？1.1 传统数据同步的痛点1.2 CDC 的价值1.3 什么是 CDC？CDC = Change Data Capture（变更数据捕获）二、CDC 技术方案对比2.1 CDC 实现方式2.2 CDC 工具对比…
20 0
7 分钟 阅读全文
Flink从入门到放弃④:用SQL玩转流处理
一、前言：为什么用 SQL？1.1 DataStream vs SQL同样的功能对比：1.2 Flink SQL 能力二、快速上手2.1 启动 SQL Client2.2 第一个查询2.3 Table API 入门三、动态表与连续查询3.1…
11 0
6 分钟 阅读全文
Flink从入门到放弃③—State与容错：有状态计算的基石
一、前言：为什么需要 State？1.1 无状态 vs 有状态1.2 哪些场景需要 State？1.3 Flink State 的核心价值二、State 类型详解2.1 State 分类2.2 Keyed State 详解Keyed Sta…
19 0
8 分钟 阅读全文
Flink从入门到放弃②-时间语义与窗口：和时间赛跑的艺术
一、前言：时间的困惑1.1 一个让人崩溃的问题这个问题会导致：1.2 本文要解决的问题什么是事件时间、处理时间？Watermark 到底是什么？数据迟到怎么办？各种窗口怎么选？二、三种时间语义2.1 时间语义图解2.2 三种时间详解时间类型…
11 0
9 分钟 阅读全文
Flink从入门到放弃①：流批一体的秘密
一、前言：为什么是 Flink？1.1 流处理框架演进1.2 为什么选择 Flink？1.3 Flink vs Spark Streaming维度Spark StreamingFlink处理模型微批 (Micro-batch)真正流处理延迟…
5 0
7 分钟 阅读全文
没有更多了