Go+Python混合编程:从入门到放弃(然后又捡起来)
前言:为什么我们需要"渣男式"编程作为一个在支付系统和AI领域反复横跳的开发者,我经常面临一个灵魂拷问:"你到底是Go开发还是Python开发?"我的回答是:"小孩子才做选择,成年人当然是全都要。"Go 给了我高并发、低延迟、编译型语言的性…
共 68 篇文章
前言:为什么我们需要"渣男式"编程作为一个在支付系统和AI领域反复横跳的开发者,我经常面临一个灵魂拷问:"你到底是Go开发还是Python开发?"我的回答是:"小孩子才做选择,成年人当然是全都要。"Go 给了我高并发、低延迟、编译型语言的性…
前言以前在做支付系统的入金模块时,遇到了一个经典问题:交易状态流转。你以为状态机就是一把梭?年轻人,图样图森破。当你的状态从 3 个变成 10 个,事件从 5 个变成 20 个,你就会发现自己写的代码比《百年孤独》里的家谱还难理清。今天,我…
一、Service Mesh 是什么?——解决你可能还没有的问题1.1 微服务的痛苦你的单体应用拆成了微服务,恭喜你。现在你有了新的问题:这些微服务之间的通信,带来了一大堆问题:1.2 没有 Service Mesh 之前怎么办?💡 Ser…
一、Kubernetes 是什么?——名字都念不对,怎么学?1.1 先把名字念对Kubernetes(读作 /kuːbərˈnɛtɪs/),源自希腊语,意为"舵手"或"领航员"。简称 K8s——因为 K 和 s 之间有 8 个字母。程序员的…
一、Docker 是什么?——一句话就能说清,但我偏要说一万字1.1 从"在我电脑上能跑"说起每个程序员的职业生涯中,都至少说过一次这句话:"在我电脑上是好的啊?!"这句话的杀伤力,堪比产品经理的"这个需求很简单"。Docker 的出现,就…
一、前言:为什么需要 CDC?1.1 传统数据同步的痛点1.2 CDC 的价值1.3 什么是 CDC?CDC = Change Data Capture(变更数据捕获)二、CDC 技术方案对比2.1 CDC 实现方式2.2 CDC 工具对比…
一、前言:为什么用 SQL?1.1 DataStream vs SQL同样的功能对比:1.2 Flink SQL 能力二、快速上手2.1 启动 SQL Client2.2 第一个查询2.3 Table API 入门三、动态表与连续查询3.1…
一、前言:为什么需要 State?1.1 无状态 vs 有状态1.2 哪些场景需要 State?1.3 Flink State 的核心价值二、State 类型详解2.1 State 分类2.2 Keyed State 详解Keyed Sta…
一、前言:时间的困惑1.1 一个让人崩溃的问题这个问题会导致:1.2 本文要解决的问题什么是事件时间、处理时间?Watermark 到底是什么?数据迟到怎么办?各种窗口怎么选?二、三种时间语义2.1 时间语义图解2.2 三种时间详解时间类型…
一、前言:为什么是 Flink?1.1 流处理框架演进1.2 为什么选择 Flink?1.3 Flink vs Spark Streaming维度Spark StreamingFlink处理模型微批 (Micro-batch)真正流处理延迟…
前言:支付人的中东奇遇在国内做支付,你可能习惯了微信支付宝的"秒到账",习惯了银联的"闭眼刷",习惯了用户投诉"钱怎么还没到"时甩出一句"T+1,亲"。然后你来到阿联酋,发现这里的支付生态完全是另一个次元:没有支付宝,没有微信支付信用卡是王…
一、前言:为什么需要 Iceberg?1.1 Hive 的历史包袱1.2 Netflix 的挑战1.3 Iceberg 发展历程二、Iceberg 核心设计2.1 表格式 vs 存储格式表格式的职责:职责说明元数据管理追踪哪些文件属于这张表…
一、前言:数据湖的困境1.1 传统数据湖的痛点1.2 Hudi 的诞生Hudi = Hadoop Upserts Deletes and IncrementalsUber 的工程师发现:打车订单需要频繁更新状态(下单→接单→进行中→完成),…
一、前言:数据架构的演进之路你可能遇到过这些场景:本文将回答的核心问题:如何设计一个既能支持离线分析,又能支持实时查询的数据架构?二、传统批处理架构的困境2.1 经典批处理架构2.2 批处理的痛点三、Lambda 架构:双轨并行3.1 La…
一、前言:为什么要了解 DolphinScheduler?DolphinScheduler 的独特定位:特点AirflowDolphinScheduler任务定义Python 代码可视化拖拽 + 代码上手难度需要 Python 基础小白友好…