分类

AI/大数据

共 113 篇文章

AI/大数据

DeepSeek 从入门到放弃

前言：这个世界怎么了？2025 年 1 月 20 日，DeepSeek-R1 正式发布。然后，我的朋友圈炸了。我的 Twitter 炸了。我的技术群炸了。连我妈都问我："儿子，那个深度求索是不是很厉害？"我：？？？当你妈都开始关心 AI 的…

7 0 11 分钟 阅读全文
AI/大数据

机器学习从入门到放弃

从本篇开始，笔者将开始机器学习之旅，持续更新关于机器学习的入门知识，对笔者个人所学习的内容做总结梳理，同时也希望能够实现写博客的初衷帮到有需要的读者。特别说明，本人高数挂过科，数学水平非常有限，而且半路出家，本博客重实践而轻理论，若出现纰漏…

6 1 6 分钟 阅读全文
AI/大数据

Flink从入门到放弃④:用SQL玩转流处理

一、前言：为什么用 SQL？1.1 DataStream vs SQL同样的功能对比：1.2 Flink SQL 能力二、快速上手2.1 启动 SQL Client2.2 第一个查询2.3 Table API 入门三、动态表与连续查询3.1…

11 0 6 分钟 阅读全文
AI/大数据

Flink从入门到放弃②-时间语义与窗口：和时间赛跑的艺术

一、前言：时间的困惑1.1 一个让人崩溃的问题这个问题会导致：1.2 本文要解决的问题什么是事件时间、处理时间？Watermark 到底是什么？数据迟到怎么办？各种窗口怎么选？二、三种时间语义2.1 时间语义图解2.2 三种时间详解时间类型…

11 0 9 分钟 阅读全文
AI/大数据

Iceberg 从入门到放弃：表格式演进与时间旅行

一、前言：为什么需要 Iceberg？1.1 Hive 的历史包袱1.2 Netflix 的挑战1.3 Iceberg 发展历程二、Iceberg 核心设计2.1 表格式 vs 存储格式表格式的职责：职责说明元数据管理追踪哪些文件属于这张表…

14 0 8 分钟 阅读全文
AI/大数据

Hudi从入门到放弃：增量数据湖的实现原理

一、前言：数据湖的困境1.1 传统数据湖的痛点1.2 Hudi 的诞生Hudi = Hadoop Upserts Deletes and IncrementalsUber 的工程师发现：打车订单需要频繁更新状态（下单→接单→进行中→完成），…

6 0 8 分钟 阅读全文
AI/大数据

实时数仓架构从入门到放弃：Lambda vs Kappa之争

一、前言：数据架构的演进之路你可能遇到过这些场景：本文将回答的核心问题：如何设计一个既能支持离线分析，又能支持实时查询的数据架构？二、传统批处理架构的困境2.1 经典批处理架构2.2 批处理的痛点三、Lambda 架构：双轨并行3.1 La…

8 0 8 分钟 阅读全文
AI/大数据

调度器选型对比：Airflow vs DolphinScheduler vs XXL-Job

一、前言：调度器江湖本文将对比的调度器：调度器定位背景Airflow工作流编排平台Apache 顶级项目，Airbnb 开源DolphinScheduler分布式调度平台Apache 顶级项目，国产开源XXL-Job分布式任务调度国产开源，…

24 0 8 分钟 阅读全文
Enter 搜索Esc 关闭