Doris/StarRocks从入门到放弃：实时 OLAP 的新选择
一、前言：OLAP 江湖新势力如果说 ClickHouse 是 OLAP 界的"老炮儿"，那 Doris 和 StarRocks 就是正在崛起的"新生代"。关系图谱：本文核心问题：Doris/StarRocks 比 ClickHouse 好…
20 0
9 分钟 阅读全文
分类
大数据
共 33 篇文章
ClickHouse从入门到放弃 列存原理：为什么它这么快
一、前言：速度与激情先看一组对比数据：场景MySQLHiveClickHouse10亿行数据 COUNT超时2分钟0.3秒10亿行数据 GROUP BY别想了5分钟1.2秒10亿行数据聚合分析🤯😰😎ClickHouse 的江湖地位：今天我们…
4 0
9 分钟 阅读全文
Spark从入门到放弃⑥之MLlib
前言：大数据时代的机器学习以前做机器学习，数据量小，sklearn一把梭，GPU一跑，齐活。现在呢？Spark MLlib是Spark的机器学习库，专门为大规模分布式机器学习设计。它能处理sklearn处理不了的数据量，同时与Spark S…
15 0
14 分钟 阅读全文
Spark从入门到放弃⑤之部署与运维
前言：从开发到上线的鸿沟很多人觉得，代码在本地跑通了，上线就是分分钟的事。然后他们遇到了这些问题：开发环境 vs 生产环境，中间隔着的不是一条河，是太平洋。本篇是Spark系列的第五篇，我们将聊聊如何把Spark部署到生产环境，以及如何运维…
21 0
11 分钟 阅读全文
Spark从入门到放弃④之Structured Streaming
前言：从"等数据"到"追数据"在批处理的世界里，我们是这样工作的：在实时处理的世界里：Structured Streaming是Spark推出的流处理解决方案，它让你用写批处理的方式写流处理。本篇是Spark系列的第四篇，我们将深入Stru…
21 0
12 分钟 阅读全文
Spark从入门到放弃③之内核原理与调优
前言：从"能跑"到"跑得好"写Spark代码分三个境界：第一境界：代码能跑起来（入门）第二境界：代码跑得又快又稳（进阶）第三境界：代码跑崩了知道怎么修（高手）大多数人停留在第一境界，能跑就行，跑不动就加内存。但当你的任务从处理1GB变成处理…
9 0
13 分钟 阅读全文
Spark从入门到放弃②之SparkSQL深度实战
前言：SQL，永远的神在大数据的世界里，有一个永恒的真理：会写SQL的人，永远不会失业。为什么？因为无论技术怎么变，老板们永远只会说一句话："给我拉一下昨天的GMV数据。"他不会问你用的是RDD还是DataFrame，他只关心数据对不对、快…
8 0
12 分钟 阅读全文
自动化入库链路实战
前言：一个关于"手动挡"的噩梦我曾经带过一个实习生，人很聪明，就是有个"坏习惯"——喜欢手动跑任务。每天早上8点，他准时打开电脑，开始他的"日常仪式"：有一天，他请假了。那天早上，老板打开报表系统，发现数据还是昨天的。然后，我的电话响了..…
6 0
21 分钟 阅读全文
DataX / Flink CDC 实战对比
前言：两个流派的战争在数据同步的江湖里，有两大门派：批量派：讲究稳扎稳打，每天定时把数据从A搬到B，T+1看报表，岁月静好。代表工具：Sqoop（已退休）、DataX（当红炸子鸡）。实时派：追求极致速度，数据产生的那一刻就要同步过去，延迟超…
21 0
14 分钟 阅读全文
Sqoop 快速了解 & 为什么被淘汰
前言：一个关于"搬砖"的故事在大数据的世界里，有一个永恒的问题："MySQL里有10亿条数据，怎么弄到Hadoop里？"如果你是个愣头青，可能会说："写个Python脚本，一条一条读出来，再一条一条写进去呗！"然后你就会发现——跑了三天三夜…
6 0
9 分钟 阅读全文
Hadoop从入门到放弃番外篇之小文件优化
继前三篇之后，我觉得Hadoop还有个很严重的小问题，需要特别列出来，所以有了本篇文章。大数据之Hadoop从入门到放弃之hdfs大数据之Hadoop从入门到放弃之MapReduce大数据之Hadoop从入门到放弃之hadoop的小伙伴们前…
16 0
14 分钟 阅读全文
Hive从入门到放弃
前言：为什么要学Hive还记得第一次接触大数据的场景吗？领导说："我们有10TB的日志数据需要分析。"你信心满满地打开MySQL：然后...数据库就崩了。领导又说："用Hadoop吧。"你打开MapReduce文档，看到要写几百行Java代…
14 0
21 分钟 阅读全文
大数据之Hadoop从入门到放弃之hadoop的小伙伴们
前言：一个关于"抢资源"的故事在讲YARN之前，让我先讲一个真实的故事。那是Hadoop 1.x的时代，我们公司有一个50台机器的Hadoop集群。某天，数据组的小王提交了一个MapReduce任务，跑全年的用户行为分析；与此同时，算法组的…
11 0
16 分钟 阅读全文
大数据之Hadoop从入门到放弃之MapReduce
时间一晃而过，距离第一篇的大数据之Hadoop从入门到放弃（一）已经半年了，现在就连疫情也放开了，笔者刚从高烧中恢复，发烧的过程中害怕自己会不会挂掉，这不想起了未竟的学习事业，惊坐起继续写文。前言：从"存得下"到"算得动"上一篇我们认识了H…
13 0
14 分钟 阅读全文
Kafka从入门到放弃
写在前面作为一个在消息队列坑里摸爬滚打多年的架构师，我可以负责任地告诉你：Kafka 是那种"学的时候觉得简单，用的时候想砸电脑"的技术。第一次接触 Kafka 是在 2018 年，当时领导说："小伙子，我们要上实时数据管道，你去调研一下 …
5 0
16 分钟 阅读全文