Airflow从入门到放弃系列：以代码定义工作流的魅力
一、前言：为什么需要工作流调度？还记得你刚入行时是怎么跑定时任务的吗？Crontab 的致命问题：工作流调度器的价值：二、Airflow 是什么？2.1 一句话定义Airflow = 以 Python 代码定义工作流（DAG）的分布式任务调…
3 0
10 分钟 阅读全文
标签
从入门到放弃
共 68 篇文章
Pytorch从入门到放弃
第一章：入门——一切看起来都很美好1.1 安装：第一个坑看起来很简单对吧？直到你发现：CPU 版本装了，但你有 GPUCUDA 版本不对，torch 和 CUDA 版本不兼容conda 和 pip 混用，环境彻底乱了正确姿势：去 pytor…
5 0
4 分钟 阅读全文
Doris/StarRocks从入门到放弃：实时 OLAP 的新选择
一、前言：OLAP 江湖新势力如果说 ClickHouse 是 OLAP 界的"老炮儿"，那 Doris 和 StarRocks 就是正在崛起的"新生代"。关系图谱：本文核心问题：Doris/StarRocks 比 ClickHouse 好…
20 0
9 分钟 阅读全文
ClickHouse从入门到放弃 列存原理：为什么它这么快
一、前言：速度与激情先看一组对比数据：场景MySQLHiveClickHouse10亿行数据 COUNT超时2分钟0.3秒10亿行数据 GROUP BY别想了5分钟1.2秒10亿行数据聚合分析🤯😰😎ClickHouse 的江湖地位：今天我们…
4 0
9 分钟 阅读全文
Spark从入门到放弃⑥之MLlib
前言：大数据时代的机器学习以前做机器学习，数据量小，sklearn一把梭，GPU一跑，齐活。现在呢？Spark MLlib是Spark的机器学习库，专门为大规模分布式机器学习设计。它能处理sklearn处理不了的数据量，同时与Spark S…
15 0
14 分钟 阅读全文
Spark从入门到放弃⑤之部署与运维
前言：从开发到上线的鸿沟很多人觉得，代码在本地跑通了，上线就是分分钟的事。然后他们遇到了这些问题：开发环境 vs 生产环境，中间隔着的不是一条河，是太平洋。本篇是Spark系列的第五篇，我们将聊聊如何把Spark部署到生产环境，以及如何运维…
21 0
11 分钟 阅读全文
Spark从入门到放弃④之Structured Streaming
前言：从"等数据"到"追数据"在批处理的世界里，我们是这样工作的：在实时处理的世界里：Structured Streaming是Spark推出的流处理解决方案，它让你用写批处理的方式写流处理。本篇是Spark系列的第四篇，我们将深入Stru…
21 0
12 分钟 阅读全文
Spark从入门到放弃③之内核原理与调优
前言：从"能跑"到"跑得好"写Spark代码分三个境界：第一境界：代码能跑起来（入门）第二境界：代码跑得又快又稳（进阶）第三境界：代码跑崩了知道怎么修（高手）大多数人停留在第一境界，能跑就行，跑不动就加内存。但当你的任务从处理1GB变成处理…
9 0
13 分钟 阅读全文
Spark从入门到放弃②之SparkSQL深度实战
前言：SQL，永远的神在大数据的世界里，有一个永恒的真理：会写SQL的人，永远不会失业。为什么？因为无论技术怎么变，老板们永远只会说一句话："给我拉一下昨天的GMV数据。"他不会问你用的是RDD还是DataFrame，他只关心数据对不对、快…
8 0
12 分钟 阅读全文
Hadoop从入门到放弃番外篇之小文件优化
继前三篇之后，我觉得Hadoop还有个很严重的小问题，需要特别列出来，所以有了本篇文章。大数据之Hadoop从入门到放弃之hdfs大数据之Hadoop从入门到放弃之MapReduce大数据之Hadoop从入门到放弃之hadoop的小伙伴们前…
16 0
14 分钟 阅读全文
Hive从入门到放弃
前言：为什么要学Hive还记得第一次接触大数据的场景吗？领导说："我们有10TB的日志数据需要分析。"你信心满满地打开MySQL：然后...数据库就崩了。领导又说："用Hadoop吧。"你打开MapReduce文档，看到要写几百行Java代…
14 0
21 分钟 阅读全文
大数据之Hadoop从入门到放弃之hadoop的小伙伴们
前言：一个关于"抢资源"的故事在讲YARN之前，让我先讲一个真实的故事。那是Hadoop 1.x的时代，我们公司有一个50台机器的Hadoop集群。某天，数据组的小王提交了一个MapReduce任务，跑全年的用户行为分析；与此同时，算法组的…
11 0
16 分钟 阅读全文
大数据之Hadoop从入门到放弃之MapReduce
时间一晃而过，距离第一篇的大数据之Hadoop从入门到放弃（一）已经半年了，现在就连疫情也放开了，笔者刚从高烧中恢复，发烧的过程中害怕自己会不会挂掉，这不想起了未竟的学习事业，惊坐起继续写文。前言：从"存得下"到"算得动"上一篇我们认识了H…
13 0
14 分钟 阅读全文
Maven从入门到放弃
写在前面如果说 Java 开发者的一生是一部史诗，那 Maven 绝对是其中最虐心的章节之一。它像极了你的前任：刚认识时觉得"这人真不错，帮我管理一切"，深入了解后才发现"卧槽这依赖地狱是什么鬼"。但不管怎么说，在 Gradle 还没有完全…
8 0
11 分钟 阅读全文
Go-zero从入门到放弃
如果你想使用Go语言来开发微服务，你的选择无非就是go-micro、go-kit还有就是Go-zero，前两个我没用过，不做评价，今天重点说明一下Go-zero这个框架.为何要使用Go-zero首先go-zero对新手非常友好，上手快；其次…
1 0
2 分钟 阅读全文