Airflow从入门到放弃系列：以代码定义工作流的魅力
一、前言：为什么需要工作流调度？还记得你刚入行时是怎么跑定时任务的吗？Crontab 的致命问题：工作流调度器的价值：二、Airflow 是什么？2.1 一句话定义Airflow = 以 Python 代码定义工作流（DAG）的分布式任务调…
3 0
10 分钟 阅读全文
分类
AI/大数据
共 113 篇文章
Pytorch从入门到放弃
第一章：入门——一切看起来都很美好1.1 安装：第一个坑看起来很简单对吧？直到你发现：CPU 版本装了，但你有 GPUCUDA 版本不对，torch 和 CUDA 版本不兼容conda 和 pip 混用，环境彻底乱了正确姿势：去 pytor…
5 0
4 分钟 阅读全文
OLAP 选型指南：ClickHouse vs Doris vs Presto
一、前言：OLAP 选型之痛每个团队选 OLAP 引擎时都会纠结：ClickHouse 性能强，但运维复杂Doris 好维护，但性能比 ClickHouse 差一点？Presto 灵活，但到底是查询引擎还是 OLAP？还有 Druid、Ky…
19 0
10 分钟 阅读全文
Doris/StarRocks从入门到放弃：实时 OLAP 的新选择
一、前言：OLAP 江湖新势力如果说 ClickHouse 是 OLAP 界的"老炮儿"，那 Doris 和 StarRocks 就是正在崛起的"新生代"。关系图谱：本文核心问题：Doris/StarRocks 比 ClickHouse 好…
20 0
9 分钟 阅读全文
ClickHouse从入门到放弃 列存原理：为什么它这么快
一、前言：速度与激情先看一组对比数据：场景MySQLHiveClickHouse10亿行数据 COUNT超时2分钟0.3秒10亿行数据 GROUP BY别想了5分钟1.2秒10亿行数据聚合分析🤯😰😎ClickHouse 的江湖地位：今天我们…
4 0
9 分钟 阅读全文
统计学习及监督学习概论
统计学习的定义：统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习的三要素：统计学习方法由模型、策略、算法三部分组成。其中，模型假设数据生成的随机过程，策略描述如何进行模型选择，算法包括具体的学习…
3 0
2 分钟 阅读全文
Spark从入门到放弃⑥之MLlib
前言：大数据时代的机器学习以前做机器学习，数据量小，sklearn一把梭，GPU一跑，齐活。现在呢？Spark MLlib是Spark的机器学习库，专门为大规模分布式机器学习设计。它能处理sklearn处理不了的数据量，同时与Spark S…
15 0
14 分钟 阅读全文
Scikit-learn：从入门到放弃
第一章：相遇——"这也太简单了吧！"每个机器学习初学者都曾有过这样的蜜月期。三行代码，一个模型。你开始觉得自己是天选之子，机器学习不过如此。你甚至开始在简历上写"精通机器学习"。这时候的你，笑容灿烂，头发茂密。第二章：热恋——"Sklear…
3 0
5 分钟 阅读全文
Spark从入门到放弃⑤之部署与运维
前言：从开发到上线的鸿沟很多人觉得，代码在本地跑通了，上线就是分分钟的事。然后他们遇到了这些问题：开发环境 vs 生产环境，中间隔着的不是一条河，是太平洋。本篇是Spark系列的第五篇，我们将聊聊如何把Spark部署到生产环境，以及如何运维…
21 0
11 分钟 阅读全文
机器学习从入门到放弃
本文属于《从入门到放弃》系列，但这次我希望你能坚持到最后再放弃，至少也要放弃在一个体面的位置。前言：为什么我又开始学机器学习了在B站偶尔刷到三个月从零入门深度学习，保姆级学习路线图，看完之后深受启发。说"深受启发"是客气的，实际上是深受刺激…
16 0
12 分钟 阅读全文
从0开始编写阿法狗
发现这玩意对我太难了，我后面一段时间再来搞他。参考资料Mastering the game of Go without human knowledgeAlphaGOZero-python-tensorflow
2 0
1 分钟 阅读全文
Spark从入门到放弃④之Structured Streaming
前言：从"等数据"到"追数据"在批处理的世界里，我们是这样工作的：在实时处理的世界里：Structured Streaming是Spark推出的流处理解决方案，它让你用写批处理的方式写流处理。本篇是Spark系列的第四篇，我们将深入Stru…
21 0
12 分钟 阅读全文
Spark从入门到放弃③之内核原理与调优
前言：从"能跑"到"跑得好"写Spark代码分三个境界：第一境界：代码能跑起来（入门）第二境界：代码跑得又快又稳（进阶）第三境界：代码跑崩了知道怎么修（高手）大多数人停留在第一境界，能跑就行，跑不动就加内存。但当你的任务从处理1GB变成处理…
9 0
13 分钟 阅读全文
机器学习(2)–k近邻算法
什么是kNN所谓近朱者赤近墨者黑，讲的是与什么样的人接近就会变成什么人，而本篇我们要介绍的k近邻(K-Nearest Neighbors, KNN)算法也是这样的原理，取k个距离最近的样本判断当前样本属于哪类值。knn的流程计算距离的方法k…
4 0
1 分钟 阅读全文
Spark从入门到放弃②之SparkSQL深度实战
前言：SQL，永远的神在大数据的世界里，有一个永恒的真理：会写SQL的人，永远不会失业。为什么？因为无论技术怎么变，老板们永远只会说一句话："给我拉一下昨天的GMV数据。"他不会问你用的是RDD还是DataFrame，他只关心数据对不对、快…
8 0
12 分钟 阅读全文