Spark从入门到放弃⑥之MLlib
前言：大数据时代的机器学习以前做机器学习，数据量小，sklearn一把梭，GPU一跑，齐活。现在呢？Spark MLlib是Spark的机器学习库，专门为大规模分布式机器学习设计。它能处理sklearn处理不了的数据量，同时与Spark S…
3 0
14 分钟 阅读全文
标签
Spark
共 6 篇文章
Spark从入门到放弃⑤之部署与运维
前言：从开发到上线的鸿沟很多人觉得，代码在本地跑通了，上线就是分分钟的事。然后他们遇到了这些问题：开发环境 vs 生产环境，中间隔着的不是一条河，是太平洋。本篇是Spark系列的第五篇，我们将聊聊如何把Spark部署到生产环境，以及如何运维…
5 0
11 分钟 阅读全文
Spark从入门到放弃④之Structured Streaming
前言：从"等数据"到"追数据"在批处理的世界里，我们是这样工作的：在实时处理的世界里：Structured Streaming是Spark推出的流处理解决方案，它让你用写批处理的方式写流处理。本篇是Spark系列的第四篇，我们将深入Stru…
2 0
12 分钟 阅读全文
Spark从入门到放弃③之内核原理与调优
前言：从"能跑"到"跑得好"写Spark代码分三个境界：第一境界：代码能跑起来（入门）第二境界：代码跑得又快又稳（进阶）第三境界：代码跑崩了知道怎么修（高手）大多数人停留在第一境界，能跑就行，跑不动就加内存。但当你的任务从处理1GB变成处理…
2 0
13 分钟 阅读全文
Spark从入门到放弃②之SparkSQL深度实战
前言：SQL，永远的神在大数据的世界里，有一个永恒的真理：会写SQL的人，永远不会失业。为什么？因为无论技术怎么变，老板们永远只会说一句话："给我拉一下昨天的GMV数据。"他不会问你用的是RDD还是DataFrame，他只关心数据对不对、快…
2 0
12 分钟 阅读全文
Spark从入门到放弃
写在前面自从上海疫情被封在家2个月之后，缺吃少用，天天发牢骚骂娘，我焦虑的头发又少了不少。不过因祸得福，时间是比以前多了不少，这不又研究起了心心念念的Spark。Spark？不就是火花嘛，当初我可是要一周从入门到精通的。一个月后的今天，我坐…
2 0
9 分钟 阅读全文
没有更多了