大数据

Spark从入门到放弃⑥之MLlib

前言：大数据时代的机器学习以前做机器学习，数据量小，sklearn一把梭，GPU一跑，齐活。现在呢？Spark MLlib是Spark的机器学习库，专门为大规模分布式机器学习设计。它能处理sklearn处理不了的数据量，同时与Spark S…

Spark从入门到放弃⑤之部署与运维

前言：从开发到上线的鸿沟很多人觉得，代码在本地跑通了，上线就是分分钟的事。然后他们遇到了这些问题：开发环境 vs 生产环境，中间隔着的不是一条河，是太平洋。本篇是Spark系列的第五篇，我们将聊聊如何把Spark部署到生产环境，以及如何运维…

Spark从入门到放弃④之Structured Streaming

前言：从"等数据"到"追数据"在批处理的世界里，我们是这样工作的：在实时处理的世界里：Structured Streaming是Spark推出的流处理解决方案，它让你用写批处理的方式写流处理。本篇是Spark系列的第四篇，我们将深入Stru…

Spark从入门到放弃③之内核原理与调优

前言：从"能跑"到"跑得好"写Spark代码分三个境界：第一境界：代码能跑起来（入门）第二境界：代码跑得又快又稳（进阶）第三境界：代码跑崩了知道怎么修（高手）大多数人停留在第一境界，能跑就行，跑不动就加内存。但当你的任务从处理1GB变成处理…

自动化入库链路实战

前言：一个关于"手动挡"的噩梦我曾经带过一个实习生，人很聪明，就是有个"坏习惯"——喜欢手动跑任务。每天早上8点，他准时打开电脑，开始他的"日常仪式"：有一天，他请假了。那天早上，老板打开报表系统，发现数据还是昨天的。然后，我的电话响了..…

Hadoop从入门到放弃番外篇之小文件优化

继前三篇之后，我觉得Hadoop还有个很严重的小问题，需要特别列出来，所以有了本篇文章。大数据之Hadoop从入门到放弃之hdfs大数据之Hadoop从入门到放弃之MapReduce大数据之Hadoop从入门到放弃之hadoop的小伙伴们前…

Hive从入门到放弃

前言：为什么要学Hive还记得第一次接触大数据的场景吗？领导说："我们有10TB的日志数据需要分析。"你信心满满地打开MySQL：然后...数据库就崩了。领导又说："用Hadoop吧。"你打开MapReduce文档，看到要写几百行Java代…

大数据之Hadoop从入门到放弃之hadoop的小伙伴们

前言：一个关于"抢资源"的故事在讲YARN之前，让我先讲一个真实的故事。那是Hadoop 1.x的时代，我们公司有一个50台机器的Hadoop集群。某天，数据组的小王提交了一个MapReduce任务，跑全年的用户行为分析；与此同时，算法组的…

大数据之Hadoop从入门到放弃之MapReduce

时间一晃而过，距离第一篇的大数据之Hadoop从入门到放弃（一）已经半年了，现在就连疫情也放开了，笔者刚从高烧中恢复，发烧的过程中害怕自己会不会挂掉，这不想起了未竟的学习事业，惊坐起继续写文。前言：从"存得下"到"算得动"上一篇我们认识了H…

hbase从入门到放弃

Kafka从入门到放弃

写在前面作为一个在消息队列坑里摸爬滚打多年的架构师，我可以负责任地告诉你：Kafka 是那种"学的时候觉得简单，用的时候想砸电脑"的技术。第一次接触 Kafka 是在 2018 年，当时领导说："小伙子，我们要上实时数据管道，你去调研一下 …

从Zookeeper到分布式系统开发

前言：为什么我们需要一个"动物园管理员"话说在单体应用的美好时代，一切都是那么简单：一个Tomcat打天下，一个MySQL存数据，session往内存一扔，美滋滋。然后有一天，老板说："咱们系统要支持百万用户！"于是你开始了分布式改造之旅。…

通用爬虫系统设计

大部分公司都有收集数据的需求

大数据之Hadoop从入门到放弃之HDFS

前言：一个关于"大"的故事还记得你第一次听到"大数据"这个词是什么时候吗？反正我记得很清楚——那是在一次技术分享会上，一位架构师大佬在台上慷慨激昂地说："我们的数据量已经达到了PB级别，传统数据库已经无法满足需求了，我们需要引入Hadoop…

大数据技术路线概述

前言：什么是大数据？先说什么不是作为互联网从业者，"大数据"这个词你肯定听得耳朵都起茧了。面试官问、领导讲、产品经理吹、销售拿来忽悠客户...但是，到底什么是大数据？在回答这个问题之前，让我先说说什么不是大数据：简单说：不是数据多就叫大数据…