Hadoop从入门到放弃番外篇之小文件优化
继前三篇之后，我觉得Hadoop还有个很严重的小问题，需要特别列出来，所以有了本篇文章。大数据之Hadoop从入门到放弃之hdfs大数据之Hadoop从入门到放弃之MapReduce大数据之Hadoop从入门到放弃之hadoop的小伙伴们前…
16 0
14 分钟 阅读全文
标签
Hadoop
共 4 篇文章
大数据之Hadoop从入门到放弃之hadoop的小伙伴们
前言：一个关于"抢资源"的故事在讲YARN之前，让我先讲一个真实的故事。那是Hadoop 1.x的时代，我们公司有一个50台机器的Hadoop集群。某天，数据组的小王提交了一个MapReduce任务，跑全年的用户行为分析；与此同时，算法组的…
11 0
16 分钟 阅读全文
大数据之Hadoop从入门到放弃之MapReduce
时间一晃而过，距离第一篇的大数据之Hadoop从入门到放弃（一）已经半年了，现在就连疫情也放开了，笔者刚从高烧中恢复，发烧的过程中害怕自己会不会挂掉，这不想起了未竟的学习事业，惊坐起继续写文。前言：从"存得下"到"算得动"上一篇我们认识了H…
13 0
14 分钟 阅读全文
大数据之Hadoop从入门到放弃之HDFS
前言：一个关于"大"的故事还记得你第一次听到"大数据"这个词是什么时候吗？反正我记得很清楚——那是在一次技术分享会上，一位架构师大佬在台上慷慨激昂地说："我们的数据量已经达到了PB级别，传统数据库已经无法满足需求了，我们需要引入Hadoop…
11 0
12 分钟 阅读全文
没有更多了