大数据之Hadoop从入门到放弃之hadoop的小伙伴们

前言：一个关于"抢资源"的故事

在讲YARN之前，让我先讲一个真实的故事。

那是Hadoop 1.x的时代，我们公司有一个50台机器的Hadoop集群。某天，数据组的小王提交了一个MapReduce任务，跑全年的用户行为分析；与此同时，算法组的小李也提交了一个任务，训练推荐模型。

然后，整个集群就陷入了混乱——两个任务疯狂抢资源，互相等待，谁也跑不完。

更惨的是，运维组的老张想跑一个Spark任务做实时监控，但是——对不起，Hadoop 1.x只支持MapReduce，不支持Spark。

老张当场表演了一个原地裂开。

"如果有一个统一的资源管理系统，能管理所有类型的计算任务，该多好啊……"

于是，YARN诞生了。

本篇是Hadoop系列的最后一篇，我们将学习：

1. YARN：Hadoop的资源管理系统
2. Hadoop生态圈：大象的朋友们

让我们开始最后的冲刺！

一、从Hadoop 1.x到2.x：架构的进化

1.1 Hadoop 1.x的架构问题

Hadoop 1.x的核心问题就是：JobTracker一个人干了太多活，又要管理集群资源，又要调度MapReduce任务。这就像让一个程序员既写代码又做产品又搞运维还要兼职HR——迟早要猝死。

1.2 Hadoop 2.x的解决方案：YARN

Hadoop 2.x做了一个聪明的决定：把资源管理和作业调度分开。

YARN = Yet Another Resource Negotiator（又一个资源协调者）

这个名字起得很谦虚——"又一个"，但它确实彻底改变了Hadoop的命运。

二、YARN架构详解

2.1 核心组件

2.2 各组件职责详解

ResourceManager（RM）：大管家

ResourceManager的哲学：我只管分配资源，具体怎么用是你的事。

这就像公司的财务部门：你申请预算，我审批拨款，但钱怎么花是你项目组自己的事。

NodeManager（NM）：节点保姆

NodeManager的哲学：我就是个包工头，管好我这一亩三分地。

ApplicationMaster（AM）：应用管家

ApplicationMaster的哲学：我的应用我做主，需要什么资源我去要。

这是YARN最精妙的设计——每个应用有自己的管家。MapReduce有MapReduce的AM，Spark有Spark的AM，各管各的，互不干扰。

Container：资源容器

Container的本质：就是一个资源的"盒子"，里面装着CPU和内存，你的任务就在这个盒子里运行。

2.3 YARN作业提交流程

让我们看看一个MapReduce作业是如何在YARN上运行的：

用大白话复述一遍：

三、YARN调度器：资源怎么分？

3.1 三种调度器对比

YARN支持三种调度器，解决的核心问题是：集群资源有限，多个应用抢资源，怎么分配？

3.2 FIFO Scheduler：简单但不实用

问题：Job1跑了100秒，Job2和Job3只能干等着。即使它们只需要10%的资源，也得排队。

这就像食堂只有一个窗口，前面有人买100个包子，你买1个也得等他买完。

3.3 Capacity Scheduler：容量保证

容量调度器的配置示例：

<!-- capacity-scheduler.xml -->
<configuration>
    <!-- 定义队列 -->
    <property>
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>data,algo</value>
    </property>
    
    <!-- data队列容量40% -->
    <property>
        <name>yarn.scheduler.capacity.root.data.capacity</name>
        <value>40</value>
    </property>
    
    <!-- algo队列容量60% -->
    <property>
        <name>yarn.scheduler.capacity.root.algo.capacity</name>
        <value>60</value>
    </property>
    
    <!-- data队列最大可使用70%（可以借用空闲资源） -->
    <property>
        <name>yarn.scheduler.capacity.root.data.maximum-capacity</name>
        <value>70</value>
    </property>
</configuration>

3.4 Fair Scheduler：公平分配

Fair Scheduler的核心思想：在任何时刻，所有运行的应用平均分配资源。

支持抢占：如果某个应用占用资源超过其公平份额，调度器可以"抢回"一部分资源给其他应用。

3.5 调度器选择建议

四、YARN高可用（HA）

和HDFS一样，ResourceManager也有单点故障问题。YARN HA的解决方案：

故障切换流程：

五、YARN常用命令

5.1 应用管理命令

# 查看所有应用
yarn application -list

# 查看指定状态的应用
yarn application -list -appStates RUNNING
yarn application -list -appStates FINISHED
yarn application -list -appStates KILLED

# 杀死应用
yarn application -kill application_1234567890123_0001

# 查看应用状态
yarn application -status application_1234567890123_0001

# 查看应用日志
yarn logs -applicationId application_1234567890123_0001
yarn logs -applicationId application_1234567890123_0001 -containerId container_123

5.2 集群管理命令

# 查看集群状态
yarn cluster -status

# 查看节点列表
yarn node -list
yarn node -list -all
yarn node -list -states RUNNING

# 查看节点详情
yarn node -status node1:8041

# 查看队列信息
yarn queue -status default

5.3 资源管理命令

# 刷新队列配置（不重启生效）
yarn rmadmin -refreshQueues

# 刷新节点
yarn rmadmin -refreshNodes

# 查看ResourceManager状态（HA模式）
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

# 手动切换Active RM
yarn rmadmin -transitionToActive rm2 --forcemanual

六、Hadoop生态圈：大象的朋友们

终于到了最精彩的部分——Hadoop生态圈。Hadoop不是一个人在战斗，它有一群强大的小伙伴。

6.1 生态圈全景图

6.2 核心组件详解

Hive：让你用SQL操作大数据

Hive示例：

-- 创建表
CREATE TABLE user_behavior (
    user_id STRING,
    action STRING,
    timestamp BIGINT
)
PARTITIONED BY (dt STRING)
STORED AS PARQUET;

-- 查询（会被转换成MapReduce/Spark任务）
SELECT action, COUNT(*) as cnt
FROM user_behavior
WHERE dt = '2024-01-01'
GROUP BY action
ORDER BY cnt DESC
LIMIT 10;

HBase：海量数据的实时读写

HBase vs HDFS vs 传统数据库：

Spark：内存计算的王者

Spark vs MapReduce：

结论：Spark通过内存计算，避免了MapReduce频繁的磁盘IO，速度提升10-100倍。

Flink：流批一体的未来

流处理框架对比：

6.3 技术选型指南

七、一个完整的大数据架构案例

让我们看看一个真实的电商公司是怎么搭建大数据平台的：

架构说明

八、Hadoop的未来：云原生时代

随着云计算的发展，Hadoop也在不断进化：

现代数据架构趋势

九、全系列总结

三篇文章，我们走完了Hadoop从入门到......还没放弃的旅程。让我们做一个全面的回顾：

学习路线建议

十、写在最后

写到这里，Hadoop系列终于完结了。

回想起我刚开始学Hadoop的时候，面对一堆概念完全懵逼：NameNode、DataNode、JobTracker、TaskTracker、ResourceManager、NodeManager、ApplicationMaster......每个都是Manager，每个都是Node，到底谁管谁？

后来我发现，其实大数据技术的核心思想就那么几个：

1. 分而治之：大任务拆小任务
2. 数据冗余：用副本保证可靠性
3. 移动计算：计算向数据靠拢
4. 分层架构：存储、计算、调度分离

掌握了这些思想，再去学任何大数据组件都会轻松很多。

最后的最后，送给大家几句话：

"不要被技术的复杂性吓倒，所有复杂的系统都是由简单的模块组成的。"

"Hadoop可能会过时，但分布式计算的思想永远不会。"

"学习大数据最好的方式是：先跑起来，再深入原理。"

如果你真的认真看完了这三篇文章，恭喜你——你已经超过了80%的"大数据工程师"。

接下来，去动手搭个集群，跑几个任务，踩几个坑，你就真的入门了。

感谢阅读，我们下个系列见！🐘🐘🐘

本文作者：一个在凌晨三点调过YARN配置的程序员

最惨经历：调了一晚上参数，第二天发现是网线没插好

系列完结，撒花🎉

附录A：Hadoop生态圈速查表

附录B：面试高频题合集

YARN相关

1. YARN的架构是什么？各组件的作用？

   RM负责全局资源管理，NM管理单节点资源，AM管理单个应用，Container是资源抽象。

2. YARN的作业提交流程？

   客户端提交 → RM分配Container启动AM → AM向RM申请资源 → AM通知NM启动Container → 任务执行 → 完成释放资源

3. YARN有哪些调度器？区别是什么？

   FIFO（先进先出）、Capacity（容量保证）、Fair（公平分配）。生产环境一般用Capacity或Fair。

4. Container和虚拟机/Docker的区别？

   Container是YARN的资源抽象，不是真正的隔离容器。它只是逻辑上的资源限制（CPU、内存），不像Docker有文件系统隔离。

生态圈相关

5. Hive和传统数据库的区别？

   Hive是数据仓库工具，基于HDFS，适合离线批处理，延迟高；传统数据库适合OLTP，低延迟。

6. HBase的rowkey设计原则？

   唯一性、散列性（避免热点）、长度适中（10-100字节）、业务相关性。

7. Spark和MapReduce的区别？

   Spark基于内存计算，支持丰富算子，适合迭代计算；MR中间结果写磁盘，只有Map和Reduce两个算子。

8. Flink和Spark Streaming的区别？

   Flink是真正的流处理（事件驱动），Spark Streaming是微批处理。Flink延迟更低（毫秒级vs秒级）。