【Hadoop】HDFS Router-based Federation：解决 NameNode 扩展性问题的联邦方案

NameNode 因元数据开销、DataNode 心跳管理和 HDFS RPC 请求数量限制，存在扩展性瓶颈。传统 HDFS Federation 方案需要用户手动管理多个子集群，Router-based Federation（RBF）通过引入 Router 和 State Store 组件，实现了透明的联邦访问和自动化的子集群管理。

核心要点：

1. Router 提供统一的 NameNode 接口，将请求转发到正确的子集群
2. State Store 维护挂载表和子集群状态信息
3. 支持高可用、容错和自动故障转移
4. 客户端无需感知多个子集群的存在

一、核心架构：Router + State Store 的联邦层

Router-based Federation 通过在 HDFS Federation 之上添加一个软件层，实现透明的联邦访问和自动化的子集群管理。

架构组件

联邦层由两个核心组件组成：

1. Router（路由器）

• 提供与 NameNode 相同的接口，对客户端透明
• 根据 State Store 的信息将请求转发到正确的子集群
• 无状态设计，支持负载均衡和高可用

2. State Store（状态存储）

• 维护远程挂载表（Mount Table）：文件路径与子集群的映射关系
• 维护子集群状态信息（Membership）：存储容量、节点数量、HA 状态等
• 后端可插拔，支持多种存储实现

工作流程

最简单的配置是在每个 NameNode 机器上部署一个 Router：

1. Router 监控本地 NameNode：定期检查 NameNode 状态，向 State Store 发送心跳
2. 客户端请求：客户端通过任意 Router 访问联邦文件系统中的文件
3. 路由查找：Router 查询 State Store 的 Mount Table，确定文件所在的子集群
4. NameNode 定位：Router 查询 Membership 表，找到负责该子集群的 NameNode
5. 请求代理：Router 将请求转发给正确的 NameNode
6. 直接访问：客户端直接访问 DataNode 获取数据

这种架构与 YARN Federation 相同，提供了统一的联邦视图。

二、Router：联邦接口和状态监控

Router 有两个核心角色：对外提供统一的联邦接口，对内监控 NameNode 状态。

联邦接口（Federated Interface）

Router 接收客户端请求，查询 State Store 找到正确的子集群，然后将请求转发给该子集群的 Active NameNode。

关键特性：

• 无状态设计：Router 是无状态的，可以部署在负载均衡器后面
• 健康检查：提供/isActive端点作为健康探针
• 性能优化：缓存远程挂载表条目和子集群状态，减少 State Store 查询
• 状态同步：每个 Router 向 State Store 发送心跳，确保状态变更传播到所有 Router

缓存机制：

• Router 与 State Store 的通信被缓存（带过期时间）
• 提高系统性能，减少 State Store 的访问压力

NameNode 心跳（NameNode Heartbeat）

Router 定期检查 NameNode 的状态（通常在同一台服务器上），向 State Store 报告：

• 高可用（HA）状态
• 负载和空间状态

注意事项：

• 这是可选角色，Router 可以独立于任何子集群
• 对于 NameNode HA，Router 使用 State Store 中的 HA 状态信息，将请求转发到最可能处于 Active 状态的 NameNode
• 此服务可以嵌入到 NameNode 本身，简化运维

Router 心跳

Router 周期性地向 State Store 发送心跳，报告自身状态。

三、高可用和容错：多层次的故障处理

Router 在多个层次上处理故障，确保系统的可用性和容错性。

1. 联邦接口高可用

• 无状态设计：Router 是无状态的，元数据操作在 NameNode 层面是原子的
• 故障转移：如果某个 Router 不可用，其他 Router 可以接管
• 客户端配置：客户端可以配置所有 Router 作为端点，使用ConfiguredFailoverProvider或RequestHedgingProxyProvider实现 HA

2. State Store 不可用

• 安全模式：如果 Router 无法联系 State Store，将进入安全模式，拒绝处理请求
• 客户端行为：客户端将处于安全模式的 Router 视为 Standby NameNode，尝试其他 Router
• 手动管理：提供手动管理 Router 安全模式的方式

3. 过期的 NameNode

• 过期检测：如果 NameNode 心跳在 State Store 中连续多个心跳间隔未记录，监控 Router 将记录 NameNode 已过期
• 访问限制：过期的 NameNode 不会被任何 Router 访问
• 自动恢复：如果后续收到更新的心跳，监控 Router 会将 NameNode 从过期状态恢复

四、Router 接口：多协议支持

Router 暴露多个接口，支持不同的访问方式和运维需求。

支持的接口

• RPC：实现客户端与 HDFS 交互最常见的接口
• Admin：管理员可以通过 RPC 添加或移除挂载表
• Web UI：提供联邦状态的可视化界面
• WebHDFS：提供 HDFS REST 接口（WebHDFS）
• JMX：通过 JMX 暴露指标，Web UI 使用它来获取集群状态

不支持的操作

以下操作会抛出异常：

• 在不同 namespace 之间重命名、复制文件/文件夹
• 写入正在重新平衡的文件/文件夹

五、Quota 管理：全局配额控制

在挂载表级别，联邦支持全局 quota（配额）控制。

实现机制

• 性能优化：Router 缓存 quota 使用情况，定时更新
• 配额检查：当调用 RouterRPCServer 中的写 RPC 请求时，会进行 quota 使用情况的检查
• 全局视图：提供跨子集群的全局配额管理

详细说明参考：HDFS Quotas Guide

六、State Store：可插拔的状态存储

State Store 维护子集群状态和挂载表信息，后端可插拔。

存储的信息

1. Membership（成员信息）

• 编码 NameNode 的状态信息
• 包括：子集群的存储容量、节点数量等
• Router 定期获取一个或多个 NameNode 的信息
• 数据仲裁：多个 Router 可以监控同一个 NameNode，Router 会从数据层面仲裁，淘汰超过阈值的心跳条目（例如，10 个 Router 的心跳周期）

2. Mount Table（挂载表）

• 包含文件夹和子集群之间的映射
• 类似于 ViewFS 的映射表
• 指定联邦文件夹、目标子集群和该文件夹中的路径

后端可插拔

State Store 的后端是可插拔的，支持多种存储实现，可以根据实际需求选择合适的后端。

参考文档：

• HDFS Router Federation 官方文档
• 腾讯云 HDFS Router-based Federation 原理
• ViewHDFS 客户端配置