news 2026/6/10 16:00:19

解决hbase配置过程 shell命令不可用问题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
解决hbase配置过程 shell命令不可用问题

输入shell命令不可用

日志反复出现的FanOutOneBlockAsyncDFSOutputHelperIllegalArgumentException是一个经典的 HBase 2.4.x 与 Hadoop 3.3.x 的兼容性问题。

这是因为 HBase 在使用异步刷新(AsyncFS)写 WAL 日志时,与 Hadoop 3.x 内部的 Protobuf 处理方式发生了冲突。这就是为什么输入jps HMaster 虽在,但节点永远处于“正在初始化”且无法正常提供服务的原因。

解决步骤:

由于直接执行停止hbase命令会卡顿省略号很久

/export/server/hbase/bin/stop-hbase.sh

所以用杀死进程来清空之前错误的配置

1. 强制清理残留进程

既然stop-hbase.sh无效,请先彻底清理环境:

# 杀掉 node1 上的所有 HBase 相关进程 ps -ef | grep hbase | grep -v grep | awk '{print $2}' | xargs kill -9

如果在其他节点(node2, node3)也有进程,请同步清理。

2. 修改hbase-site.xml配置(关键!!!!)

需要关闭导致报错的“异步 WAL 写入”功能,让 HBase 使用传统的同步方式。

编辑文件:vi /export/server/hbase/conf/hbase-site.xml

<configuration>标签内添加以下属性:

<property> <name>hbase.wal.provider</name> <value>filesystem</value> </property>
  • 同步配置:如果有多个节点,请确保所有节点的hbase-site.xml都做了这个修改。

3.zkCli.sh也需要清空配置
/export/server/zookeeper/bin/zkCli.sh
  • 进入后执行清理(防止旧的 Master 锁干扰):

    deleteall /hbase quit
4. 重新启动并验证

按顺序启动:

  1. 启动 HDFS 和 ZooKeeper(如果之前关了的话)。

  2. 启动 HBase:

    start-hbase.sh
  3. 验证进程:在 node1 执行jps,确保HMasterHRegionServer同时存在。

  4. 验证 Shell:等待约 20 秒,进入hbase shell再次执行status。

  5. 截图成功

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 14:58:49

LLM 本地化部署保姆级指南:零基础也能搞定模型微调与性能优化

在大语言模型&#xff08;LLM&#xff09;普及的当下&#xff0c;云端调用 API 虽便捷&#xff0c;却受限于网络延迟、数据隐私和调用成本&#xff0c;而 LLM 本地化部署能完美解决这些问题。很多人觉得本地化部署需要深厚的编程功底&#xff0c;实则如今各类可视化工具、一键式…

作者头像 李华
网站建设 2026/6/10 8:39:05

9、Windows应用开发:魅力功能与实时磁贴实现指南

Windows应用开发:魅力功能与实时磁贴实现指南 1. Callisto工具包功能概述 Callisto工具包提供了丰富的功能,以下是其可用的控件、转换器、扩展和帮助程序的详细列表: | 分类 | 具体功能 | | — | — | | 控件 | Flyout、Menu、SettingsFlyout、LiveTile、Rating、FlipV…

作者头像 李华
网站建设 2026/6/10 14:55:41

Redis防重复点击与分布式锁实现方案对比笔记

一、核心概念辨析 1.1 业务场景本质 场景核心需求正确类比防重复点击设置临时冷却标记&#xff0c;N秒内禁止重复操作计时器&#xff08;N秒后自动解除&#xff09;分布式锁排他性资源访问&#xff0c;同一时间只允许一个线程操作互斥信号量&#xff08;手动释放&#xff09;…

作者头像 李华
网站建设 2026/6/10 13:14:51

Redis防重复点击与分布式锁

在生产环境中&#xff0c;我们经常会遇到两个需求&#xff1a;限制用户在N秒内不能重复操作&#xff08;如连续点击导出按钮&#xff09;确保同一时间只有一个线程能操作共享资源&#xff08;如扣减库存&#xff09;很多开发者习惯用Redisson的RLock来解决这两个问题&#xff0…

作者头像 李华
网站建设 2026/6/10 14:53:21

亲测2025年主流AI漫剧工具:帮作者打通小说转漫剧链路

我是一名写了十多年网文的作家&#xff0c;今年打算尝试一下小说转漫剧&#xff0c;一段时间下来&#xff0c;我可真的懂文字转化为漫剧的痛了。分镜的逻辑太混乱了&#xff0c;画风和人设也不匹配&#xff0c;手动来回调整场景花费的时间太长&#xff0c;尤其是我把小说《古今…

作者头像 李华
网站建设 2026/6/10 13:02:44

mybatis中达梦数据库的属性设置

<dataSource type"POOLED"><!-- 达梦数据库驱动 --><property name"driver" value"dm.jdbc.driver.DmDriver"/><!-- 连接URL格式 : jdbc:dm://主机名:端口号/数据库名--><property name"url" value"…

作者头像 李华