堵赫然 发表于 2025-9-25 20:59:12

HBase Sync功能导致HBase入库性能下降

本文分享自天翼云开发者社区《HBase Sync功能导致HBase入库性能下降》，作者：5****m
问题背景与现象
HBase入库慢，regionserver日志中大量打印slow sync。
原因分析
    1.对比正常写入时间段监控，检查HBase服务整体CPU、内存以及NameNode RPC在异常时间段是否增加；
    2.检查regionserver日志中slow sync打印是否集中在个别RegionServer节点；
    3.如果slow sync集中于个别regionserver节点，检查该节点是否存在热点region、节点RPC是否持续被占用、是否Full GC，请求量是否增加。
   4.如果regionserver节点中slow sync无规律，检查datanode日志中slow打印情况，根据slow类型分析写入慢原因；
      a.Slow manageWriterOsCache：将块写入OS缓存有延迟。
      b.Slow BlockReceiver write packet to mirror :网络上写块有延迟。
      c.Slow BlockReceiver write data to disk cost 、Slow flushOrSync：将块写入磁盘有延时。
   根据regionserver中写入慢的block id在NameNode日志中查询块写入链路，根据链路信息分析写入三个副本时哪个副本写入有异常，DataNode性能不足，导致写入文件耗时较长。
解决办法
   1.网络原因联系网络工程师整改网络
   2.磁盘问题需具体分析是磁盘性能不足还是磁盘坏道
   3.如果HDFS或HBase服务写入性能已达到瓶颈，可关闭sync功能。
hbase.regionserver.hfile.durable.sync=false
hbase.regionserver.wal.durable.sync=false

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

龙正平 发表于 2025-10-15 09:50:43

这个好，看起来很实用

毋峻舷 发表于 2025-11-8 04:03:38

收藏一下   不知道什么时候能用到

苗嘉惠 发表于 2025-11-8 06:56:17

这个有用。

襁壮鸢 发表于 2025-12-23 11:15:13

不错，里面软件多更新就更好了

撙仿 发表于 2025-12-25 06:31:57

感谢发布原创作品，程序园因你更精彩

金娅鸣 发表于 2026-1-4 22:57:08

分享、互助 让互联网精神温暖你我

聚怪闩 发表于 2026-1-13 18:11:26

分享、互助 让互联网精神温暖你我

劳怡月 发表于 2026-1-15 05:15:06

谢谢分享，辛苦了

孓访懔 发表于 2026-1-18 08:46:06

感谢，下载保存了

劳暄美 发表于 2026-1-20 15:10:58

感谢分享，学习下。

豌笆 发表于 2026-1-21 09:09:04

过来提前占个楼

梁丘艷蕙 发表于 2026-1-22 09:58:12

新版吗？好像是停更了吧。

衣旱 发表于 2026-1-22 21:34:01

感谢，下载保存了

拓炊羡 发表于 2026-1-25 05:48:47

yyds。多谢分享

煅圆吧 发表于 2026-1-25 10:59:42

谢谢楼主提供！

扔飒 发表于 2026-1-28 07:58:31

喜欢鼓捣这些软件，现在用得少，谢谢分享！

缀访 发表于 2026-2-2 08:02:57

感谢，下载保存了

遇玷 发表于 2026-2-5 04:45:35

用心讨论，共获提升！

柴古香 发表于 2026-2-6 08:34:41

分享、互助 让互联网精神温暖你我
页: [1] 2
查看完整版本: HBase Sync功能导致HBase入库性能下降