HBase技术与应用实践 | HBase在爱奇艺的应用实践

HBase技术与应用实践 | HBase在爱奇艺的应用实践

本次分享来自中国HBase技术社区第七届MeetUp成都站，分享嘉宾郑浩南 爱奇艺 资深研发工程师，专注于大数据领域，负责Hadoop服务的运维研究以及DevOps平台开发。分享主题：HBase在爱奇艺的应用实践

内容概要：随着大数据存储计算对延时吞吐要求越来越高，需求日益复杂化，HBase在爱奇艺中被广泛应用和实践以应对多样化的业务场景。本次演讲将介绍HBase在爱奇艺的部署模式和使用场景，以及在爱奇艺私有云环境下的运维策略。

下载链接：http://hbase.group/slides/168

1.使用现状

2.架构实践

3.服务策略

4.问题瓶颈

ZooKeeper重选，RS重连超时问题：ZooKeeper发生重选时，Session重连，RegionServer发生ZK sessionTimeout宕机ZooKeeper Zxid rollover，定期引发重选连接数过多，单个ZK-server 5000个连接限制maxClientCnxns，找出错误使用HBase Conn任务Znode过多，25w个定期清理Replication残留ZnodeZooKeeper关闭连接时的瓶颈ZOOKEEPER-1669，HashSet并发瓶颈ZooKeeper Leader session激活（revalidation）瓶颈ZOOKEEPER-3169，未解决，通过调高max session timeout应对减少对ZooKeeper依赖调研：ZK-less，AssignmentMananger v2HBase启动恢复慢问题：1500节点，25w regionclean-startup 15min；主动关闭集群，经常无法正常进入clean-startup恢复流程需要1 hour左右错误判定为恢复流程HBASE-14223，清理残留的Meta WALsHBASE-15251，错误判断为failoverSplitWAL ZK阻塞参考HBASE-19290，调节RS遍历Znode停顿时间SplitWAL并发控制，易引起gc问题master.executor.serverops.threads x bulk.assignment.threadpool.size启动过程中，部分节点阻塞影响恢复及时处理启动过程中阻塞节点启动恢复过程中，停止业务访问(需要一种安全模式)