• / 29
  • 下载费用:10 金币  

HBASE安装部署、参数设置、备份恢复、监控规范.doc

关 键 词:
HBASE安装部署、参数设置、备份恢复、监控规范.doc
资源描述:
中国移动通信集团贵州有限公司2014 年网络部网管数据集成与共享标准技术服务项目1 / 29HBASE 安装部署、参数设置、备份、恢复、监控规范普元信息技术股份有限公司2014 年 10 月中国移动通信集团贵州有限公司2014 年网络部网管数据集成与共享标准技术服务项目2 / 29目录1 概述 31.1 背景31.2 目的41.3 范围42 硬件准备 53 实施 53.1 软件准备53.2 HBASE 服务器规划.53.3 HBASE 安装部署.53.4 HBASE 参数配置.93.5 HBASE 备份恢复.103.5.1 常用的在线备份方案及其比较 103.5.2 原理 123.5.2.1 Replication 总体结构 123.5.2.2 Replication 工作流程 133.5.2.3 Replication Class 简介 143.5.2.4 Replication Zookeeper 上的结构 .153.5.2.5 Replication Failover .163.5.3 部署 183.5.3.1 Master 集群配置文件 .183.5.3.2 Slave 集群配置文件 .203.5.3.3 Master 集群配置 .203.5.3.4 Slave 集群配置 203.6 HBASE 监控.203.6.1 hbase 的监控配置说明 .213.6.2 hadoop 基于 ganglia 的监控框架 .213.6.3 hbase regionserver 中 RPC metric 的计算采集 .223.6.4 hbase 中 JVM 监控数据的计算采集 .233.6.5 hbase 中 regionserver 进程相关 metric 的计算采集 .243.6.5.1 region 的 metric 采集 .253.6.5.2 blockcache 相关的 metric 采集 .263.6.5.3 读写请求的 metric 采集 263.6.5.4 dfs 操作的 metric 采集 273.6.5.5 compact 与 split 的操作数据采集 .283.6.5.6 handler 的 metric 采集 .29中国移动通信集团贵州有限公司2014 年网络部网管数据集成与共享标准技术服务项目3 / 291 概述1.1 背景随着 OSS 域各个系统的建设,系统间数据共享的需求也越来越多。目前,贵州移动的网管系统在总部规范指导下,按需逐年建设而成的。这些系统实现对通信网络和业务平台的管理,支撑配置管理、故障监控、指标分析、网络优化、例行维护、指挥调度等工作。但是,面向网元和网络的分专业网管,难以支持以客户感知为核心、面向端到端业务实现的运维管理新要求。越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑,实际生产分析场景需要将多类型、多专业的性能、质量等数据的进行集中管理,并建立模型关联,准实时、非实时分析需求并存。CMOSS2.0 明确提出了数据集成和共享平台的技术架构要求。包括服务总线和数据总线。数据集成和共享平台作为所有系统的交互桥梁,能够实现全面支持 CMOSS 规范中的所有共享模式,提升系统稳定性及业务吞吐量;提供基于标准模型的数据共享服务,以解决数据开放共享问题。建设效果直接影响到中国移动的 IT 业务能力和 IT 功能支撑能力。根据集团 CMOSS2.0 技术规范的要求,结合贵州移动在网管领域对数据共享的具体需求。贵州移动规划建立网络数据共享平台,通过对生产系统数据准实时的采集,将数据汇总到数据共享平台上。利用目前业界最新的数据分析和处理技术,按照不同的业务视角利用采集到数据,为企业运营提供技术决策依据。同时,由于统计分析使用的数据和生产运营的数据分离,可以较少对正式系统的影响,从而保障生产系统运营更加稳定、可靠。由于数据来自各个专业系统,需要面对不同的厂商、不同的技术架构。在数据共享平台的建设过程中,存在数据标准化、服务标准化、大数据处理等问题。这些问题是数据集成和共享平台建设成功的关键,需要重点解决。1) 对现有网管数据从生产到消费的全流程梳理,形成网管数据血缘关系和数据地图,以作为网管数据统一建模、集成共享的基础;2) 根据数据地图,建立可扩展的、面向底层数据源和上层应用灵活适配的网管数据模型,作为数据共享中心模型标准。3) 研究海量数据共享技术和模式,对数据库共享、数据编排、服务共享等数据共享技术中国移动通信集团贵州有限公司2014 年网络部网管数据集成与共享标准技术服务项目4 / 29和模式进行评估,制定符合网络数据中心的共享技术标准。4) Hadoop 是当前大数据处理常用的技术,但 Hadoop NoSQL 和多接点的特点,为应用开发和平台维护带来一定的难道。通过技术服务,
展开阅读全文
  微传网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:HBASE安装部署、参数设置、备份恢复、监控规范.doc
链接地址:https://www.weizhuannet.com/p-9828537.html
微传网是一个办公文档、学习资料下载的在线文档分享平台!

微传网博客

网站资源均来自网络,如有侵权,请联系客服删除!

 网站客服QQ:80879498  会员QQ群:727456886

copyright@ 2018-2028 微传网络工作室版权所有

     经营许可证编号:冀ICP备18006529号-1 ,公安局备案号:13028102000124

收起
展开