• / 23
  • 下载费用:10 金币  

各公司使用的Ceph存储集群.doc

关 键 词:
各公司使用的Ceph存储集群.doc
资源描述:
Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人 Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。1. 携程(Ctrip )携程所使用的各种存储的现状: 商业存储:  SAN(HP/ HPS) , 1+ PB, 数据库  NAS (HW) , 800+ TB, 文件共享  开源存储  GlusterFS, 1+ PB, 数据库备份  FastDFS, 1+ PB, 海量照片  HDFS, 10+ PB, 大数据 而在不久的将来,随着公司业务的发展,携程需要的存储容量需要扩大到 10 倍以上。携程选择 Ceph 的理由:低成本 + SDS + Scale-out + 统一存储 + 企业特性携程目前的 Ceph 集群的配置: CephVersion: 0.94.2,H release  Object Storage: RGW + Swift API  SDK: Python/ Java/ C#/ Ruby  OS: Centos 6.4  硬件:CPU(2 channels SSDs 也被部署到了COS 服务来提供更高的 I/O 率。雅虎正在 Ceph 的 variant 上使用 8/3 纠删码,这说明 8 份中的 3 份共享对象的服务或者驱动可以失败却仍然可以访问的到。这是常规级别的纠删码在Ceph 上应用的。但是雅虎已经计划了一个针对 Ceph 的 11/3 纠删码variant,这意味着 11 个中的 3 个驱动或者服务可以失败,更重要的是这个可以减少 40%的读写延迟。(根据 McMillen 的说法,雅虎计划把这项改进回馈给Ceph 社区,通过这个方法,它能让自己参与到“Hummer” 代码稀释中)公司已经做出了一系列调整来使 Ceph 表现出更好的性能,如下图:加入了纠删码的更改,雅虎已经想出一个共享 bucket 索引的方法,那就是一个索引保持跟踪对象存储到一个 bucket(这是针对对象存储容量单位的亚马逊术语)正常 Ceph 是在一个单一的服务器节点上实现 bucket 索引,但是雅虎的工程师为了高可用性和性能方面的改进,已经解决了如何切分和跨节点传播。当有磁盘或服务器失效,数据恢复完成,雅虎想出一个在恢复数据时将延迟的速率限制到 60%的方法。与此同时,雅虎自支持 Ceph 的实现,但是 McMillen 说公司与 RehHat 关系非常好,而且也不反对使用 RedHat 做一些技术支持。但是雅虎正处于一个大量消耗的时期,而这与超大规模 Ceph 有关,也许自支持是他们现在唯一的选择。“我们将在数百个 PB 级规模上操作,我不知道其他 Ceph 社区是否还会这样做”,McMillen 说。“如果我们不是最大的,那么我们就会成为最大的产品用户,而且我们很可能会去寻找适合我们规模的版本。你只需要看雅虎这个规模的数据,不用看传统级别。我们正致力于解决所有这些问题,我相信社区会从中受益。
展开阅读全文
  微传网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:各公司使用的Ceph存储集群.doc
链接地址:https://www.weizhuannet.com/p-9837404.html
微传网是一个办公文档、学习资料下载的在线文档分享平台!

微传网博客

网站资源均来自网络,如有侵权,请联系客服删除!

 网站客服QQ:80879498  会员QQ群:727456886

copyright@ 2018-2028 微传网络工作室版权所有

     经营许可证编号:冀ICP备18006529号-1 ,公安局备案号:13028102000124

收起
展开