• / 85
  • 下载费用:10 金币  

《云计算(第二版)》—第二章 Google云计算原理与应用(1).ppt

关 键 词:
《云计算(第二版)》—第二章 Google云计算原理与应用(1).ppt
资源描述:
电子工业出版社《云计算(第二版)》配套课件,解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作,第2章 Google云计算原理与应用,《云计算(第二版)》购买网址: 当当网 京东商城,姊妹力作《实战Hadoop》购买网址: 当当网 京东商城,提 纲, Google文件系统GFS  分布式数据处理MapReduce  分布式锁服务Chubby  分布式结构化数据表Bigtable  分布式存储系统Megastore  大规模分布式系统的监控基础架构Dapper  Google应用程序引擎, 系统架构  容错机制  系统管理技术,,,Google业务 全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等,,数据量巨大,且面向全球用户提供实时服务,,Google云计算平台技术架构 文件存储,Google Distributed File System,GFS 并行数据处理MapReduce 分布式锁Chubby 分布式结构化数据表BigTable 分布式存储系统Megastore 分布式监控系统Dapper,秘密武器:云计算平台!,GFS设计动机,Google需要一个支持海量存储的文件系统 购置昂贵的分布式文件系统与硬件?,,为什么不使用当时现存的文件系统?Google所面临的问题与众不同不同的工作负载,不同的设计优先级(廉价、不可靠的硬件)需要设计与Google应用和负载相符的文件系统,是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统?,GFS将容错的任务交给文件系统完成,利用软件的方法解决系统可靠性问题,使存储的成本成倍下降。GFS将服务器故障视为正常现象,并采用多种方法,从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务,GFS架构是怎样的?,系统架构,Client(客户端):应用程序的访问接口 Master(主服务器):管理节点,在逻辑上只有一个,保存系统的元数据,负责整个文件系统的管理 Chunk Server(数据块服务器):负责具体的存储工作。数据以文件的形式存储在Chunk Server上,实现机制,客户端首先访问Master节点,获取交互的Chunk Server信息,然后访问这些Chunk Server,完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流,而无数据流,极大地降低了Master的负载。Client与Chunk Server之间直接传输数据流,同时由于文件被分成多个Chunk进行分布式存储,Client可以同时访问多个Chunk Server,从而使得整个系统的I/O高度并行,系统整体性能得到提高。,GFS特点有哪些?,GFS特点, 系统架构  容错机制  系统管理技术,,Master容错,,Master,Name Space,文件系统目录结构,Chunk与文件名的映射,,Chunk副本的位置信息(默认有三个副本),Name Space,文件系统目录结构,Chunk与文件名的映射,,Chunk副本的位置信息,,Master,单个Master,对于前两种元数据,GFS通过操作日志来提供容错功能,第三种元数据信息保存在各个Chunk Server上,Master故障时,磁盘恢复,GFS还提供了Master远程的实时备份,防止Master彻底死机的情况,Chunk Server容错,采用副本方式实现Chunk Server容错 每一个Chunk有多个存储副本(默认为三个),分布存储在不同的Chunk Server上用户态的GFS不会影响Chunk Server的稳定性  副本的分布策略需要考虑多种因素,如网络的拓扑、机架的分布、磁盘的利用率等  对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入,尽管一份数据需要存储三份,好像磁盘空间的利用率不高,但综合比较多种因素,加之磁盘的成本不断下降,采用副本无疑是最简单、最可靠、最有效,而且实现的难度也最小的一种方法。,Simple, and good enough!, GFS中的每一个文件被划分成多个Chunk,Chunk的默认大小是64MB Chunk Server存储的是Chunk的副本,副本以文件的形式进行存储每个Chunk又划分为若干Block(64KB),每个Block对应一个32bit的校验码,保证数据正确(若某个Block错误,则转移至其他Chunk副本), 系统架构  容错机制  系统管理技术,,,大规模集 群安装技术,,故障检测技术,,节点动态加入技术,,节能技术,新的Chunk Server加入时 ,只需裸机加入
展开阅读全文
  微传网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:《云计算(第二版)》—第二章 Google云计算原理与应用(1).ppt
链接地址:https://www.weizhuannet.com/p-10026015.html
微传网是一个办公文档、学习资料下载的在线文档分享平台!

微传网博客

网站资源均来自网络,如有侵权,请联系客服删除!

 网站客服QQ:80879498  会员QQ群:727456886

copyright@ 2018-2028 微传网络工作室版权所有

     经营许可证编号:冀ICP备18006529号-1 ,公安局备案号:13028102000124

收起
展开