• / 7
  • 下载费用:10 金币  

云计算和大数据基础知识.doc

关 键 词:
云计算和大数据基础知识.doc
资源描述:
* 1: 100. 云计算(一) 大数据(BigData) 1. 定义: 海量数据或巨量数据,其规模巨大到无法用当前主流的计算机系统在合理时间内获取、存储、管理、处理并提取以帮助使用者决策。2. 特点: 1)数据量大 (Volume) ----- PB级以上2)快速 (Velocity) ----- 数据增长快3)多样 (Variety) ----- 数据来源及格式多样4)价值密度低 (Value ) ----- 从大量、多样数据中提取价值的体系结构5)复杂度 (Complexity) -----对数据处理和分析的难度大3.大数据与云计算的关系:从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。(二)云计算(Cloud Computing) 1.定义: 1)云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。//分布式计算2)云计算是通过网络按需提供可动态伸缩的廉价计算服务。2. 特点: 1)超大规模2)虚拟化3)高可靠性4)通用性5)高可伸缩性6)按需服务7)极其廉价3. 服务类型分类:1)SaaS (软件即服务::Software as a Service)//针对性更强,它将某些特定应用软件功能封装成服务 如:Salesforce online CRM2)PaaS (平台即服务: Platform as a Service) //对资源的抽象层次更进一步,提供用户应用程序运行环境如:Google App Engine ,Microsoft Windows Azure3)IaaS (基础设施作为服务:Infrastructure as a Service)//将硬件设备等基础资源封装成服务供用户使用 , 如:Amazon EC2/S34. 云计算的实现机制(体系结构)1) SOA (面向服务的体系结构): 它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。 使得其服务能以一种统一的、通用的方式进行交互。SOA 可以看作是 B/S 模型、XML/Web Service 技术之后的自然延伸。2)管理中间件: (关键部分) 3)资源池层: 将大量相同类型的资源构成同构或接近同构的资源池。4)物理资源层: 计算机、存储器、网络设施、数据库和软件等 5. 云计算与网格计算1)网格是基于 SOA、使用互操作、按需集成等技术,将分散在不同地理位置的资源虚拟化为一个整体。 2) 关系类似于 TCP/IP 协议 之于 OSI 模型6. 云计算与物联网1)物联网有 全面感知,可靠传递、智能处理三个特征。 云计算提供对智能处理所需要的海量信息的分析和处理支持。2)云计算架构与互联网之上, 而物联网依赖于互联网来提供有效延伸。 因而, 云计算模式是物理网的后端支撑关键。 * 1.1: 1. Google 云计算原理(一) 文件系统 GFS1) 系统架构 2) 实现机制:① 节点分类: Client ---- Master ---- Chunk Server② Master 负责管理。 Client 与 Master 之间只有控制流,而没有数据流【数据流 与控制流 分离】③ Client 可以同时访问多个 Chunk Server 。【高度的 I/O 并行】3) 特点① 采用中心服务器 【Master 掌握 Chunk Server 情况,方便实现负载均衡】② 不缓存数据③ 在用户态下实现4)容错机制① Master 容错 : a. 对应 Chunk Server 留有备份② Chunk Server 容错: a. 多个副本备份(3 个) b. GFS 每个文件被分为多个 Chunk (64MB) c. Chunk 分为 Block(64kb), 每个 Block 对应一个 32 bit 校验和(二) 分布式计算编程模型 MapReduce1) 编程模型① 划分为 M 个 Map , 每一个 Map 针对不同的原始数据,互相独立、并行操作。 ② Reduce 操作则是对每个 Map 产生的中间结果进行合并。 每个 Reduce 所处理的最终结果互不交叉,通过简单相连即可形成完整的结果集。PS: Map: (in key, in value ) - N 个 MapReduce: ( key(value1,value2,. ) ) - 对相同的 Key 对应的 value 进行并行处理 // 统计单词出现次数,每个 Map
展开阅读全文
  微传网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:云计算和大数据基础知识.doc
链接地址:https://www.weizhuannet.com/p-9832969.html
微传网是一个办公文档、学习资料下载的在线文档分享平台!

微传网博客

网站资源均来自网络,如有侵权,请联系客服删除!

 网站客服QQ:80879498  会员QQ群:727456886

copyright@ 2018-2028 微传网络工作室版权所有

     经营许可证编号:冀ICP备18006529号-1 ,公安局备案号:13028102000124

收起
展开