• / 62
  • 下载费用:10 金币  

大数据技术与应用(最全完整版).ppt

关 键 词:
大数据技术与应用(最全完整版).ppt
资源描述:
大数据技术与应用,目录,引言 → 电影《点球成金》,基于历史数据,利用数据建模定量分析不同球员特点,合理搭配,重新组队;,打破传统思维,通过分析比赛数据,寻找“性价比”最高球员,运用数据取得成功;,布拉德•皮特主演的《点球成金》是一部美国奥斯卡获奖影片,所讲述的是皮特扮演的棒球队总经理利用计算机数据分析,对球队进行了翻天覆地的改造,让一家不起眼的小球队能够取得巨大的成功。,数据本质是生产资料和资产,仅供开采162年,仅供开采45年,仅供开采60年,不可再生资源VS数据,数据不再是社会生产的“副产物”,而是可被二次乃至多次加工的原料,从中可以探索更大价值,它变成了生产资料。,,数据爆炸式增长(每分钟……),数据资产管理的挑战,数据资产管理的挑战,需要不同“看”数据的方式,7,可视:结构化资料 15%,未视:半/非结构化数据 85%,DB/DW,主管们看的 战情数位仪表板,其实是残缺的…,10万GB,10万TB,需要更高性价比的数据计算与储存方式,8,数据库,数据仓库,,,,计算更快 存储更省,9,需要不同的数据管理策略,,当我们想要扩充时, 才发觉: 架构只能 scale-up,scale-out 不易 处理时间过长,time-to-value 受限 成本过高,cost-efficiency 受限,15% 结构化的 DB/DW,,遗憾,残缺,,,,每天几百 GB、 几 TB 的资料,且持续成长中,,储存 Storing,在收数据的同时做必要的前置处理 (pre-processing) ,并区分数据处理的优先等级 (prioritizing),,计算 Processing,如何有效的避免因硬件毁坏所导致的资料损毁,,管理 Managing,如何从中挖掘出所关注事件的 pattern 或 behavior,,分析 Analyzing,超越企业现有 IT 的数据解决能量,10,中央政府对大数据的重视程度,11,,目录,二、什么是大数据,,一、大数据的来源,,13,Social Media,Machine / Sensor,DOC / Media,Web Clickstream,,Apps,Call Log,Log,什么是数据?,半结构化/非结构化数据,3/13/2012,4,什么是大数据?,何为大?—数据度量1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,3/13/2012,6,什么是大数据?,《红楼梦》含标点87万字(不含标点853509字) 每个汉字占两个字节:1汉字=16bit = 2*8位=2bytes 1GB 约等于 671部红楼梦 1TB 约等于 631,903 部 1PB 约等于 647,068,911部 美国国会图书馆藏书(151,785,778册)(2011年4月:收录数据235TB ) 中国国家图书馆:2631万册1EB = 4000倍 美国国会图书馆存储的信息量600美元的硬盘就可以存储全世界所有的歌曲MGI估计,全球企业 2010 年在硬盘上存储了超过 7EB(1EB 等于 10 亿 GB) 的新数据,同时,消费者在 PC 和笔记本等设备上存储了超过 6EB 新数据,3/13/2012,7,数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务,什么是大数据?,大数据的解释,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据就是“未来的新石油”。,大数据带来的思维变革,更好 不是因果关系而是相关关系,更多 不是随机样本而是全部数据,,更杂 不是精确性而是混杂性,大数据带来的思维变革(更多),人口大普查 全数据模式,随机采样 样本模式,大数据应用 全数据模式,是指在国家统一规定的时间内,按照统一的方法、统一的项目、统一的调查表和统一的标准时点,对全国人口普遍地、逐户逐人地进
展开阅读全文
  微传网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:大数据技术与应用(最全完整版).ppt
链接地址:https://www.weizhuannet.com/p-9809669.html
微传网是一个办公文档、学习资料下载的在线文档分享平台!

微传网博客

网站资源均来自网络,如有侵权,请联系客服删除!

 网站客服QQ:80879498  会员QQ群:727456886

copyright@ 2018-2028 微传网络工作室版权所有

     经营许可证编号:冀ICP备18006529号-1 ,公安局备案号:13028102000124

收起
展开