云计算：概念、架构与技术

余翔宇什么是云计算？理论上：云计算是一种新兴的计算模型，用户可以利用该模型在任何地方通过连接的设备访问应用程序，应用程序位于可大规模伸缩的数据中心，计算资源可在其中动态部署并进行共享。现实中：云计算泛指了一切与云计算的概念、架构、技术体系相关的事物云计算是一种理念、也是一种潮流云计算中的概念云计算的架构云计算中的技术云计算的概念1）云计算将IT相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet获取需要的服务2）云计算是分布式计算、并行计算和网格计算的发展，或者说是这些科学概念的商业实现。云计算的概念本身具有很强的包“云”的本意指的是成千上万台电脑和服务器互联的电脑云。这种基于互联网的超级计算模式可以让我们从“云”端获得的计算能力可以达到超级计算机的效果。云计算的概念云计算的概念旧瓶装新GooglemicrosoftamazonyahooIBM公有云私有云行业云云计算就是互联网的未来互联网数据的急剧膨胀，需要云计算的架构与技术来满足用户对数据快速读取、写入与分析的需求。云计算带来了新的盈利模式，互联网和软件公司有了利益再分配的机会。

以google为首的软件公司们推动了云计算，它们的目的却各不相同。云计算的概念Google的野心云计算的概念优势领先的服务端数据中心技术，极大的互联网访问量不足单一的盈利模式转变用户习惯使用软件->调用服务丰富云端服务地图,办公，视频。。现状推动云计算androidchromeos并购moto加强云终端力量微软的应对云计算的概念云终端数量绝对优势掌控云的入口，用户不知不觉使用云服务WindowsphoneWp8平板不惧挑战扩大云终端优势Office365,bing,Skype提倡软件+服务加强云端服务独特的苹果云计算的概念优秀的云终端产品Iphone,ipad,mac优秀的商业模式音乐商店，应用商店弥补封闭体系的不足云终端间的信息分享商业与技术的完美结合云端数据存储内容服务？Book,ad..应用服务？属于苹果的云计算商业模式云计算的概念擅长概念包装的IBM(向云靠拢)云计算的概念Amazon-云时代的基础架构服务商云存储服务弹性云托管高性能计算云计算的架构Softwareservice云计算的架构Openstack云计算的架构公有云平台服务体系(微软)云计算的架构基本行业云平台搭建分布式存储系统分布式计算引擎集群(机房建设、通风口设计)及基础设施分布式文件系统NosqlRDBMSMap/Reduce分布式锁负载均衡请求分发对象缓存云计算的架构google架构GoogleFileSystemMap/reduceBigTablechubby云计算的架构Hadoop架构云计算的技术节点故障：能够进行错误检测和快速、自动的恢复且继续运行而让用户察觉不到明显的中断海量数据存储：支持大文件存储并行计算云计算，数据能在集群中迅速扩展。

写入次数远小于读取(体现高效)云计算的技术Master/slave架构云计算的技术Nosql(NotOnlySQL)特点二：模式自由、支持简易复制、API访问、最终一致性、大容量数据Nosql两大基础理论云计算的技术Nosql(NotOnlySQL)Key-value存储类似哈希表，一个Key对应一个Value，BerkleyDB、Memcached结构化数据存储将Key-Value存储的Value变成了结构化的数据类型,RedisKey-文档存储Value主要以JSON或者XML等具有语义的格式文档来进行存储，并支持Value二级索引，CouchDB、MongoDB、Riak云计算的技术Nosql(NotOnlySQL)MongoDB是面向集合的,模式自由的文档型数据库，是目前Nosql当中功能最丰富，最像关系数据库的。支持的数据结构非常松散，是类似json的bjson格式，可以存储比较复杂的数据类型。MongoDB最大的特点是支持的查询语言非常强大，可以实现类似关系数据库单表查询的绝大部分功能，支持对数据建立索引。运行于自带的GridFS分布式文件系统之上云计算的技术Nosql(NotOnlySQL)Hbase、Cassandra、GoogleBigTable列式存储，数据各项被存储在不同的列中，列的集合称作列簇。

列中每一个数据都包含一个时间戳属性，列中的同一个数据项的多个版本都能保存下来。行ID、列簇号，列号以及时间戳一起，组成一个Key，然后将Value按Key的顺序进行存储。能天然地进行高效的松散列数据（在很多行中并没有某列的数据）存储。可将多个列并为一个小组，通过将相似Column放在一起存储提高存储和查询效率bigTable在复杂查询方面比较弱，比如多表的联合查询。云计算的技术Nosql(NotOnlySQL)HBASE的数据表是一个稀疏的，持久化的，多维度的，排序的映射表。这张表的索引是行关键字，列关键字和时间戳云计算的技术Map：将一个对集合的计算操作转变为对集合中各元素的并行计算Map/Reduce将对数据集的大规模操作分发给集群中的每个分布式节点；每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超过一个预设的时间间隔，这个节点状态被认为已死亡，原分配给这个节点的计算任务会被分发到别的节点云计算的技术1,编写一个程序能够统计每单个机器上的论文单词出现频率2,将该程序map到集群中3,reduce结果整合云计算的技术接受key为单词w，值为所有键值对的集合Output取出最终结果云计算的技术hadoop实现过程inputmapshufflereduceoutput设置map和reduce函数设置作业参数jobjob=newjobjob.setMapperClass(…);job.setReduceClass(…);对中间键值对按key分组排序云计算的技术系统实现流程(jobtracker与tasktracker)云计算的技术Hadooppig类似sql云计算的技术cachecachenodechildQ&A

（编辑：92站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!