微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙)-阿里云开发者社区

开发者社区> 大数据> 正文
登录阅读全文

微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙)

简介: 微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙) 参考:http://www.quora.com/Distributed-Systems/What-is-Microsofts-Cosmos 宇宙是微软内部大数据分析平台。

微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙)

参考:http://www.quora.com/Distributed-Systems/What-is-Microsofts-Cosmos

宇宙是微软内部大数据分析平台。

COSMOS宇宙是由分布式计算组件(有点相当于Hadoop的Map/Reduce了使用微软Dryad的解决方案,它(不像的map-reduce)允许计算任意DAG。
COSMOS宇宙支持类似SQL的语法(类似于HIVE/PIG),包括分布式存储组件(与HDFS);总体而言,宇宙提供了高度可扩展的,可靠的,容错以及自动缩放计算的海量数据集的操作。

根据文献[1],[3],宇宙允许使用类似SQL的语法,如

source = EXTRACT col1, col2 FROM “A”
Data = SELECT * FROM source where (condition)

用来提取数据,而不需要明确的Map/Reduce是由用户开发者原始的使用它。

SCOPE语言,就像SQL中,还支持[3]等操作符那里,连接,缩小,以及用户定义的操作符。这些包括减速器(基本上,输入解析)等可编程操作中用户代码[1,3],并且产生平行的,优化的[1]“执行计划”的定义的查询。

COSMOS宇宙是Microsoft内部使用广泛,在巨大的服务器[4]的数量,存储大量数据,并且每天处理数据量庞大的:“我们每一天以 处理数百个PB量级的数据从必应,AdCenter,MSN和Windows Live“[Software Development Engineer, Principal-BING Job] .


我认为这是所有至今所我们公布

参考公共资源: Page on Microsoft Stuff Yaron Finds Interesting http://hpts.ws/papers/2011/sessi... Page on Microsoft Cloud Storage @Microsoft (with the Cosmos Team) is hiring!

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: