• 数据处理与编程实践》一一1.3 MapReduce并行计算...

    3)把处理向数据迁移传统高性能计算系统通常很多处理器节点与一些外存储器节点相连,如存储区域网络(Storage Area,SAN Network)连接的磁盘阵列,因此,大规模数据处理时外存文件数据I/O访问会成为一个制约...
    文章 2017-07-04 1847浏览量
  • 云计算和数据有什么关系?

    国内相当多的电商企业,小型和Oracle扛了好几年,并请了全国最牛的Oracle的专家不停优化他的Oracle和小型,初期发展可能很快,但是后来由于数据量激增,业务开始受到严重影响,最典型的例子无疑是京东商城前...
    文章 2015-03-20 871浏览量
  • 《CUDA C编程权威指南》——1.2 异构计算

    GPU最初是被设计用来专门处理并行图形计算问题的,随着时间的推移,GPU已经成了更强大且更广义的处理器,在执行大规模并行计算中有着优越的性能和很高的效率。CPU和GPU是两个独立的处理器,它们通过单个计算节点中的...
    文章 2017-07-03 1982浏览量
  • 《CUDA C编程权威指南》——1.2节异构计算

    GPU最初是被设计用来专门处理并行图形计算问题的,随着时间的推移,GPU已经成了更强大且更广义的处理器,在执行大规模并行计算中有着优越的性能和很高的效率。CPU和GPU是两个独立的处理器,它们通过单个计算节点中的...
    文章 2017-05-02 1625浏览量
  • 什么用GPU挖比特币?

    那个数学问题有什么用啊?求解啊?所谓的计算特定数学问题(挖矿),其实是在生成 block(一种用于维护 比特币 系统的安全性的机制).它所涉及的密码学本质导致它越来越难算.这个计算与其他的分布计算项目没有任何关系,...
    文章 2013-11-21 1412浏览量
  • 《多核与GPU编程:工具、方法及实践》-1.5 并行程序...

    7.使用合并排序算法实现一个简单的排序程序,该程序用来对大规模(比如107)32位的整型数据进行排序。输入和输出数据存储在文件中,所以I/O操作为该应用程序的串行部分。尽管合并排序算法不能在任意多个处理器上平均...
    文章 2017-05-02 1268浏览量
  • MapReduce原理与设计思想

    出错处理以低端商用服务器构成的大规模MapReduce计算集群中,节点硬件(主机、磁盘、内存等)出错和软件bug是常态因此,MapReducer需要能检测并隔离出错节点并调度分配新的节点接管出错节点的计算任务 分布式数据存储...
    文章 2016-04-21 2947浏览量
  • MapReduce原理与设计思想(转载:...

    如果把外存价格除外,低端服务器性价比大约提高12倍对于大规模数据处理由于大量数据存储需要显而易见基于低端服务器的集群远比基于高端服务器的集群优越这就是为什么MapReduce并行计算集群会基于低端服务器实现 ...
    文章 2017-06-02 1864浏览量
  • 《深入理解数据:数据处理与编程实践》一一1.2 ...

    除上述两种方法外,目前为止,大数据处理最为有效和最重要的方法还是采用大数据并行化算法,在一个大规模的分布式数据存储和并行计算平台上完成大数据并行处理。1.2.4 大数据计算模式和系统MapReduce计算模式的...
    文章 2017-07-04 3187浏览量
  • 解密阿里云大规模深度学习性能优化实践

    其次,众所周知,建设大规模并行文件系统不仅需要建设大容量的并行文件系统,而且对于并行文件系统的稳定性和可靠性的挑战是非常之高的。另外,需要建设大规模、高带宽的 TCP 或者 RDMA 网络也非常困难,需要规划和...
    文章 2020-04-09 1875浏览量
  • 解密阿里云大规模深度学习性能优化实践

    其次,众所周知,建设大规模并行文件系统不仅需要建设大容量的并行文件系统,而且对于并行文件系统的稳定性和可靠性的挑战是非常之高的。另外,需要建设大规模、高带宽的 TCP 或者 RDMA 网络也非常困难,需要规划和...
    文章 2020-04-10 1555浏览量
  • 数据算法》一1.2 数据算法

    那么,数据上的计算问题与传统的计算问题有什么本质区别呢?第一个不同之处是数据量,就是说处理的数据量要比传统的数据量。第二个不同之处是有资源约束,就是说数据量可能很,但是能真正用来处理数据的资源是...
    文章 2017-06-21 2144浏览量
  • Google MapReduce到底解决什么问题?

    画外音:MapReduce系统架构,能在大规模普通PC集群上实现并行处理,和GFS等典型的互联网架构类似。用户仅仅关注少量接口,不用关心并行、容错、数据分布、负载均衡等细节,又能够解决很多实际的问题,还有这等好事!...
    文章 2019-08-08 447浏览量
  • 数据面临的挑战:当数据遭遇云计算

    国内相当多的电商企业,小型和Oracle扛了好几年,并请了全国最牛的Oracle的专家不停优化他的Oracle和小型,初期发展可能很快,但是后来由于数据量激增,业务开始受到严重影响,最典型的例子无疑是京东商城前...
    文章 2017-09-01 2100浏览量
  • 《OpenACC并行程序设计:性能优化实践指南》一 1.1 ...

    通过使用多个线程,应用程序可以使用并行硬件,例如多核处理器和大规模并行GPU。通过多个线程并发执行,这些并行硬件使得应用程序运行得更快,同时意味着单位时间内可以执行更多任务。类似地,任务并行关注跨多个...
    文章 2017-09-08 2689浏览量
  • 数据面临的挑战:当数据遭遇云计算

    国内相当多的电商企业,小型和Oracle扛了好几年,并请了全国最牛的Oracle的专家不停优化他的Oracle和小型,初期发展可能很快,但是后来由于数据量激增,业务开始受到严重影响,最典型的例子无疑是京东商城前...
    文章 2017-09-28 1178浏览量
  • GPU-并行计算利器

    而GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。因此GPU的芯片比CPU芯片简单很多。举个例子,假设一堆相同的加减乘除计算任务需要处理,那把这个任务交给一堆(几十个)...
    文章 2015-12-07 3451浏览量
  • 《Python分布式计算》第1章 并行和分布式计算介绍...

    显卡,或图形处理器(GPU),往往是大规模并行机制,含有数百乃至上千个处理单元。我们周围的计算机网络无处不在,包括:Internet、WiFi、4G网络。本章剩余部分会探讨一些定义。我们会介绍并行和分布式计算的概念。...
    文章 2017-10-11 1356浏览量
  • Google MapReduce到底解决什么问题?

    画外音:MapReduce系统架构,能在大规模普通PC集群上实现并行处理,和GFS等典型的互联网架构类似。用户仅仅关注少量接口,不用关心并行、容错、数据分布、负载均衡等细节,又能够解决很多实际的问题,还有这等好事!...
    文章 2018-11-30 1791浏览量
  • 《OpenCL实战》一1.2 为什么是OpenCL

    如果你大规模的应用程序的编程经验,你肯定接触过并发(concurrency)[4]的概念——顺序代码通过任务调度在进程(或线程)间实现资源分享,并行执行。OpenCL包含了并发的特点,但更重要的是它带来了并行编程...
    文章 2017-05-02 4146浏览量
  • 开源数据引擎:Greenplum 数据库架构分析

    而Greenplum数据库做为一个分布式大规模并行处理数据库,在大多数情况下,更适合做大数据的存储引擎、计算引擎和分析引擎。Greenplum数据库也简称GPDB。它拥有丰富的特性: 第一,完善的标准支持:GPDB完全支持ANSI ...
    文章 2017-07-04 3350浏览量
  • 好程序员数据培训分享数据两核心技术

    它也是一个顶级Apache项目,专注于在集群中并行处理数据,一区别在于它在内存中运行。类似于Hadoop读取和写入文件到HDFS的概念,Spark使用RDD(弹性分布式数据集)处理RAM中的数据。Spark以独立模式运行,Hadoop集群...
    文章 2020-06-05 980浏览量
  • Visual C++加速大规模并行计算》——1.1 为什么...

    本节书摘来自异步社区出版社《C++ AMP:Visual C++加速大规模并行计算》一书中的第1章,第1.1节,作者:【美】Kate Gregory,Ade Miller,更多章节内容可以访问云栖社区“异步社区”公众号查看。1.1 为什么选择...
    文章 2017-05-02 2587浏览量
  • 达摩院重要科技突破!空天数据库引擎Ganos解读

    其中,三管齐下提升数据并行处理性能:采用分布式共享存储架构有效避免了数据跨节点shuffle带来的网络IO开销;基于拓扑索引的粗过滤加精过滤两阶段查询大幅提升空天数据查询过滤性能;跨节点并行、节点内并行加算子...
    文章 2021-05-24 17226浏览量
  • [转载]聊聊Greenplum的那些事

    道理比较简单,所谓术业专攻,就像制造跑车的不会亲自生产车轮一样,我们只要专注在分布式技术中最核心的并行处理技术上面,协调我们下面的轮子跑的更快更稳才是我们的最终目标。而数据库底层组件就像车轮一样,...
    文章 2016-07-11 7173浏览量
  • 扫盲人工智能的计算力基石-异构计算

    这为大规模的数据并行处理提供了基础。其实,这个帮手在特定工作中远远超过了师傅(切菜洗菜超级快),大厨可以放心地把算法简单、重复性高、需要大量并行操作的工作交给它。但是GPU支持的控制复杂度较低。当你要求...
    文章 2018-06-26 12001浏览量
  • Teradata李向前:数据平台的八特征

    它的优势是既可以借鉴MapReduce过程并行机制的优势,同时也发挥已MPP数据仓库并行处理的能力。另外,这种类型的产品已经经过多年的实践验证。比如MySpace、AT&T等都在使用Teradata Aster平台,而且商用化程度...
    文章 2017-09-28 2040浏览量
  • 为打造无人仓,菜鸟自研了一套柔性自动化技术

    柔性自动化有什么特点?首先它的扩展性非常强,随着订单的增长可以快速部署机器人,部署新的自动化设备,使它能够处理更多的订单,而且它的鲁棒性强,也就是单点的问题不会造成整个仓库的问题。然后是模块化的设计,...
    文章 2018-06-04 2067浏览量
  • 专访阿里巴巴量子实验室:最强量子电路模拟器“太章”...

    通常拆分电路模型需要把每一层来并行化,但这样会导致整个电路层数很的时候,并行的任务数指数增加过快。我们同时将若干层进行并行化,可以有效控制并行任务数的增加。陈建鑫说。此外,他还指出“太章”也在一定...
    文章 2018-05-21 5913浏览量
  • 天河三号原型研制完成,中国超算有望重回No.1

    E级计算机有什么用?可以参考国家超级计算天津中心相关负责人的下面这段公开表述: 今后将依托“天河三号”超级计算机,构建超级计算与云计算和大数据深度融合的高性能计算服务平台,在长效高分辨率气候气象预报、...
    文章 2018-07-30 1810浏览量
1 2 3 4 ... 34 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化