• 数据处理与编程实践》一一1.3 MapReduce并行计算...

    但由于MapReduce可以普遍应用于很多大规模数据的计算问题,因此自发明MapReduce以后,Google公司内部进一步将其广泛应用于很多大规模数据处理问题。到目前为止,Google公司内有上万个各种不同的算法问题和程序都使用...
    文章 2017-07-04 1801浏览量
  • 《多核与GPU编程:工具、方法及实践》-1.5 并行程序...

    7.使用合并排序算法实现一个简单的排序程序,该程序用来对大规模(比如107)32位的整型数据进行排序。输入和输出数据存储在文件中,所以I/O操作为该应用程序的串行部分。尽管合并排序算法不能在任意多个处理器上平均...
    文章 2017-05-02 1257浏览量
  • 多核时代:并行程序设计探讨(1)——并行系统

    2.3.1 MPP(massively parallel processors)大规模并行处理系统 这样的系统是由许多松耦合的处理单元组成的,要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源,如总线,内存,硬盘等...
    文章 2009-06-24 1545浏览量
  • 数据算法》一1.2 数据算法

    3.单个计算机难以保存全部数据,计算需要整体数据在一些情况下,单个计算机难以保存或者在时间约束内处理全部数据,而计算需要整体数据,在这种情况下一个办法就是采取并行处理技术,即使用多台计算机协同工作。并行...
    文章 2017-06-21 2074浏览量
  • MapReduce原理与设计思想

    例如假设有一个巨大的2维数据需要处理(比如求每个元素的开立方)其中对每个元素的处理是相同的,并且数据元素间不存在数据依赖关系,可以考虑不同的划分方法将其划分为子数组,由一组处理器并行处理 2.构建抽象模型-Map...
    文章 2016-04-21 2926浏览量
  • 《深入理解数据:数据处理与编程实践》一一1.2 ...

    除上述两种方法外,目前为止,大数据处理最为有效和最重要的方法还是采用大数据并行化算法,在一个大规模的分布式数据存储和并行计算平台上完成大数据并行处理。1.2.4 大数据计算模式和系统MapReduce计算模式的...
    文章 2017-07-04 3163浏览量
  • 《Python分布式计算》第1章 并行和分布式计算介绍...

    显卡,或图形处理器(GPU),往往是大规模并行机制,含有数百乃至上千个处理单元。我们周围的计算机网络无处不在,包括:Internet、WiFi、4G网络。本章剩余部分会探讨一些定义。我们会介绍并行和分布式计算的概念。...
    文章 2017-10-11 1334浏览量
  • 解密阿里云大规模深度学习性能优化实践

    其次,众所周知,建设大规模并行文件系统不仅需要建设大容量的并行文件系统,而且对于并行文件系统的稳定性和可靠性的挑战是非常之高的。另外,需要建设大规模、高带宽的 TCP 或者 RDMA 网络也非常困难,需要规划和...
    文章 2020-04-09 1849浏览量
  • 解密阿里云大规模深度学习性能优化实践

    其次,众所周知,建设大规模并行文件系统不仅需要建设大容量的并行文件系统,而且对于并行文件系统的稳定性和可靠性的挑战是非常之高的。另外,需要建设大规模、高带宽的 TCP 或者 RDMA 网络也非常困难,需要规划和...
    文章 2020-04-10 1482浏览量
  • 用Visual C++加速大规模并行计算》——1.1 为什么...

    本节书摘来自异步社区出版社《C++ AMP:用Visual C++加速大规模并行计算》一书中的第1章,第1.1节,作者:【美】Kate Gregory,Ade Miller,更多章节内容可以访问云栖社区“异步社区”公众号查看。1.1 为什么选择...
    文章 2017-05-02 2557浏览量
  • 秒极黑洞 解决大规模DDoS攻击导致的“躺枪”

    其次,阿里云云盾的检测与黑洞联动是完全自动化的,即一旦发现有大规模DDoS情况的发生,系统将自动化完成黑洞策略的下发和执行。自动化保证了2秒的高效率。如果人工/手工的方式,延迟可能是分钟级甚至更长。对于绝...
    文章 2017-09-04 1784浏览量
  • [转载]聊聊Greenplum的那些事

    问题来了,在X86集群上实现自动的并行计算,无论是后来的MapReduce计算框架还是MPP(海量并行处理)计算框架,最终还是需要软件来实现,Greenplum正是在这一背景下产生的,借助于分布式计算思想,Greenplum实现了...
    文章 2016-07-11 7114浏览量
  • 多核时代多线程编程(一)基本策略

    还有一种则是总体需要串行,但中间有些步骤可以并发执行(事实上所有能并发处理问题都是这种类型,只是看具体问题规模及分解情况),这个时候就需要处理依赖(前置步骤)与等待(同步)问题,最终按顺序完成。...
    文章 2016-10-18 3368浏览量
  • GPU计算的十大质疑——GPU计算再思考

    针对上述论断,对GPU并行性能提升最有效的反驳就是根据观察,现代计算机体系架构想要提高性能,必须将所有代码尽可能的做到大规模并行化,并且尽可能地去减少串行代码,不论是在CPU平台还是在GPU平台上。问题是,你...
    文章 2014-06-18 2170浏览量
  • 什么Flink会成为下一代数据处理框架的标准?

    同时在全球范围内,越来越多的公司开始使用Flink,在国内比较出名的互联网公司如Alibaba,美团,滴滴等,都在大规模的使用Flink作为企业的分布式大数据处理引擎。Flink在近年来逐步被人们所熟知和使用,其主要原因...
    文章 2019-09-21 1159浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    那么从流式数据处理背后的系统架构去看这个问题,实际上实时的数据处理对于大规模大数据的处理系统带来了大规模的高要求的挑战。因为数据是实时产生的,但是由于成本原因或者处理能力的问题,数据一般采取“先存后算...
    文章 2017-03-13 6084浏览量
  • 双11数据大屏背后:大规模流式增量计算及应用(附资料...

    那么从流式数据处理背后的系统架构去看这个问题,实际上实时的数据处理对于大规模大数据的处理系统带来了大规模的高要求的挑战。因为数据是实时产生的,但是由于成本原因或者处理能力的问题,数据一般采取“先存后算...
    文章 2017-05-22 1651浏览量
  • Spark 数据倾斜及其解决方案

    如果调整 Shuffle 时的并行度,使得原本被分配到同一 Task 的不同 Key 发配到不同 Task 上处理,则可降低原 Task 所需处理的数据量,从而缓解数据倾斜问题造成的短板效应。(1)操作流程 RDD 操作 可在需要 Shuffle ...
    文章 2019-12-30 1092浏览量
  • Spark分布式计算引擎的应用

    一旦考虑到这一步,问题会变得非常复杂,并不是像说的通过网络获取数据这么简单,各个节点的中间结果往哪存、怎么存,聚合节点什么时间可以开始通过网络拉数据,网络延迟、中断这种情况如何处理,两者之间需要建立一...
    文章 2018-12-06 1679浏览量
  • Spark 数据倾斜及其解决方案

    如果调整 Shuffle 时的并行度,使得原本被分配到同一 Task 的不同 Key 发配到不同 Task 上处理,则可降低原 Task 所需处理的数据量,从而缓解数据倾斜问题造成的短板效应。(1)操作流程 RDD 操作 可在需要 Shuffle ...
    文章 2019-12-30 3016浏览量
  • 一文详解大规模数据计算处理原理及操作重点

    大数据技术主要针对的是大规模数据的计算处理问题,那么要想解决的这一问题,首先要解决的就是大规模数据的存储问题大规模数据存储要解决的核心问题有三个方面: 数据存储容量的问题,既然大数据要解决的是数以PB...
    文章 2018-08-08 1604浏览量
  • SQL 查询的分布式执行与调度

    由于并行处理任务结束的时间取决于最慢的任务,因此数据倾斜对执行性能的影响很。一般来说,第一种数据倾斜的情况较为容易处理,我们可以通过再平衡和换用更好的分区方法来解决。第二种数据倾斜就比较难预测和处理...
    文章 2020-02-03 715浏览量
  • 【ATF】钱正平:大规模实时计算及其在阿里的应用与...

    这一平台日均处理千亿级数据,平均CPU利用率30%以上(对比搜索引擎的20-30%集群利用率,已经非常高),支持上千个结点的大规模集群和成千上万的计算任务,是久经考验的通用实时计算平台。大规模实时计算及其在阿里的...
    文章 2016-04-16 6131浏览量
  • 什么需要云压力性能测试?

    对移动用户来说,在各种网络条件下进行测试是特别重要的,因为不同于台式和笔记本电脑用户,他们受到有限的带宽,延迟和数据包丢失影响的比率更。并行化的要求:现代浏览器检索静态资源时有并行处理HTTP请求的...
    文章 2016-05-19 1817浏览量
  • 【独家】段路明“量子计算与人工智能”讲座精华报告...

    另外一方面,我们也需要把这个系统规模化实现大规模量子计算,其中一种是通过量子网络的方法,离子发射光子,然后制备离子和光子的纠缠态,可以把单个的原子或光子纠缠起来,这是大概十年前发表在Nature上的一个工作...
    文章 2018-05-04 1205浏览量
  • 2021算法岗基础技能树怎么点?

    XGBoost:xgboost是大规模并行boosted tree的工具,它是目前最快最好的开源boosted tree工具包,比常见的工具包快10倍以上。在数据科学方面,有大量kaggle选手选用它进行数据挖掘比赛,其中包括两个以上kaggle比赛的...
    文章 2020-04-13 767浏览量
  • 《数据结构与算法:Python语言描述》一1.3算法和算法...

    人工计算只能处理极简单问题的规模很小的实例,不能完成大规模计算。要解决有一定规模、有实际价值的问题,必须借助于能自动运行的计算机器。今天能利用的就是常见的电子计算机。要指挥其工作,就需要做出计算机能...
    文章 2017-05-02 2798浏览量
  • 【阿里云新品发布·周刊】第2期:阿里巴巴航母级计算...

    容器镜像服务-企业版发布容器镜像服务-企业版,具备更强的安全及镜像分发能力:适合拥有安全需求较高且拥有大规模节点的企业级客户。进一步保障您镜像的存储及访问的多方安全,保障您业务的极速部署,解决大镜像分发...
    文章 2019-03-19 2212浏览量
  • 中国为何要研制量子计算机?过去吃的那些亏你知道吗?

    量子计算机强大的并行计算和模拟能力,将为密码分析、气象预报、石油勘探、药物设计等所需的大规模计算难题提供了解决方案,从而为提高国家整体经济竞争力创造条件。科技影响力 目前,海量数据处理已成为急需攻克的...
    文章 2018-05-02 931浏览量
  • 多天线传输技术分类|带你读《大规模天线波束赋形 技术...

    基站侧有了小区里各个终端的、准确的信道状态信息之后,基站在调度与预编码过程中,就可以在更范围内进行优化并计算准确的预编码方式,来匹配每个用户的信道,达到更好的系统性能。如果基站能够准确获知用户的...
    文章 2020-01-06 2316浏览量
1 2 3 4 ... 18 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化