• 构建数据网络 需要重视这五个地方

    可是,大数据的最关键属性并非在于它的规模,而在于它将大作业切分成很多小作业的能力,它才能将解决一两个任务的资源细化到好几个位置变成并行处理。在将大规模和分布式架构组合合为一体时,人们就能发觉大数据网络...
    文章 2019-04-16 778浏览量
  • 《路由设计的优化》一1.3 可靠性和弹性

    很明显,即使网络设备的可靠性非常高,但是只要网络到一定的规模,那么网络将不可避免地处于经常性的变动状态,变更的原因可能是设备故障,也可能是网络优化调整。因此,尽管可以通过减少网络变更和故障发生率来...
    文章 2017-05-02 1121浏览量
  • rmq_vs_kafka

    消费者的集群规模和队列数成正比,队列越多,消费类集群可以越 消息投递实时性 Kafka使用短轮询方式,实时性取决于轮询间隔时间,0.8以后版本支持长轮询。RocketMQ使用长轮询,同Push方式实时性一致,消息的投递...
    文章 2016-04-08 4438浏览量
  • [转载]聊聊Greenplum的那些事

    笔者有幸从04年就开始从事大规模数据计算的相关工作,08年作为Greenplum 早期员工加入Greenplum团队(当时的工牌是“005”,哈哈),记得当时看了一眼Greenplum的架构(嗯,就是现在大家耳熟能详的那个好多个X86框框...
    文章 2016-07-11 7029浏览量
  • 【阿里飞天】探索5K巅峰,云梯架设的飞天之梦

    以底层大规模分布式系统的性能优化和运维保障为基础,支撑起了更上层的平台——Open Data Processing System,开放数据处理服务。ODPS谱写飞天5K应用 ODPS和飞天的关系,可以追溯到更早的时候。2010年春节,ODPS的...
    文章 2016-09-11 5994浏览量
  • 中国为何要研制量子计算机?过去吃的那些亏你知道吗?

    量子计算机强大的并行计算和模拟能力,将为密码分析、气象预报、石油勘探、药物设计等所需的大规模计算难题提供了解决方案,从而为提高国家整体经济竞争力创造条件。科技影响力 目前,海量数据处理已成为急需攻克的...
    文章 2018-05-02 918浏览量
  • Serverless 架构的弹性高可用音视频处理系统

    前言 随着计算机技术和 Internet 的日新月异,视频点播...“阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的技术圈。
    文章 2019-12-17 330浏览量
  • 《Spark与Hadoop数据分析》——2.1 Apache Hadoop...

    Apache Hadoop 的 MapReduce 是一个核心处理引擎,它支持大规模数据负载的分布式处理。MR 已经在 Hadoop 0.23 版本中进行了彻底的改造,现在称为 MapReduce 2.0(MR v2)或 YARN。MapReduce v1 也称为经典 MapReduce...
    文章 2017-09-01 1422浏览量
  • 阿里双11网络技术揭秘:百万级物理和虚拟网络设备的...

    对可疑故障链路进行标红处理,通过庖丁可视化界面,轻松判断故障的发生原因。在故障发现、探测的最终结果可以对具体的用户呈现,也可以通过API形式对业务系统进行主动的信息推送。这意味着上层业务网络查询更加开放...
    文章 2018-01-05 4779浏览量
  • 阿里巴巴DevOps实践指南(十九)|监管控一体化运维

    基于阿里的大规模实践,我们发展出了以应用为中心,从上层业务到 PaaS 直至底层资源的全链路监控解决方案,为业务异常发现和定位提供了强有力的支撑。多样化运维为了实现监管控一体化,促进业务异常能快速自动恢复,...
    文章 2021-07-06 186浏览量
  • 基础设施助力双11(十):百万级物理和虚拟网络设备的...

    对可疑故障链路进行标红处理,通过庖丁可视化界面,轻松判断故障的发生原因。在故障发现、探测的最终结果可以对具体的用户呈现,也可以通过API形式对业务系统进行主动的信息推送。这意味着上层业务网络查询更加开放...
    文章 2019-07-31 847浏览量
  • 格灵深瞳 CEO 赵勇:Nvidia成功背后的远见与坚持

    在摩尔定律面临时钟频率无法继续进步的时代,GPGPU这种低成本大规模的SIMD并行处理架构,让很多普通人的计算机变成了超级电脑,也让本该寿终正寝的摩尔定律继续发光发热。他发明的GPGPU科技,给历经苦难的神经网络...
    文章 2017-08-01 1215浏览量
  • Serverless 架构的弹性高可用音视频处理系统

    通过 FnF 资源编排即可实现多个视频的并行处理以及单个视频的分布式处理,稳定性和监控交由云平台 学习上手成本 除了编程语言开发能力和熟悉 FFmpeg 以外,可能使用 K8S 或弹性伸缩(ESS),需要了解更多的产品、...
    文章 2020-03-23 440浏览量
  • 构建在线教育弹性高可用视频处理架构实战

    但在生产环境大规模运行的情况下,这套方案还是会暴露出很多问题: (1)维护工作量大。整套系统的维护工作量涵盖了虚拟、网络、负载均衡组件、操作系统、应用等多个层面,需要投入大量的时间和精力来保障系统的高...
    文章 2020-09-11 826浏览量
  • 轻松应对双11,百万级物理和虚拟网络设备的网络智能化...

    对可疑故障链路进行标红处理,通过庖丁可视化界面,轻松判断故障的发生原因。在故障发现、探测的最终结果可以对具体的用户呈现,也可以通过API形式对业务系统进行主动的信息推送。这意味着上层业务网络查询更加开放...
    文章 2017-12-14 1825浏览量
  • 《Spark与Hadoop数据分析》一一2.1 Apache Hadoop...

    它的用户能够快速开发并行的应用程序,从而专注于业务逻辑,而无需承担分发数据、分发用于并行处理的代码以及处理故障等繁重的工作。Apache Hadoop 主要包含四个项目:Hadoop Common、Hadoop 分布式文件系统(Hadoop...
    文章 2017-07-03 1946浏览量
  • 撮合系统设计

    通过釆用多热备份技术,降低了单一内存撮合引擎故障时系统不可用的问题,但仍旧无法提供100%的可用性,因为当出现大规模服务器集群故障时,仍旧存在服务不可用的可能性,但在实际生产环境中,三台互为备份的服务器就可以...
    文章 2016-09-16 22872浏览量
  • 如何构建一套高性能、高可用性、低成本的视频处理系统...

    但在生产环境大规模运行的情况下,这套方案还是会暴露出很多问题: 维护工作量大。整套系统的维护工作量涵盖了虚拟、网络、负载均衡组件、操作系统、应用等多个层面,需要投入大量的时间和精力来保障系统的高可用...
    文章 2020-10-29 1831浏览量
  • Serverless 架构的弹性高可用音视频处理系统

    通过 FnF 资源编排即可实现多个视频的并行处理以及单个视频的分布式处理,稳定性和监控交由云平台 学习上手成本 除了编程语言开发能力和熟悉 FFmpeg 以外,可能使用 K8S 或弹性伸缩(ESS),需要了解更多的产品、...
    文章 2019-11-21 5610浏览量
  • 还不懂HDFS的工作原理?快来扫扫盲

    它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。1、分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种...
    文章 2017-08-01 786浏览量
  • 高可用的数据计算平台如何持续发布和演进

    我们的方案是利用我们自己大规模运算平台的并行运算能力来验证兼容性测试,将编译查询作为一个MaxCompute的UDF,然后执行一个并行DAG执行来并行执行上百万查询的编译优化,然后在智能分析结果得到新功能的潜在风险。...
    文章 2016-12-29 4056浏览量
  • 《云数据中心构建实战:核心技术、运维管理、安全与高...

    在欧美国家,几乎所有家庭电脑都加入了分布式计算项目,可获取的计算能力非常庞大,因此分布式计算模式广泛应用于复杂的数学问题、密码安全、生物研究科学等大规模计算领域,解决了很多普通服务器不能处理的计算能力...
    文章 2017-07-03 1422浏览量
  • 独家|一文读懂数据处理框架

    这种模型能很容易实现大规模并行计算。事实上,与很多人理解不同的是,MapReduce对大数据计算的最大贡献,其实并不是它名字直观显示的Map和Reduce思想(正如上文提到的,Map和Reduce思想在Lisp等函数式编程语言中很...
    文章 2017-07-03 2500浏览量
  • Greenplum在企业生产中的最佳实践(下)

    另外,Hadoop是可以到非常规模,就是Hadoop可以到五千个节点,以阿里举例,飞天已经到五千个规模。这样从原理上来说,Hadoop比如在做一些请求的做,可以采用HAWQ类似的架构,你虽然五千个节点,但是我在跑SQL的...
    文章 2017-08-02 3025浏览量
  • 山哥的撮合系统火力加强升级版

    通过釆用多热备份技术,降低了单一内存撮合引擎故障时系统不可用的问题,但仍旧无法提供100%的可用性,因为当出现大规模服务器集群故障时,仍旧存在服务不可用的可能性,但在实际生产环境中,三台互为备份的服务器就可以...
    文章 2018-10-31 1765浏览量
  • 数据100分】数据架构及行业数据应用(中级教程...

    互联网的出现和快速发展,尤其是移动互联网的发展,加上数码设备的大规模使用(CCD,CMOS技术的大规模产业化),今天数据的主要来源已经不是人机会话了,而是通过设备、服务器、应用自动产生的。传统行业的数据同时...
    文章 2017-04-03 2120浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    那么从流式数据处理背后的系统架构去看这个问题,实际上实时的数据处理对于大规模大数据的处理系统带来了大规模的高要求的挑战。因为数据是实时产生的,但是由于成本原因或者处理能力的问题,数据一般采取“先存后算...
    文章 2017-03-13 6007浏览量
  • 《深入理解数据:数据处理与编程实践》一一3.1 ...

    (1)大规模数据分布存储能力HDFS以分布存储方式和良好的可扩展性提供了大规模数据的存储能力,可基于大量分布节点上的本地文件系统,构建一个逻辑上具有巨大容量的分布式文件系统,并且整个文件系统的容量可随集群...
    文章 2017-07-04 1211浏览量
  • MapReduce论文中文翻译

    使用MapReduce模型,再结合用户实现的Map和Reduce函数,我们就可以非常容易的实现大规模并行化计算;通过MapReduce模型自带的“再次执行”(re-execution)功能,也提供了初级的容灾实现方案。这个工作(实现一个...
    文章 2015-03-18 1745浏览量
  • 阿里巴巴为什么不用 ZooKeeper 做服务发现?

    ZooKeeper 看似很简单的一个产品,但在生产上大规模使用并且用好,并不是那么理所当然的事情。如果你决定在生产中引入 ZooKeeper,你最好做好随时向 ZooKeeper 技术专家寻求帮助的心理预期,最典型的表现是在两个...
    文章 2018-06-06 25512浏览量
1 2 3 4 6 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化