• 解密阿里云大规模深度学习性能优化实践

    而 AIACC 可以做到统一的分布式模式和分布式性能加速,这样调度层可以做到统一的分布式调度,应用层可以做到统一的分布式计算,同时对于底层分布式通信的优化只需要一份工作,各种框架都能享受到性能提升的好处。...
    文章 2020-04-09 1854浏览量
  • 解密阿里云大规模深度学习性能优化实践

    而 AIACC 可以做到统一的分布式模式和分布式性能加速,这样调度层可以做到统一的分布式调度,应用层可以做到统一的分布式计算,同时对于底层分布式通信的优化只需要一份工作,各种框架都能享受到性能提升的好处。...
    文章 2020-04-10 1504浏览量
  • MaxCompute有关优化复杂数据分布的实践

    分区剪枝:利用数据分布特性,我们可以做分区剪枝来减少数据读取。例如,哈希分布对于点查询,范围分布对于区间查询可以应用分区剪枝。消除重分布:如果当前的分布满足后续算法的要求,我们可以消除额外的重分布操作...
    文章 2017-11-26 3478浏览量
  • MaxCompute复杂数据分布的查询优化实践

    1、分区剪枝:利用数据分布特性,我们可以做分区剪枝来减少数据读取。例如,哈希分布对于点查询,范围分布对于区间查询可以应用分区剪枝。2、消除重分布:如果当前的分布满足后续算法的要求,我们可以消除额外的重...
    文章 2017-12-11 3522浏览量
  • MaxCompute复杂数据分布的查询优化实践

    1、分区剪枝:利用数据分布特性,我们可以做分区剪枝来减少数据读取。例如,哈希分布对于点查询,范围分布对于区间查询可以应用分区剪枝。2、消除重分布:如果当前的分布满足后续算法的要求,我们可以消除额外的重...
    文章 2017-12-29 1853浏览量
  • 基于代价的优化

    再分享分布式优化问题的里另外一个例子,如图所示,T1和T2还是在a上面进行join,join完成之后会有一个条件限制T1.a>20,完成之后会进行project,并将完成的结果当做新的一列b,最终希望所有的结果是order by b的...
    文章 2017-03-13 7030浏览量
  • Java程序员需要突破的技术要点

    总的来说,分布式系统要的任务就是把多台机器有机的组合、连接起来,让其协同完成一件任务,可以是计算任务,也可以是存储任务。如果一定要给近些年的分布式系统研究一个分类的话,我个人认为大概可以包括三大...
    文章 2018-09-06 17135浏览量
  • 支付宝工程师如何搞定关系数据库的“...——查询优化

    OceanBase 目前采用两阶段的方式来做分布式优化。在第一阶段,OceanBase 基于所有表都是本地的假设生成一个最优本地计划。在第二阶段,OceanBase 开始并行优化,用启发式规则来选择本地最优计划中算子的分布式算法...
    文章 2019-05-29 1179浏览量
  • POLARDB云数据库分布式存储引擎揭秘

    怎么去一个高性能的分布式存储系统,同时让它稳定,我们为什么不用已有分布式存储系统,因为我们要在稳定系统和存储系统当中加入对数据库的理解优化,让它成为一个为数据库定制和优化的智能存储。我们过去单机...
    文章 2017-10-27 4102浏览量
  • POLARDB云数据库分布式存储引擎揭秘,POLARDB和MySql 5...

    怎么去一个高性能的分布式存储系统,同时让它稳定,我们为什么不用已有分布式存储系统,因为我们要在稳定系统和存储系统当中加入对数据库的理解优化,让它成为一个为数据库定制和优化的智能存储。我们过去单机...
    文章 2018-07-19 2706浏览量
  • 深度干货|云原生分布式数据库 PolarDB-X 的技术演进

    一、PolarDB-X是什么 PolarDB-X最早起源于阿里集团2009年提出用分布式架构替代传统商业数据库&xff0c;阿里研发了TDDL分库分表中间件。2014年阿里集团开始全面上云&xff0c;将TDDL升级成DRDS分布式数据库服务&xff0c;...
    文章 2021-10-11 1浏览量
  • MaxCompute 2.0 NewSQL演进之路

    大量NoSQL的用户自定义函数、分布式场景中各种动态环境(分配worker的拓扑结构、Failure Region的分布)等因素下,想要做到编译时优化和运行时优化的平衡,就要求强大的引擎来进行运行时优化:选择分区数目,边界;...
    文章 2017-10-25 4578浏览量
  • DTCC 2020|阿里云李飞飞:云原生分布式数据库与数据...

    传统的冯诺依曼架构下计算和存储是紧密耦合的,可将多个服务器通过分布式协议和处理的方式连成一个系统,但是服务器和服务器之间、节点和节点之间,分布式事务的协调、分布式查询的优化,尤其要保证强一致性、强ACID...
    文章 2021-01-07 6867浏览量
  • 《大型网站系统与Java中间件》读书笔记(上)

    这本书《大型网站系统与Java中间件》的前三章主要是铺垫什么是中间件、什么分布式(从单机演进到分布式的过程)以及讲述了网站的架构演进过程,剩下的是回顾一些基础。比如说: bio/nio/aio HTTP/Session JVM Java多...
    文章 2019-06-10 4904浏览量
  • 深度|为你解读 SOFA-DTX 分布式事务的设计演进路线上...

    主要讲解 SOFA-DTX 如何满足支付业务的核心需求,保障分布式环境下交易一致性,并且在此之上的严苛的工程优化。随着互联网技术快速发展,数据规模增大,采用分布式数据库或者跨多个数据库的分布式微服务应用在中大...
    文章 2019-08-03 664浏览量
  • OceanBase CTO 杨传辉:下一代企业级分布式数据库的...

    可以写入远程分布式存储。由于数据块往往可以通过 buffer pool 缓存到 SQL 计算节点&xff0c;大部分场景能够做到本地化处理&xff0c;性能较好。这也是 Oracle RAC 系统中采用的方案。今天参与直播的同学应该有很多从事...
    文章 2021-05-08 309浏览量
  • 数据库相关岗位面试准备建议

    cgroup 可以做哪些隔离, Linux下面有哪些虚拟技术,他们的差异。进程、线程间通信技术 进程、线程、协程。存储 比如 传统文件系统 卷管理 INODE 分布式文件系统 DIO与BUFFERIO 如何测试存储性能 fadvise 网络 比如 ...
    文章 2018-10-05 2251浏览量
  • 架构设计基础:单服务....分布式,基本区别和联系

    言归正传,分布式架构对于Java开发来说基本算是分水岭,能不能从开发层面跳出来,就看你工作个三五年之后,对分布式系统理解到什么程度。单服务应用,基于单服务集群化部署,这种操作运维可以自行搭建环境,所以...
    文章 2020-04-17 907浏览量
  • 分布式光伏如何融合储能、多能互补、微电网实现多方...

    可以肯定的是,分布式光伏穿透率的提高会给电力系统带来一些列的挑战,需要通过增加电力系统的中备用电源投入,改变和完善配电网系统的运行和保护机制等来维持稳定,这对电网来说,分布式光伏的大量接入会对其造成...
    文章 2017-09-12 1455浏览量
  • DTCC 2020|解密OceanBase原生分布式数据库

    分布式技术代表未来,因为分布式技术可以享受到高可用、可扩展、低成本、高性能等技术红利,它是云时代的技术,能够无缝接融传统的数据库。我们认为只有100%自主研发,才能解决原生分布式数据库,才能解决企业级...
    文章 2020-12-28 226浏览量
  • 专访 OceanBase 数据库创始人阳振坤:数据驱动业务...

    再有就是整个性能的稳定和分布式上的优化,单机上的优化器已经很难了,分布式优化器,尤其是整个事务处理的优化器,挑战要大得多得多。回忆起 OceanBase 从初生到成长的过程,以及团队所攻克的一个又一个难关,阳...
    文章 2021-01-07 187浏览量
  • Query Optimization in Microsoft SQL Server PDW

    最近一年一直在PolarDB的并行优化...再利用System-R的bottom-up完成并行的分布式优化&xff0c;将两者结合了起来&xff0c;是非常聪明的解决方案。不需要太多调整原有的Cascades组件&xff0c;又简洁高效的生成了分布式计划。
    文章 2021-09-07 14浏览量
  • 传统企业数据库上云案例分享

    阿里云认为传统企业要做互联网分布式的改造,并不是一步就可以完成,因为企业的业务量可能还没有这么大,所以如果企业现在的业务系统跑在单个MySQL数据库上面,那么接下来可以做一些读写分离。如果读写分离承载不了...
    文章 2018-05-30 2773浏览量
  • 线程池+并发编程+分布式设计+中间件

    一面: HashMap实现原理,ConcurrentHashMap实现原理 ...分布式session的共享方案有哪些,有什么优劣势 高并发情况,系统的优化方案有哪些,以及优先级排序。面试总结 最新架构师谈架构设计系列详解资料。资料领取方法
    文章 1970-01-01 1201浏览量
  • 缓存系列文章–无底洞问题

    分布式又是不可以避免的,因为我们的网站访问量和数据量越来越大,一个实例根本坑不住,所以如何高效的在分布式缓存和存储批量获取数据是一个难点。二、哈希存储与顺序存储 在分布式存储产品中,哈希存储与顺序存储...
    文章 2017-05-19 1276浏览量
  • 《LDA漫游指南》——2.6 共轭先验分布(conjugacy ...

    对于典型的离散型随机变量分布(如二项式分布和多项式分布)、典型的连续型随机变量分布(如正态分布),它们都可以看做是参数分布,因为它们的函数形式都被一小部分的参数控制,比如正态分布的均值和方差,二项...
    文章 2017-05-02 2375浏览量
  • 分布式唯一ID系列(2)——UUID适合做分布式ID吗

    其他分布式ID系列快捷键:分布式ID系列(1)——为什么需要分布式ID以及分布式ID的业务需求分布式ID系列(2)——UUID适合做分布式ID吗分布式ID系列(3)——数据库自增ID机制适合做分布式ID吗分布式ID系列(4)——...
    文章 2019-08-14 4270浏览量
  • 怎么理解分布式、高并发、多线程?(含面试题和答案...

    确实,在一开始接触的时候,不少人都会分布式、高并发、多线程将三者混淆,误以为所谓的分布式高并发的系统就是能同时供海量用户访问,而采用多线程手段不就是可以提供系统的并发能力吗?实际上,他们三个总是相伴而...
    文章 2019-07-31 3857浏览量
  • 对话阿里云李飞飞:下一代企业级数据库6大技术方向

    比如,在我们事务处理里,都做三副本,三副本里可以做行列转换,两个副本可以是行存,第三个副本是列存,去读列存副本,并保证高隔离机制高实时可见要求,在这种场景下是没问题的。但如果做非常复杂,时效性要求非常...
    文章 2021-01-27 2725浏览量
  • 大数据浅谈1

    分布式下已经实现的数学模型,MR也能;5.Streaming(Storm,Flink,Spark streaming)处理速度最快的是Storm,spark streaming抗压性非常好。流对接时用storm6.In-Memory(Spark):Spark是分布式内存计算,搭建Spark...
    文章 2021-08-31 26浏览量
1 2 3 4 ... 129 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化