• 提效降本:蚂蚁金服如何用融合计算改造在线机器学习

    Ray是由伯克利大学RiseLab实验室发起,蚂蚁金服共同参与的一个开源分布式计算框架,它提出的初衷在于让分布式系统的开发和应用能够更加简单。Ray作为计算框架可以帮我们实现上面“稳快简”三个目标。Ray作为计算框架...
    文章 2019-11-01 2469浏览量
  • 数据智能,触手可及!袋鼠云数栈推出 数据科学平台 ...

    分布式多节点并发读写,吞吐量高,支持丰富的数据源 数据科学平台 机器学习作业探索平台可视化实验搭建,集成多种主流计算框架与丰富的算法组件交互式Notebook开发,提供自由的算法探索环境模型离线训练,支持周期...
    文章 2019-06-04 2374浏览量
  • TensorFlow在工程项目中的应用 公开课视频+文字转录...

    在 Tensorflow 里,模型计算可以根据你自己写的训练模型代码生成计算图,然后根据你的计算图将独立的每一个计算图分布到不同的节点,然后进行训练,最终产生一个唯一的模型,这也是 TensorFlow 在分布式训练方面做得...
    文章 2017-08-02 1784浏览量
  • 独家揭秘:微博深度学习平台如何支撑4亿用户愉快吃瓜...

    另外一个问题就是任务稳定性和状态跟踪,这是分布式计算任务里面基本的需求。此外,TensorFlow 在启动的时候,不论你的机器上有多少张卡,会把机器所有的 GPU 卡占满,这也是一个比较头疼的地方。基于 K8s 的分布式...
    文章 2020-12-31 1167浏览量
  • 机器学习是如何借鉴物理学...从伊辛模型谈起(万字长文)

    分布使我们能够把系统作为一个整体,利用期望值(例如计算可观测量)来计算其特性。举个例子,磁化强度m是所有自旋粒子的磁化强度均值。我们为什么要关注这个磁化强度呢?因为它能够反应系统的宏观状态,而非某个...
    文章 2018-03-12 2251浏览量
  • 第209期:Perseus(擎天):统一深度学习分布式通信框架...

    因此在实际的生产环境,引入分布式训练,大大降低模型训练所需的时间,提高模型迭代的速度成为紧迫的需求。基于这样的需求,各大深度学习框架,基本都实现了分布式训练的支持。点击查看 RocketMQ 在平安银行的实践和...
    文章 2019-03-08 3993浏览量
  • 小议Lambda 与 Kappa 架构,不可变数据的计算探索

    Lambda架构说起来也很简单,就是通过分布式系统的组件搭建,设计出一个具有鲁棒性,可扩展,低延时的分布式计算系统。之所以称之为Lambda架构,就是它最为核心的点就是理由了数据处理过程之中的不可变性与无依赖性。...
    文章 2018-08-08 2565浏览量
  • AI时代的金融级大规模图分析

    此前,蚂蚁金服通过“BASIC”开放战略,在金融领域构建了一个自底向上的全栈式架构,从具有金融级别支撑能力的分布式计算平台等底层技术,到人工智能、区块链等为代表的应用技术,再到以智能风控、生物核身等金融级...
    文章 2018-10-19 1804浏览量
  • 我的2017云栖之行

    流数据订阅 ——》实时流计算模型——》流数据写出 流式模型,对流数据进行边流边算 增量计算,对局部数据进行增量处理 事件触发,实时上游变化进行及时响应 流计算如何解决问题 流数据订阅——》流式计算——》流...
    文章 2017-10-19 2445浏览量
  • 《阿里云周刊》第7期:阿里英特尔携手深度布局人工智能

    分布式系统无疑是持久的热门话题,但其实如果不是一定有必要,强烈建议不要进入分布式领域,在集中式的情况下很多问题都会简单不少,技术人员千万不要因为外界火热的例如微服务,就把自己的产品的也去做改造,一定要...
    文章 2016-11-16 2997浏览量
  • 高可用的大数据计算平台如何持续发布和演进

    MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。阿里云数加-大数据计算服务MaxCompute产品地址:...
    文章 2016-12-29 4113浏览量
  • 开源大数据周刊-第107期

    Spark2.4.0 Barrier Scheduling介绍随着Spark 2.4.0的发布,新的调度模型(Barrier Scheduling)使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。本文介绍了Barrier ...
    文章 2018-11-16 2042浏览量
  • 云上个性化推荐:基于PAI和Hologres的个性化推荐最佳...

    整体上看,EasyRec能在PAI上提供万亿样本、千亿特征的超大规模分布式训练、分布式的评估能力,还支持自动超参搜索和知识蒸馏等调优效果的功能。(六)云上个性化推荐 –PAI冷启动方案除了通用的推荐算法之外,我们还...
    文章 2021-04-12 570浏览量
  • 云上个性化推荐——基于PAI和Hologres的个性化推荐...

    整体上看,EasyRec能在PAI上提供万亿样本、千亿特征的超大规模分布式训练、分布式的评估能力,还支持自动超参搜索和知识蒸馏等调优效果的功能。(六)云上个性化推荐 – PAI冷启动方案除了通用的推荐算法之外,我们...
    文章 2021-04-13 275浏览量
  • 《Storm实时数据处理》一导读

    第1章 搭建开发环境/1.1 简介1.2 搭建开发环境1.3 分布式版本控制1.4 创建“Hello World”Topology1.5 创建Storm集群——配置机器1.6 创建Storm集群——配置Storm1.7 获取基本的点击率统计信息1.8 对Bolt...
    文章 2017-07-03 934浏览量
  • 浪潮吴韶华:为AI设计特定的HPC解决方案

    另外,模型的数据量会越来越大,待处理的计算量也会越来越大,这就需要我们有更为高效并行的计算方式,我们将其称为分布式计算方式;而这对计算平台的要求也会更为苛刻,因此,我们需要针对此设计专门AI,应用于...
    文章 2017-07-03 833浏览量
  • 靖人:开放智能——数据流通下的数据安全和数据隐私

    该框架为分布式计算系统,统一的计算框架来解决刚提到的诸多挑战。该框架有两个层次,今天我们可以通过对整个执行图的一系列优化,能够自动编成秘态计算图。同时计算的每一个PPU(Privacy Preserving Unit),分布在...
    文章 2021-09-13 205浏览量
  • 【云周刊】第118期:利用阿里云机器学习在深度学习...

    如何打造支撑百万用户的分布式代码托管平台 ROS一键部署 Spark 分布式集群 Docker在千寻位置的实践 阿里云一键部署 Hadoop 分布式集群 ELK日志分析系统迁移记录 Maven初探-如何发布到Tomcat容器中 Maven初探-如何...
    文章 2017-05-19 2221浏览量
  • 专家教你使用MaxCompute玩转大数据分析!

    如果有些场景比较复杂,通过SQL没办法解决,可以使用MaxCompute支持的分布式编程模型,用户可以自己编写应用逻辑来做数据分析。其中,所支持的分布式编程模型有两种,一种是MapReduce,用户可以自己写mapper和...
    文章 2018-07-29 4608浏览量
  • 8月23日云栖精选夜读|阿里推出 PolarFS 分布式文件...

    阿里推出 PolarFS 分布式文件系统:将存储与计算分开,提升云数据库性能(附论文) 作者:阿里云头条 阿里云MVP海同物联网沙龙:阿里云物联网平台LinkPlatform介绍&开发实战 作者:阿里云服务 发表在:阿里云...
    文章 2018-08-23 2797浏览量
  • 《Storm分布式实时计算模式》——2.1 Storm集群的...

    Storm集群遵循主/从(master/slave)结构,和Hadoop等分布式计算技术类似,语义上稍有不同。主/从结构中,通常有一个配置中静态指定或运行时动态选举出的主节点。Storm使用前一种实现方式。主/从结构中因为引入了单...
    文章 2017-07-03 1679浏览量
  • 英特尔戴金权:从芯片到软件无处不在 释放大数据分析...

    这里面可能有几方面,第一在这上面构建非常复杂的或者说先进的机器学习的算法,不管是你是分布式(英文)或者是神经网络等等,怎么样让算法进行大规模分布式计算来处理大量的数据和非常大的模型。第二在这基础上我...
    文章 2017-09-02 1111浏览量
  • 阿里云贾扬清:大数据+AI工程化,让数据从「成本」...

    也就是说,在大量的数据和算力基础上,一个非常明显的需求是如何更好地做到资源调度和资源调配,以及如何让工程师更容易撰写分布式编程范式,特别是如何来规模化,这是 AI 工程化的第二个体现。我们设计了一个相对...
    文章 2021-05-25 1143浏览量
  • 降云十八掌——阿里云运维架构最佳实践(上)

    然后到云计算体系,云计算的普及其实也是分布式架构的普及,分布式架构下最重要的特点就是不管是业务代码还是数据库,都是通过多台服务器分布式的部署。业务压力增加时,我们增加对应的服务器资源即可。在云计算阶段...
    文章 2019-08-29 8752浏览量
  • 117期:DockerCon 2017前瞻

    但是随着系统走向分布式,整体架构的复杂度会不断上升,例如,在阿里电商平台每处理一笔交易订单,需要触发后端数百个台机器的各种服务,这对于运维、监控,以及问题排查定位都是巨大的挑战。而分布式调用跟踪技术,...
    文章 2017-04-20 2518浏览量
  • Google首席科学家韩国大学演讲:大规模深度学习

    Google目前有能力如何快速搭建和训练这些海量数据上的模型,去解决实际问题,在快速去不同广泛的平台去部署生产模型(手机,传感器,云端等)。神经网络的奇妙特性 就是说神经网络可以用在很多不同问题上。文本:万...
    文章 2017-05-02 1428浏览量
  • 【阿里云一周要闻第二期】杭州云栖大会敲定,9月正式...

    GIAC(全球互联网架构大会)上从混沌工程的定义、价值、原则和流程、混沌工程如何在企业中落地,以及 ChaosBlade 和混沌实验平台 AHAS Chaos 架构设计和结合两个具体案例介绍了分布式服务下的混沌工程实践三个方面...
    文章 2019-07-08 5438浏览量
  • 基于实时深度学习的推荐系统架构设计和技术演进

    加入实时模型训练,最主要的目的是在动态特征的基础上,希望模型本身能够尽可能的贴合此时此刻用户行为的分布,同时希望能够缓解模型的退化。二、阿里巴巴实时推荐方案首先了解下阿里内部实施完这套方案之后有什么...
    文章 2021-07-02 1031浏览量
  • 互联网】驻云科技基于MaxCompute搭建社交好友推荐系统

    使用的是MapReduce 这样的一个计算模型,MapReduce 是一种编程模型,用于大规模数据集的并行运算,它由三部分组成分别是Map、Combine、Reduce。以好友推荐场景为例。图 1.驻云科技:好友推荐系统的Map阶段 首先输入...
    文章 2020-04-06 775浏览量
  • 【云周刊】第134期:阿里云发布ECS企业级产品家族 19...

    与传统Hadoop相比,阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。越来越多的企业和开发...
    文章 2017-08-09 6740浏览量
1 2 3 4 ... 11 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化