• 开发环境搭建和应用的配置、部署及运行

    JobManager(又称为 JobMaster):协调 Task 的分布式执行,包括调度 Task、协调创 Checkpoint 以及当 Job failover 时协调各个 Task 从 Checkpoint 恢复等。TaskManager(又称为 Worker):执行 Dataflow 中的 ...
    文章 2019-07-12 2011浏览量
  • 开发环境搭建和应用的配置、部署及运行

    JobManager(又称为 JobMaster):协调 Task 的分布式执行,包括调度 Task、协调创 Checkpoint 以及当 Job failover 时协调各个 Task 从 Checkpoint 恢复等。TaskManager(又称为 Worker):执行 Dataflow 中的 ...
    文章 2019-08-05 4283浏览量
  • 【云计算的1024种玩法】轻松将其他云的对象储存迁移至...

    支持单机模式和分布式模式,单机模式部署简单使用方便,分布式模式适合大规模数据迁移。阿里集团内部像淘宝、优酷都已经完成了向阿里云的迁移工作,而存储数据的传输就是应用的 OssImport,所以 OssImport 是经历过...
    文章 2018-02-21 3896浏览量
  • 分布式处理与大数据平台(RabbitMQ&Celery&Hadoop&...

    热门的消息队列中间件RabbitMQ,分布式任务处理平台Celery,大数据分布式处理的三大重量级武器:Hadoop、Spark、Storm,以及新一代的数据采集和分析引擎Elasticsearch。RabbitMQ RabbitMQ是一个支持Advanced Message...
    文章 2017-03-16 1755浏览量
  • Apache HBase 入门

    在学习了快速启动独立模式的工作后,你可以重新配置 HBase 以伪分布式模式运行。伪分布式模式意味着 HBase 依然完全运行于单独的主机上,但每个 HBase 守护进程(HMaster,HRegionServer,和 ZooKeeper)运行于分开的...
    文章 2017-08-01 1594浏览量
  • 分布式锁用 Redis 还是 Zookeeper?

    在介绍zookeeper(下文用zk代替)实现分布式锁的机制之前,先粗略介绍一下zk是什么东西:Zookeeper是一种提供配置管理、分布式协同以及命名的中心化服务。zk的模型是这样的:zk包含一系列的节点,叫做znode,就好像...
    文章 2020-07-01 764浏览量
  • Elastic Training Operator:Kubernetes 上运行弹性...

    ET-Operator 提供一组训练和扩缩容CRD和Controller,让我们在Kubernetes 上方便地运行弹性分布式训练,支持下发分布式训练任务,并通过和分布式框架的集成联动,在训练任务运行过程中动态地扩容和缩容参与运算的...
    文章 2020-12-17 361浏览量
  • 在 Kubernetes 上弹性深度学习训练利器-Elastic ...

    通过使用阿里的 AiACC 或者社区的 horovod 等分布式训练框架,仅需修改几行代码,就能将一个单机的训练任务扩展为支持分布式的训练任务。在 Kubernetes 上常见的是 kubeflow 社区的 tf-operator 支持 Tensorflow PS...
    文章 2021-02-18 5496浏览量
  • 分布式事务框架 seata-golang 通信模型详解

    要做一个 golang 版的分布式事务框架,首要的一个问题就是如何实现 RPC 通信。dubbo-go 就是很好的一个例子摆在眼前,遂开始研究 dubbo-go 的底层 getty。二、如何基于 getty 实现 RPC 通信 getty 框架的整体模型图...
    文章 2020-12-11 9455浏览量
  • 【赛道解析】针对冷热读写场景的 RocketMQ 存储系统...

    https://tianchi.aliyun.com/specials/promotion/cloudnative20211、赛题背景Apache RocketMQ 作为的一款分布式的消息中间件&xff0c;历年双十一承载了万亿级的消息流转&xff0c;为业务方提供高性能低延迟的稳定可靠的...
    文章 2021-08-23 345浏览量
  • RedAlert简介

    RedAlertStoragePath是RAWeb发布告警策略的存储路径,目前仅支持本地磁盘,用户也可以扩展其他的分布式文件系统,比如hdfs static/ra_conf.js var ra_conf={ api_url":"http://localhost:5011", current_url":...
    文章 2017-04-28 1723浏览量
  • asp.net core结合NLog搭建ELK实时日志分析平台

    一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。Kibana:Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析...
    文章 2018-09-07 1287浏览量
  • 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS ...

    由于我们使用storm进行分布式流式计算,那么分布式最需要注意的是数据一致性以及避免脏数据的产生;所以我提供的测试项目只能用于测试,正式开发不能这样处理;晨色星空J2EE给的建议是建立一个zookeeper的分布式全局...
    文章 2014-10-08 1145浏览量
  • Spring Cloud Bus 消息总线介绍

    Spring Cloud Bus 对自己的定位是 Spring Cloud 体系内的消息总线,使用 message broker 来连接分布式系统的所有节点。Bus 官方的 Reference 文档 比较简单,简单到连一张图都没有。这是最新版的 Spring Cloud Bus ...
    文章 2021-05-10 787浏览量
  • 干货|Spring Cloud Bus 消息总线介绍

    Spring Cloud Bus 对自己的定位是 Spring Cloud 体系内的消息总线,使用 message broker 来连接分布式系统的所有节点。Bus 官方的 Reference 文档 比较简单,简单到连一张图都没有。这是最新版的 Spring Cloud Bus ...
    文章 2019-04-12 5992浏览量
  • 理解 QEMU/KVM 和 Ceph(2):QEMU 的 RBD 块驱动...

    分布式存储,比如 Sheepdog,Ceph 等 客户机中的块设备驱动的定义:qemu-drive file=path/to/img,if=none|ide|virtio|scsi,cache=writethrough|writeback|none|unsafe 其中,file 指定主机上的镜像文件或者块设备的...
    文章 2017-11-18 2047浏览量
  • Java学习笔记分享之Zookeeper篇

    用于维护配置信息、服务命名、提供分布式同步以及提供组服务。这一类的服务如果没有统一的管理&xff0c;那么就在分布式应用运行过程中&xff0c;会导致不可避免的错误和竞争条件。1.2 Zookeeper安装 Zookeeper的安装有...
    文章 2021-08-11 20浏览量
  • Zookeeper相关知识

    Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。Zookeeper 作为 Hadoop...
    文章 2016-05-20 3083浏览量
  • Hadoop-Ambari集群管理剖析

    Ambari的架构采用的是C/S模型,即:Server/Client模式,能够集中式管理分布式集群的安装配置及部署。Ambari除 了ambari-server和ambari-agent,另外它还提供了一个界面优美的管理监控页面ambari-web,这些页面由...
    文章 2016-04-25 7626浏览量
  • 不懂 ZooKeeper?没关系,这一篇给你讲的明明白白

    分布式模式(复制模式),即在多台机器上部署服务,真正的集群模式,生产环境中使用 计划写三篇的,第二篇会实战 coding,运用各种 API,到时候再装集群,本节先来个单机玩~ 2.1 本地模式安装部署 2.1.1 安装前...
    文章 2020-09-15 1716浏览量
  • Hadoop-Ambari集群管理剖析

    Ambari的架构采用的是C/S模型,即:Server/Client模式,能够集中式管理分布式集群的安装配置及部署。Ambari除了ambari-server和ambari-agent,另外它还提供了一个界面优美的管理监控页面ambari-web,这些页面由...
    文章 2017-11-16 1860浏览量
  • 方法三:Spring Cloud Bus 消息总线介绍

    使用 message broker 来连接分布式系统的所有节点。Bus 官方的 Reference 文档 比较简单&xff0c;简单到连一张图都没有。这是最新版的 Spring Cloud Bus 代码结构(代码量比较少)&xff1a;Bus 实例演示在分析 Bus 的实现...
    文章 2021-04-12 169浏览量
  • java编程—如何搭建Keepalived+Nginx+Tomcat高可用...

    想要学习Java高架构、分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师视频免费获取 架构群;468947140 三.搭建Keepalived+...
    文章 2018-09-11 1557浏览量
  • Java学习笔记分享之Dubbo篇

    tar-zxvf zookeeper-3.4.14.tar.gz-C/zkcluster#修改文件名称&xff0c;并复制 mv zookeeper-3.4.14 zookeeper01 复制2份&xff0c;集群数量为3 cp-r zookeeper01/zookeeper02 cp-r zookeeper01/zookeeper03#在每个...
    文章 2021-08-11 62浏览量
  • Hadoop-Ambari集群管理剖析

    Ambari的架构采用的是C/S模型,即:Server/Client模式,能够集中式管理分布式集群的安装配置及部署。Ambari除 了ambari-server和ambari-agent,另外它还提供了一个界面优美的管理监控页面ambari-web,这些页面由...
    文章 2016-04-25 6018浏览量
  • 一起来DIY一个人工智能实验室吧

    前面稍微展示了一下如何使用这个“多租户”的Jupyter Notebook,接下来开始介绍如何发起Tensorflow的分布式训练。Kubeflow提供了一个分布式训练的发起页面,在该页面填写训练名称、镜像地址、入口程序、所需资源和...
    文章 2018-07-05 2903浏览量
  • 《深入分布式缓存》之“分布式理论:CAP是三选二吗?

    Marz认为一个分布式系统面临CAP难题的两大问题就是:在数据库中如何使用不断变化的数据,如何使用算法来更新数据库中的数据。Marz提出了2个基本思路: 1)数据不存在update,只存在append操作。这样就把对数据的处理...
    文章 2018-01-24 933浏览量
  • 分布式服务框架 Zookeeper-管理分布式环境中的数据

    Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度...
    文章 2017-10-11 882浏览量
  • 使用Spring Cloud配置服务器控制你的配置

    现在我们已经完成了概念架构,它阐明了配置管理模式的不同部分以及这些部分如何组合在一起。我们现在要继续研究不同的解决方案,然后来一个具体的实现方案。3.1.2 实现的选择 幸运的是,你可以选择大量经过实战...
    文章 2018-01-04 10176浏览量
  • 数据科学工具包(万余字介绍几百种工具,经典收藏版!

    InfoWorld在分布式数据处理、流式数据分析、机器学习以及大规模数据分析领域精选出了2015年的开源工具获奖者,下面我们来简单介绍下这些获奖的技术工具。1.Spark 在Apache的大数据项目中,Spark是最火的一个,特别是...
    文章 2017-05-02 2634浏览量
1 2 3 4 ... 19 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化