• 关于

    spark云主机

    的搜索结果
  • 通过Spark Streaming作业处理Kafka数据

    本节介绍如何使用阿里E-MapReduce部署Hadoop集群和Kafka集群,并运行Spark Streaming作业消费Kafka数据。前提条件 已注册阿里账号,详情请参见注册账号。已开通E-MapReduce服务。已完成账号的授权,详情请...

    文章 开源大数据EMR 2019-12-27 1143浏览量

  • 阿里E-MapReduce产品简介

    因为 E-MapReduce 本质就是 Hadoop 和 Spark 的集群服务,您完全可以将其使用的阿里 ECS 主机视为自己专属的物理主机。以下示例列出了 E-MapReduce 使用的经典场景。批量数据处理 Ad hoc 数据分析查询 海量数据...

    文章 云栖技术 2017-08-31 3170浏览量

  • 阿里 E-MapReduce产品优势及使用场景

    因为 E-MapReduce 本质就是 Hadoop 和 Spark 的集群服务,您完全可以将其使用的阿里 ECS 主机视为自己专属的物理主机。以下示例列出了 E-MapReduce 使用的经典场景。批量数据处理 Ad hoc 数据分析查询 海量数据...

    文章 凹凹凸曼 2018-09-12 1795浏览量

  • 阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

    建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!

    广告

  • 2016年北京中国计算技术大会见闻

    此次大会有3天,第一天全部为topic,随后分为了若干个场次,有《Container技术峰会》、《大数据核心技术与应用实战峰会》、《计算核心技术与架构》,第三天为《中国Spark技术峰会》、《OpenStack技术峰会》、...

    文章 封神 2016-05-17 3666浏览量

  • 阿里一键部署 Spark 分布式集群

    Master上安装Spark,并将配置正确后的Spark Home目录远程复制到Slave主机上,并设置环境变量。aria2c$SparkUrl ", mkdir-p$SPARK_HOME tar zxvf spark-*hadoop*.tgz-C$SPARK_HOME cd$SPARK_HOME mv spark-...

    文章 资源编排(ROS) 2017-04-17 11376浏览量

  • 开源大数据周刊-第1期

    继续支持开源,IBM新型主机平台能够更好支持Spark助人就是助己。IBM日前宣布承诺大力推进Apache Spark项目,还将投入超过3500名研究和开发人员在全球十余个实验室开展与Spark相关的项目,并将为Spark开源生态系统...

    文章 开源大数据EMR 2016-04-18 4117浏览量

  • 《循序渐进学Spark》一1.2 在Linux集群上部署Spark

    本节以阿里Linux主机为例,描述集群环境及Spark开发环境的搭建过程。Spark计算框架以Scala语言开发,因此部署Spark首先需要安装Scala及JDK(Spark1.5.0需要JDK1.7.0或更高版本)。另外,Spark计算框架基于持久化层...

    文章 华章计算机 2017-05-02 1731浏览量

  • TalkingData的Spark On Kubernetes实践

    利用实现资源水平扩展,以防止资源突增 资源扩展 在采用以下两种方法增加资源使用率时,集群可能会面临资源短缺和可用性的问题: 混合部署 资源超卖 这会导致运行资源大于实际物理资源的情况(我称之为资源挤兑)...

    文章 开源大数据EMR 2019-05-22 2043浏览量

  • 阿里大数据+AI技术沙龙上海站回顾|​揭秘TPC-DS ...

    作为运行在阿里平台上的一种大数据处理的系统解决方案,阿里 Elastic MapReduce(E-MapReduce)构建于阿里云云服务器 ECS 上,基于开源的 Apache Hadoop 和 Apache Spark,让用户可以方便地使用 Hadoop 和 Spark...

    文章 阿里云E-MapReduce团队 2019-11-27 5102浏览量

  • 阿里大数据+AI技术沙龙上海站回顾|​揭秘TPC-DS ...

    作为运行在阿里平台上的一种大数据处理的系统解决方案,阿里 Elastic MapReduce(E-MapReduce)构建于阿里云云服务器 ECS 上,基于开源的 Apache Hadoop 和 Apache Spark,让用户可以方便地使用 Hadoop 和 Spark...

    文章 开源大数据EMR 2019-11-26 4642浏览量

  • 开源大数据技术专场(上午):Spark、HBase、JStorm...

    通过封神了解到,在上午的专场中,阿里高级技术专家无谓、阿里技术专家封神、阿里巴巴中间件技术部高级技术专家天梧、阿里巴巴中间件技术部资深技术专家纪君祥将给大家带来Hadoop、Spark、HBase、JStorm Turbo等...

    文章 百遇 2016-10-16 8797浏览量

  • Tablestore+Delta Lake(快速开始)

    作者:王卓然 花名琸然 阿里存储服务技术专家 背景介绍 近些年来HTAP(Hybrid transaction/analytical processing)的热度越来越高,通过将存储和计算组合起来,既能支持传统的海量结构化数据分析,又能支持快速的...

    文章 开源大数据EMR 2019-11-29 1247浏览量

  • 开源大数据周刊-第35期

    2017年值得关注的十大IaaS发展趋势如今各服务供应商开始为客户提供更多选择,包括遍布全球各地的主机、更多虚拟化实例配置以及工作负载优化机制,同时亦推出了更多对云环境内数据进行管理与分析的选项。...

    文章 开源大数据EMR 2016-12-22 2155浏览量

  • 怎么实现微服务的实时性能分析?

    整体的环境是一个 OpenStack ,一组基于微服务的应用程序运行在不同租户的网络中,还有一个小型Spark集群。在每个 Nova 计算主机上安装的软件网络 tap 来捕获通过租户网络内的网络数据包。从租户网络中捕获的 Wire...

    文章 行者武松 2017-08-01 984浏览量

  • 开发运维DBA看过来:容器、Docker、DevOps、数据库...

    Code-Execution-Same-Origin-Bypass-And-Persistence(PDF下载)Apache Spark on Kubernetes(PDF下载)What’s New in Docker(PDF下载)Why、Whatand How of Continuous Delivery(PDF下载)爱奇艺容器平台的...

    文章 云木西 2018-07-19 12917浏览量

  • 开源大数据周刊-第40期

    这也是继“主机系统国家工程实验室”之后浪潮获得的第二个国家工程实验室。技术 使用Phoenix通过sql语句更新操作HBase数据 HBase 提供很方便的shell脚本,可以对数据表进行 CURD 操作,但是有一定的学习成本的。...

    文章 开源大数据EMR 2017-02-09 2283浏览量

  • MaxCompute Spark开发指南

    MaxCompute Spark是阿里提供的Spark on MaxCompute的解决方案,能够让Spark应用运行在托管的MaxCompute计算环境中。为了能够在MaxCompute环境中安全地运行Spark作业,MaxCompute提供了以下SDK和MaxCompute Spark...

    文章 曲宁(圣远) 2019-03-04 3600浏览量

  • Tablestore+Delta Lake(快速开始)

    本文介绍如何在E-MapReduce中通过Tablestore Spark Streaming Source将TableStore中的数据实时导入到Delta Lake中。背景介绍 近些年来HTAP(Hybrid transaction/analytical processing)的热度越来越高,通过将存储和...

    文章 琸然 2019-09-26 7116浏览量

  • 《Scala机器学习》一一3.2 理解Spark的架构

    在这种情况下,Spark执行器将通过随机打开的端口与本地主机通信。YARN是用Java编写的,这会出现不可预测的GC暂停,从而导致较重的延迟长尾。如果这些资源调度程序都不可用,则独立模式会在每个节点上启动org.apache....

    文章 华章计算机 2017-07-04 1565浏览量

  • 《Scala机器学习》一一3.2 理解Spark的架构

    在这种情况下,Spark执行器将通过随机打开的端口与本地主机通信。YARN是用Java编写的,这会出现不可预测的GC暂停,从而导致较重的延迟长尾。如果这些资源调度程序都不可用,则独立模式会在每个节点上启动org.apache....

    文章 华章计算机 2017-08-02 1577浏览量

  • 阿里服务器机型这么多怎么选择?各规格族应用场景...

    其实无论是云计算,还是云主机,其关键都在于Elastic——弹性。云服务器ecs的主要原理就是基于服务器群而虚拟化的主机产品,可以弹性地升减配置,按需使用。其使用的应用场景一般可分为注重主机服务性价比的用户;...

    文章 上云加速Cdn 2020-09-18 135浏览量

  • 阿里服务器机型这么多怎么选择?各规格族应用场景...

    其实无论是云计算,还是云主机,其关键都在于Elastic——弹性。云服务器ecs的主要原理就是基于服务器群而虚拟化的主机产品,可以弹性地升减配置,按需使用。其使用的应用场景一般可分为注重主机服务性价比的用户;...

    文章 Yunzixun 2020-09-28 150浏览量

  • Hadoop大数据平台实战(05):深入Spark Cluster集群...

    集群管理器负责在构成集群的主机上调度和分配资源。Spark与底层集群管理器无关,可以独立运行,也可以结合集群管理器。集群管理器都有控制部署资源使用和其他功能的选项,并且都带有监控工具。那么如何确定哪个是...

    文章 徐雷frank 2019-04-11 2539浏览量

  • 在 kubernetes 中用 alluxio 加速 spark 数据访问

    alluxio的short-circuit功能可以使alluxio客户端直接访问alluxio worker所在主机的工作存储,而不需要通过网络栈与alluxio worker完成通信,可以提高性能。2.spark operator Spark-operator用于管理k8s集群中spark ...

    文章 迪科斯彻 2020-07-01 139浏览量

  • 迁移传统应用到Kubernetes步骤详解 – 以Hadoop YARN...

    因为我们运行的是 Spark on YARN,因此 Spark 依赖与 Hadoop 镜像,我们在 Spark 的基础上包装了一个 web service 作为服务启动。镜像制作过程中不需要在 Dockerfile 中指定 Entrypoint 和 CMD,这些都是在 ...

    文章 店家小二 2018-12-14 1277浏览量

  • 在Kubernetes中用Alluxio加速Spark数据访问(一)

    alluxio的short-circuit功能可以使alluxio客户端直接访问alluxio worker所在主机的工作存储,而不需要通过网络栈与alluxio worker完成通信,可以提高性能。1.2 spark operator Spark-operator用于管理k8s集群中spark...

    文章 谁为峰. 2020-06-30 693浏览量

  • 在kubernetes中用alluxio加速spark数据访问(二)

    alluxio的short-circuit功能可以使alluxio客户端直接访问alluxio worker所在主机的工作存储,而不需要通过网络栈与alluxio worker完成通信,可以提高性能。1.2 spark operator Spark-operator用于管理k8s集群中spark...

    文章 谁为峰. 2020-06-30 735浏览量

  • 阿里服务器ECS选购技巧+经验

    通用场景(无特殊计算需求的场景基本都适用,如建站、电商、游戏、开发测试等):HECS(耀云服务器)、KC1、C6(旗舰机)、C6s、S6、S3、T6、C3ne、C3、Sn3 内存密集场景(数据库、大数据处理、Hadoop/Spark集群等...

    文章 游客x3ep55vjljc6o 2020-09-28 274浏览量

  • 在本地磁盘型云主机做软RAID的实践

    但是云主机又不同于本地物理主机,没有办法添加RAID卡,这就需要通过软件来实现RAID。这里我们采用RAID10的方式。RAID 10 RAID 10是一个RAID 1与RAID 0的组合体,它是利用奇偶校验实现条带集镜像,所以它继承了RAID ...

    文章 adong83 2019-02-25 1514浏览量

  • SAP在阿里白皮书-第一章

    2017年8月,阿里云首款HANA云主机通过SAP认证。2018年1月,阿里云NetWeaver云主机通过SAP认证。2018年度,计划通过认证HANA 2TB,4TB实例,更多数据库认证已列入日程。目前有近30家企业将SAP部署在阿里云。未来阿里...

    文章 云basis掌柜 2018-05-08 1300浏览量

1 2 3 4 6 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化