• 关于

    odps shell sql

    的搜索结果
  • DataWorks百问百答14:赋值节点结合节点上下文实现上下游参数传递

    赋值节点支持ODPS SQL、SHELL和Python三种语言来编写代码,赋值节点自带outputs输出,可结合节点上下文功能实现上下游参数传递。不同语言outputs赋值情况如下: outputs参数的取值只取最后一行代码的输出结果。 ODPS SQL最后一行SELECT语句的输出。 SH...

    文章 墨祤@DataWorks 2020-04-17 812浏览量

  • DataWorks搬站方案:Airflow作业迁移至DataWorks

    DataWorks提供任务搬站功能,支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Airflow工作流调度引擎中的作业迁移至DataWorks上。支持迁移的Airflow版本Airflow支持迁移的版本ÿ...

    文章 DataWorks团队 2021-04-23 0浏览量

  • DataWorks搬站方案:Azkaban作业迁移至DataWorks

    DataWorks迁移助手提供任务搬站功能,支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Azkaban工作流调度引擎中的作业迁移至DataWorks上。支持迁移的Azkaban版本支持全部版本的Azkaban迁...

    文章 DataWorks团队 2021-04-23 2浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 自建Hadoop迁移阿里云MaxCompute实践-持续更新2018/9/13

    Hadoop迁移MaxCompute的文章教程应该不少,比如前不久刚刚发布的 《Hadoop数据迁移到MaxCompute最佳实践》https://help.aliyun.com/video_detail/88429.html   理论与实践:如何从Hadoop迁移到MaxCompute http...

    文章 隐林 2018-08-28 2797浏览量

  • Maxcompute Spark 访问 阿里云 Hbase

    引子 本来这个东西是没啥好写的,但是在帮客户解决问题的时候,发现链路太长,不能怪客户弄不出来,记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新,本文不是文档) Spark 配置 spark.hadoop.odps.project.name...

    文章 峰七(林学维) 2020-05-28 734浏览量

  • MaxCompute - ODPS重装上阵 第五弹 - SELECT TRANSFORM

    MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。 MaxCompute基于ODP...

    文章 隐林 2018-09-10 2755浏览量

  • ODPS数据迁移指南

    1. 背景调研 1.1 ODPS源与目的集群 调研项 内容 ODPS源集群版本 ODPS目的集群版本 ODPS源与目的是否在一个集群/可使用相同账号 ODPS源集群AccessKeyId ODPS源集群AccessKeySecret ODPS目的集...

    文章 明玄-迁云 2017-02-27 11586浏览量

  • MaxCompute百问集锦(持续更新)

    大数据计算服务(MaxCompute,原名 ODPS,https://www.aliyun.com/product/odps)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据...

    文章 隐林 2017-06-30 5033浏览量

  • MaxCompute常见问题(2019.04新版)

    计量计费 购买开通 MaxCompute计费常见问题 现在公司有数据统计分析的需求,已经在用RDS数据库,还应该开通什么服务? 从MaxCompute上下载数据,使用华东2的ECS云主机使用内网,收取流量费用吗? MaxCompute如何将后付费转换为预付费? MaxCompute数据存储有...

    文章 云花 2019-04-09 6409浏览量

  • DataWorks百问百答34:mongoDB同步odps实践时如何使用时间戳筛选数据?

    情景:mongoDB数据集成任务query配置参数中不能支持.valueOf()这个方法(形如"query":"{'operationTime':{'$gte':ISODate('${last_day}T00:00:00.424Z.valueOf()')}}" bson解析不出)以下我们使用赋值...

    文章 zaid胡振宇 2020-06-22 385浏览量

  • 新功能:日志服务IPython/Jupyter Notebook扩展发布

    背景 IPython/Jupyter很流行 Jupyter的前身是IPython Notebook,而IPython Notebook的前身是IPython。如下可以看到起发展轨迹: IPython/Jupyter非常流行,从三个方面可以看到: 数据科学领域Python愈来愈流行已经是既定事实...

    文章 成喆 2019-02-11 2870浏览量

  • 用Java代码调用MaxCompute

    MaxCompute的客户端的工具odpscmd是好东西,什么都能干。但是它不方便在自己的代码做很好的集成,毕竟它是个Shell脚本。那有什么办法把MaxCompute的作业、设置和自己的代码做无缝集成呢,MaxComput SDK就能干这个。本文就实际的工作中最常见的几个场景,做一些示例。详细的...

    文章 传学 2017-06-14 3616浏览量

  • DataWorks运行日志参数解读

    生产环境的运维中心>周期实例>选中DAG图中失败的实例右键查看运行日志 根据日志文末初步查看报错信息,未解决可进入运行诊断。 运行诊断官方文档链接 日志参数解读 INFO Start execute shell on node sh-base-biz-gatewayXX.clou...

    文章 yf7ofoc6z6jaq 2020-08-04 323浏览量

  • ODPS到ODPS数据迁移指南

    1. 工具选择与方案确定 目前,有两种方式可用于专有云环境下的从MaxCompute到MaxCompute整体数据迁移。 (1)使用DataX工具进行迁移,迁移所需的作业配置文件及运行脚本,可用DataX批量配置工具来生成; (2)通过大数据开发套件(DataIDE)-...

    文章 饮冰 2017-09-18 5527浏览量

  • 如何快速搭建一个数据分析平台?

    作者:王实 原文来源链接:https://zhuanlan.zhihu.com/p/23787228 Growth Hacking这个词在过去一两年开始迅速从硅谷传播到国内,也诞生了一系列专注于企业数据分析业务的明星初创公司,如GrowingIO,神策数据,诸葛IO等。Growth Hackin...

    文章 jing.luojing 2016-12-02 14136浏览量

  • DataWorks百问百答55:如何使用DataWorks运行日志runlog排查问题?

    生产环境的运维中心>周期实例>选中DAG图中失败的实例右键查看运行日志根据日志文末初步查看报错信息,未解决可进入运行诊断。可以参考运行诊断官方文档链接。 日志参数解读 INFO Start execute shell on node sh-base-biz-gatewayXX.cl...

    文章 zaid胡振宇 2020-08-20 300浏览量

  • MaxCompute Spark 使用和常见问题

    一. MaxCompute Spark 介绍MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务。它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足...

    文章 亢海鹏 2021-01-07 1666浏览量

  • 【公共云支持】MaxCompute Spark支持交互式Zeppelin

    由于安全原因,用户无法触达生产集群的网络,所以MaxCompute Spark一直没有放开 yarn-client的支持,也就是Spark-Shell,Spark-SQL以及PYSPARK等交互式功能一直无法支持。最近调研了Zeppelin框架,配合MaxCompute Spark的相关特性以及组...

    文章 峰七(林学维) 2019-07-10 729浏览量

  • MaxCompute问答整理之10月

    本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。 问题一、DataStudio中是否可以通过shell节点调取MaxCompute sql语句?不可以的,Shell节点支持标准Shell语法,不支持交互性语法。如果任务较多,可以...

    文章 亢海鹏 2019-11-01 1360浏览量

  • MaxCompute(原ODPS)开发入门指南——数据开发工具篇

    MaxCompute(原ODPS)开发入门指南——数据开发工具篇 写在最前面 >>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务. 大家在使用大数据计算服务MaxCompute时,最头疼就是我现在已有的数据如何快速上云?我的日志数据如何采集到...

    文章 祎休 2017-06-12 5920浏览量

  • MaxCompute MapReduce

    前言 MapReduce已经有文档,用户可以参考文档使用。本文是在文档的基础上做一些类似注解及细节解释上的工作。 功能介绍 MapReduce 说起MapReduce就少不了WordCount,我特别喜欢文档里的这个图片。比如有一张很大的表。表里有个String字段记录的是用空格分割开单词。最后需...

    文章 传学 2017-05-21 5665浏览量

  • 淘宝大数据之路

    免费开通大数据服务:https://www.aliyun.com/product/odps 转载yanchun 2003年至今淘宝网从零开始飞速发展,走过了13个年头,支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台,淘宝大数据平台,就是其中非常重要的一个组成部分,承担了数据采集、加工处理、数...

    文章 隐林 2016-10-31 11510浏览量

  • MaxCompute Tunnel上传典型问题场景

    数据问题 Q:使用Tunnel Java SDK上传数据,上传数据可以自动分配到各个分区吗? A:目前Tunnel是无法自动上传数据并自动分配到各个分区的:每一次上传只支持数据上传到一张表或表的一个分区,有分区的表一定要指定上传的分区,多级分区一定要指定到末级分区。关于JAVA SDK可参考:Ja...

    文章 付帅 2018-09-26 1898浏览量

  • MaxCompute Tunnel上传典型问题场景

    数据问题 Q:使用Tunnel Java SDK上传数据,上传数据可以自动分配到各个分区吗? A:目前Tunnel是无法自动上传数据并自动分配到各个分区的:每一次上传只支持数据上传到一张表或表的一个分区,有分区的表一定要指定上传的分区,多级分区一定要指定到末级分区。关于JAVA SDK可参考:Ja...

    文章 付帅 2018-08-21 6940浏览量

  • 一文快速了解MaxCompute

    一文快速了解MaxCompute 很多刚初次接触MaxCompute的用户,面对繁多的产品文档内容以及社区文章,往往很难快速、全面了解MaxCompute产品全貌。同时,很多拥有大数据开发经验的开发者,也希望能够结合自身的背景知识,将MaxCompute产品能力与开源项目、商业软件之间建立某种关...

    文章 曲宁(圣远) 2019-03-04 4266浏览量

  • 灵活运用DataWorks参数配置

    数据工场DataWorks (原大数据开发套件Data IDE) 是基于MaxCompute作为计算和存储引擎的,并用于工作流可视化开发和托管调度运维的海量数据离线分析平台。DataWorks可以按照时间和依赖关系,实现任务的全面托管和调度。在这里,笔者跟大家探讨一下众多DataWorks用户经常...

    文章 偕作 2018-03-05 4116浏览量

  • DSW:面向AI研发的集成开发平台

    发布会传送门 产品详情 云原生技术,注重用户体验,提升研发效率 环境搭建是算法研发过程中的重要一环,这里除了硬件选型外,软件环境的安装配置,后续升级往往会耗费不少时间。DSW借助阿里云ECS,Docker和Kubernetes等云原生技术,能够在2,3分钟内帮用户完成环境搭建。用户可以根据算法需要...

    文章 云攻略小攻 2020-05-18 965浏览量

  • DSW:面向AI研发的集成开发平台

    发布会传送门 产品详情 云原生技术,注重用户体验,提升研发效率 环境搭建是算法研发过程中的重要一环,这里除了硬件选型外,软件环境的安装配置,后续升级往往会耗费不少时间。DSW借助阿里云ECS,Docker和Kubernetes等云原生技术,能够在2,3分钟内帮用户完成环境搭建。用户可以根据算法需要...

    文章 小攻云攻略 2020-05-18 221浏览量

  • 阿里云 MaxCompute 2021-2 月刊

    MaxCompute 2月新发布功能1、MaxCompute SQLML 功能(中国区)商业化发布 查看文档 >>MaxCompute SQLML 支持使用SQL语言在 MaxCompute 中创建、训练和应用机器学习模型,实现 AI 普惠。适用客户各个领域的 SQL从业人员/ 数...

    文章 晋恒 2021-03-03 2355浏览量

  • 轻量化AI服务再添两将!阿里云机器学习PAI DSW 2.0 & Alink商业版重磅发布

    DSW 2.0:面向AI研发的集成开发平台 DSW(Data Science Workshop)是阿里巴巴PAI团队根据多年的AI算法和产品研发经验积累,围绕提高AI算法研发效率,降低研发成本而推出的一款适用于各类AI开发者的云端机器学习集成开发环境。DSW2.0是借助阿里云ECS,Docker和...

    文章 小攻云攻略 2020-05-21 326浏览量

1 2 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT