这样才能正确解锁MaxCompute客户端

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。MaxCompute的开发工具有三种方法,本文介绍MaxCompute客户端的安装、配置、测试方法以及可能遇见的问题。odpscmd是MaxCompute基础客户端,可以通过它访问MaxCompute的项目空间并使用各项功能。

安装步骤:
第一步:下载安装JDK(1.7或以上版本)
因为odpscmd是基于JAVA开发的,所以需配置JAVA运行环境。JDK大家可以在网上查找下载,我提供一个下载链接,仅供参考。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Windows版本和Mac OS版本选择下载,下载完成之后,大家按照流程安装即可。

第二步:配置JDK
Windows版本:
1.右键选择 计算机→属性→高级系统设置→高级→环境变量
2.系统变量→新建
变量名:JAVA_HOME
变量值:变量值填填写JDK的安装目录,例如本人是 image

image
3、在系统变量中找见Path变量,选择编辑,再选择新建,输入 image
最后确认就OK了。
image
4、检查是否安装完成。
在系统自带cmd工具输入检测版本命令:java –version 当出现下面内容,则配置完成。
image
这个1.8.0_171是安装的版本。
Mac OS版本:
Mac OS配置环境变量这篇文章讲的很清楚,大家参考一下:https://blog.csdn.net/vvv_110/article/details/72897142

第三步:下载odpscmd客户端安装包
https://help.aliyun.com/document_detail/27971.html
点击上面的链接,找见下面的内容即可下载。
image

第四步:解压安装包
大家把安装包下载到合适的硬盘当中后,下载下来的都是zip文件,自带的电脑压缩工具应该都可以解压,如果不可以解压,大家下载一个zip解压工具就好。解压之后,就会出现四个文件夹bin、conf、lib、plugins。
image

第五步:配置客户端
编辑conf文件夹中的odps_config.ini文件,对客户端进行配置,如下所示:
access_id=*
access_key=*
Accesss ID及Access Key是用户的云账号信息,可登录阿里云官网,进入管理控制台accesskeys页面进行查看。
project_name=my_project # 指定用户想进入的项目空间。
end_point= # MaxCompute服务的访问链接。
tunnel_endpoint= # MaxCompute Tunnel服务的访问链接。
log_view_host=
当用户执行一个作业后,客户端会返回该作业的LogView地址。打开该地址将会看到作业执行的详细信息。
https_check=true #决定是否开启HTTPS访问
因为.ini文件电脑默认打开的是txt的应用,电脑自带的文本文档打开之后是一长溜,不利于观看,大家可以自行下载一些txt查看工具,比如notepad什么的,利于观看。
因为开通服务的地区不同,需要根据自己开通Regoin情况以及数据所在Regoin进行end_point和tunel_endpoint配置,可参考官方文档:
https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN
image
配置完保存即可。

第六步:运行客户端
修改好配置文件后,便可运行bin目录下的MaxCompute客户端(Linux系统下运行./bin/odpscmd,Windows下运行./bin/odpscmd.bat)
image
image

第七步:测试是否安装完成
可在客户端中运行测试语句,示例如下:
create table tbl1(id bigint);
insert overwrite table tbl1 select count(*) from tbl1;
select 'welcome to MaxCompute!' from tbl1;
如果出现以下结果,则表明安装正确。
image

可能碰见的问题:
1、没有安装JDK,没有配置环境变量,直接运行odpscmd报错。
2、查看系统80端口,一般是打开的。端口关闭也会导致运行报错。
3、config配置文件没有配置正确,特别注意空间名称以及endpoint,导致客户端无法正常使用。
4、如碰见其他问题,可MaxCompute开发者社区群内咨询。

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
67cc36b608a5035daec4f4e0f99833039231bab0

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之客户端如何设置
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
MaxCompute产品使用合集之客户端如何设置
|
5月前
|
分布式计算 大数据 数据处理
MaxCompute操作报错合集之spark客户端执行时,报错,该怎么办
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
5月前
|
SQL 分布式计算 大数据
MaxCompute产品使用问题之如何使用MaxCompute SQL客户端删除分区数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之我需要在MaxCompute客户端添加Python第三方包,我该怎么操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
分布式计算 DataWorks 大数据
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(上)
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(上)
276 0
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(上)
|
大数据 C++ Python
【浏览器&exe桌面应用】用PyInstaller cefpython打包exe,制作自己的浏览器;查询机客户端,大屏展示客户端,大数据展示客户端
【浏览器&exe桌面应用】用PyInstaller cefpython打包exe,制作自己的浏览器;查询机客户端,大屏展示客户端,大数据展示客户端
286 0
【浏览器&exe桌面应用】用PyInstaller cefpython打包exe,制作自己的浏览器;查询机客户端,大屏展示客户端,大数据展示客户端
|
分布式计算 DataWorks Java
MaxCompute客户端工具使用
MaxCompute客户端工具使用
|
机器学习/深度学习 人工智能 分布式计算
MaxCompute 和 OSS 客户端上传数据|学习笔记
快速学习 MaxCompute 和 OSS 客户端上传数据。
329 0
MaxCompute 和 OSS 客户端上传数据|学习笔记
|
SQL 存储 分布式计算
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(下)(二)
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(下)(二)
155 0
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(下)(二)
|
分布式计算 Java 大数据
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(下)(一)
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(下)
190 0
【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-02-MaxCompute客户端配置(下)(一)

相关产品

  • 云原生大数据计算服务 MaxCompute