MaxCompute客户端工具使用

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute客户端工具使用

环境准备


1. 安装Java 8或以上版本的环境


2.创建MaxCompute项目


3.使用MaxCompute客户端的RAM用户已被添加至MaxCompute项目所属的DataWorks工作空间。 添加工作空间成员并设置角色


安装使用

1.下载

下载后解压到本地打开目录查看

2.配置

文件如下,保存后退出(注意:本地连接一定使用外网域名)主要配置包括下面4个

project_name=项目名称

access_id=AK信息

access_key=SK信息

end_point=http://service.cn-hangzhou.maxcompute.aliyun.com/api

project_name=项目名称access_id=xxxxxxxxxxxxxxxxxxxxaccess_key=xxxxxxxxxxxxxxxxxxxxxxxxxxxend_point=http://service.cn-hangzhou.maxcompute.aliyun.com/apilog_view_host=log_view_host=http://logview.odps.aliyun.com https_check=true#confirmthresholdforqueryinputsize(unit: GB)
data_size_confirm=100.0#thisurlisforodpscmdupdateupdate_url=http://repo.aliyun.com/odpscmd#downloadsqlresultsbyinstancetunneluse_instance_tunnel=true#themaxrecordswhendownloadsqlresultsbyinstancetunnelinstance_tunnel_max_record=10000#IMPORTANT:
#Ifleavingtunnel_endpointuntouched, consolewilltrytoautomaticallygetonefromodpsservice, whichmightchargenetworkingfeesinsomecases.
#Pleaserefertohttps://help.aliyun.com/document_detail/34951.html#tunnel_endpoint=#useset.<key>=<value>tosetflagswhenconsolelaunched#e.g. set.odps.sql.select.output.format=csv


3.启动

在系统的命令行执行窗口,进入MaxCompute客户端安装路径下的bin目录,执行odpscmd命令(Windows系统)或sh odpscmd(Linux系统或Mac系统),即可启动MaxCompute客户端。返回如下信息,表明已成功连接MaxCompute项目



4.建表

创建一张表,名称为 "haha", 可在dataworks控制台或odpscmd直接运行

CREATETABLEIFNOTEXISTShaha(
ageBIGINTCOMMENT'年龄',
jobSTRINGCOMMENT'工作类型',
maritalSTRINGCOMMENT'婚否',
educationSTRINGCOMMENT'教育程度',
defaultSTRINGCOMMENT'是否有信用卡',
housingSTRINGCOMMENT'房贷',
loanSTRINGCOMMENT'贷款',
contactSTRINGCOMMENT'联系途径',
monthSTRINGCOMMENT'月份',
day_of_weekSTRINGCOMMENT'星期几',
durationSTRINGCOMMENT'持续时间',
campaignBIGINTCOMMENT'本次活动联系的次数',
pdaysDOUBLECOMMENT'与上一次联系的时间间隔',
previousDOUBLECOMMENT'之前与客户联系的次数',
poutcomeSTRINGCOMMENT'之前市场活动的结果',
emp_var_rateDOUBLECOMMENT'就业变化速率',
cons_price_idxDOUBLECOMMENT'消费者物价指数',
cons_conf_idxDOUBLECOMMENT'消费者信心指数',
euribor3mDOUBLECOMMENT'欧元存款利率',
nr_employedDOUBLECOMMENT'职工人数',
yBIGINTCOMMENT'是否有定期存款') 
COMMENT'haha'LIFECYCLE10;



5.准备数据

数据为本地txt文件,放在C盘根目录下

44,blue-collar,married,basic.4y,unknown,yes,no,cellular,aug,thu,210,1,999,0,nonexistent,1.4,93.444,-36.1,4.963,5228.1,053,technician,married,unknown,no,no,no,cellular,nov,fri,138,1,999,0,nonexistent,-0.1,93.2,-42,4.021,5195.8,028,management,single,university.degree,no,yes,no,cellular,jun,thu,339,3,6,2,success,-1.7,94.055,-39.8,0.729,4991.6,139,services,married,high.school,no,no,no,cellular,apr,fri,185,2,999,0,nonexistent,-1.8,93.075,-47.1,1.405,5099.1,0



6.上传

执行上传命令 Tunnel操作

Tunnel upload C:\hello.txt haha;



7.验证

select * from haha;



常见问题

1.启动报错  failed: ODPS-0410042:Invalid signature value - User signature dose not match.

解决: AK或者SK信息配置有误,请修改正确的信息


2.Accessing project ‘projectname’ failed: ODPS-0420111: Project not found - 'projectname'.

解决: 在项目管理页签获取正确的MaxCompute项目名称后,修改odps_config.ini配置文件的项目名称

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
4月前
|
SQL 分布式计算 数据可视化
Tableau与大数据:可视化工具在大数据分析中的应用
【4月更文挑战第8天】Tableau是一款领先的数据可视化工具,擅长于大数据分析,提供广泛的数据连接器,支持多源整合。它与Hadoop、Spark等深度集成,实现高效大数据处理。Tableau的拖拽式界面和交互式分析功能使得非技术人员也能轻松探索数据。在实战中,Tableau用于业务监控、数据storytelling和自助式分析,推动数据民主化,提升决策效率。未来,Tableau将持续创新,扩展生态系统,并保障数据安全与合规性,助力企业最大化数据价值。
195 0
|
4月前
|
SQL 分布式计算 监控
MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
【2月更文挑战第4天】MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
60 8
|
数据采集 SQL 分布式计算
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
1318 0
|
14天前
|
分布式计算 DataWorks 关系型数据库
MaxCompute 生态系统中的数据集成工具
【8月更文第31天】在大数据时代,数据集成对于构建高效的数据处理流水线至关重要。阿里云的 MaxCompute 是一个用于处理大规模数据集的服务平台,它提供了强大的计算能力和丰富的生态系统工具来帮助用户管理和处理数据。本文将详细介绍如何使用 DataWorks 这样的工具将 MaxCompute 整合到整个数据处理流程中,以便更有效地管理数据生命周期。
36 0
|
3月前
|
存储 分布式计算 Hadoop
Spark和Hadoop都是大数据处理领域的重要工具
【6月更文挑战第17天】Spark和Hadoop都是大数据处理领域的重要工具
161 59
|
2月前
|
存储 SQL 数据挖掘
GCP大数据分析工具:BigQuery使用指南
【7月更文挑战第15天】BigQuery作为GCP中的一项重要大数据分析工具,以其高性能、可扩展性和易用性,在数据仓库、实时数据分析、日志分析等多个领域发挥着重要作用。通过本文的介绍,读者可以了解到BigQuery的基本功能、使用场景以及配置和使用方法,为后续的数据分析和业务决策提供支持。希望读者能够充分利用BigQuery的强大能力,挖掘数据背后的价值,为企业的发展贡献力量。
|
3月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之客户端如何设置
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
MaxCompute产品使用合集之客户端如何设置
|
2月前
|
消息中间件 分布式计算 大数据
大数据处理工具及其与 Kafka 的搭配使用
大数据处理工具及其与 Kafka 的搭配使用
41 2
|
3月前
|
分布式计算 大数据 数据处理
MaxCompute操作报错合集之spark客户端执行时,报错,该怎么办
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
3月前
|
SQL 分布式计算 大数据
MaxCompute产品使用问题之如何使用MaxCompute SQL客户端删除分区数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。