MaxCompute客户端工具使用

简介: MaxCompute客户端工具使用

环境准备


1. 安装Java 8或以上版本的环境


2.创建MaxCompute项目


3.使用MaxCompute客户端的RAM用户已被添加至MaxCompute项目所属的DataWorks工作空间。 添加工作空间成员并设置角色


安装使用

1.下载

下载后解压到本地打开目录查看

2.配置

文件如下,保存后退出(注意:本地连接一定使用外网域名)主要配置包括下面4个

project_name=项目名称

access_id=AK信息

access_key=SK信息

end_point=http://service.cn-hangzhou.maxcompute.aliyun.com/api

project_name=项目名称access_id=xxxxxxxxxxxxxxxxxxxxaccess_key=xxxxxxxxxxxxxxxxxxxxxxxxxxxend_point=http://service.cn-hangzhou.maxcompute.aliyun.com/apilog_view_host=log_view_host=http://logview.odps.aliyun.com https_check=true#confirmthresholdforqueryinputsize(unit: GB)
data_size_confirm=100.0#thisurlisforodpscmdupdateupdate_url=http://repo.aliyun.com/odpscmd#downloadsqlresultsbyinstancetunneluse_instance_tunnel=true#themaxrecordswhendownloadsqlresultsbyinstancetunnelinstance_tunnel_max_record=10000#IMPORTANT:
#Ifleavingtunnel_endpointuntouched, consolewilltrytoautomaticallygetonefromodpsservice, whichmightchargenetworkingfeesinsomecases.
#Pleaserefertohttps://help.aliyun.com/document_detail/34951.html#tunnel_endpoint=#useset.<key>=<value>tosetflagswhenconsolelaunched#e.g. set.odps.sql.select.output.format=csv


3.启动

在系统的命令行执行窗口,进入MaxCompute客户端安装路径下的bin目录,执行odpscmd命令(Windows系统)或sh odpscmd(Linux系统或Mac系统),即可启动MaxCompute客户端。返回如下信息,表明已成功连接MaxCompute项目



4.建表

创建一张表,名称为 "haha", 可在dataworks控制台或odpscmd直接运行

CREATETABLEIFNOTEXISTShaha(
ageBIGINTCOMMENT'年龄',
jobSTRINGCOMMENT'工作类型',
maritalSTRINGCOMMENT'婚否',
educationSTRINGCOMMENT'教育程度',
defaultSTRINGCOMMENT'是否有信用卡',
housingSTRINGCOMMENT'房贷',
loanSTRINGCOMMENT'贷款',
contactSTRINGCOMMENT'联系途径',
monthSTRINGCOMMENT'月份',
day_of_weekSTRINGCOMMENT'星期几',
durationSTRINGCOMMENT'持续时间',
campaignBIGINTCOMMENT'本次活动联系的次数',
pdaysDOUBLECOMMENT'与上一次联系的时间间隔',
previousDOUBLECOMMENT'之前与客户联系的次数',
poutcomeSTRINGCOMMENT'之前市场活动的结果',
emp_var_rateDOUBLECOMMENT'就业变化速率',
cons_price_idxDOUBLECOMMENT'消费者物价指数',
cons_conf_idxDOUBLECOMMENT'消费者信心指数',
euribor3mDOUBLECOMMENT'欧元存款利率',
nr_employedDOUBLECOMMENT'职工人数',
yBIGINTCOMMENT'是否有定期存款') 
COMMENT'haha'LIFECYCLE10;



5.准备数据

数据为本地txt文件,放在C盘根目录下

44,blue-collar,married,basic.4y,unknown,yes,no,cellular,aug,thu,210,1,999,0,nonexistent,1.4,93.444,-36.1,4.963,5228.1,053,technician,married,unknown,no,no,no,cellular,nov,fri,138,1,999,0,nonexistent,-0.1,93.2,-42,4.021,5195.8,028,management,single,university.degree,no,yes,no,cellular,jun,thu,339,3,6,2,success,-1.7,94.055,-39.8,0.729,4991.6,139,services,married,high.school,no,no,no,cellular,apr,fri,185,2,999,0,nonexistent,-1.8,93.075,-47.1,1.405,5099.1,0



6.上传

执行上传命令 Tunnel操作

Tunnel upload C:\hello.txt haha;



7.验证

select * from haha;



常见问题

1.启动报错  failed: ODPS-0410042:Invalid signature value - User signature dose not match.

解决: AK或者SK信息配置有误,请修改正确的信息


2.Accessing project ‘projectname’ failed: ODPS-0420111: Project not found - 'projectname'.

解决: 在项目管理页签获取正确的MaxCompute项目名称后,修改odps_config.ini配置文件的项目名称

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 分布式计算 数据可视化
大数据常用技术与工具
【10月更文挑战第16天】
886 4
|
10月前
|
SQL 人工智能 分布式计算
拥抱数据洪流:ODPS,从工具到智能基石的认知跃迁
ODPS正从计算工具进化为智能基石,重塑数据价值链条。它不仅是效率引擎,更是决策资产、信任桥梁与预见系统。其创新架构支持存算分离、AI融合计算与隐私保护,助力企业迎接AI革命。未来,ODPS将推动绿色智能,成为组织数字化转型的核心支撑平台。
280 3
|
分布式计算 大数据 数据处理
从Excel到大数据:别让工具限制你的思维!
从Excel到大数据:别让工具限制你的思维!
586 85
|
12月前
|
人工智能 算法 自动驾驶
AI和大数据:是工具,还是操控人心的“隐形之手”?
AI和大数据:是工具,还是操控人心的“隐形之手”?
265 1
|
分布式计算 DataWorks 关系型数据库
MaxCompute 生态系统中的数据集成工具
【8月更文第31天】在大数据时代,数据集成对于构建高效的数据处理流水线至关重要。阿里云的 MaxCompute 是一个用于处理大规模数据集的服务平台,它提供了强大的计算能力和丰富的生态系统工具来帮助用户管理和处理数据。本文将详细介绍如何使用 DataWorks 这样的工具将 MaxCompute 整合到整个数据处理流程中,以便更有效地管理数据生命周期。
498 0
|
分布式计算 大数据 流计算
玩转数据:初学者的大数据处理工具指南
玩转数据:初学者的大数据处理工具指南
437 14
|
JSON 分布式计算 DataX
【YashanDB知识库】使用DataX工具迁移yashan数据到maxcompute
本文介绍使用崖山适配的DataX工具进行数据库迁移的方法,包括单表迁移和批量表迁移。单表迁移需配置json文件并执行同步命令;批量迁移则通过脚本自动化生成json配置文件并完成数据迁移,最后提供数据比对功能验证迁移结果。具体步骤涵盖连接信息配置、表清单获取、json文件生成、数据迁移执行及日志记录,确保数据一致性。相关工具和脚本简化了复杂迁移过程,提升效率。
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
363 4
|
存储 分布式计算 Hadoop
Spark和Hadoop都是大数据处理领域的重要工具
【6月更文挑战第17天】Spark和Hadoop都是大数据处理领域的重要工具
484 59
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。