SQL_ODPS-MaxCompute-odpscmd-tunnel-数据上传下载

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

1. rd行分割 -fd列分割 -charset编码

--建临时表
odps@ work_test_1>create table if not exists t_rd_fd(id int,name string);

--源数据data_t_rd_fd.txt
--666$$张三||555$$李四||

-- -rd行分割 -fd列分割 -charset编码
odps@ work_test_1>tunnel upload D:\#ODPS_D2\odps_data\data_t_rd_fd.txt work_test_1.t_rd_fd -rd "||" -fd "$$" -charset gbk;
Upload session: 20200220231800a0dbdb0b12e98660
Start upload:D:\#ODPS_D2\odps_data\data_t_rd_fd.txt
Using || to split records
Upload in strict schema mode: true
Total bytes:26   Split input to 1 blocks
0000-00-00 00:00:00     scan block: '1'
0000-00-00 00:00:00     scan block complete, block id: 1
0000-00-00 00:00:00     upload block: '1'
0000-00-00 00:00:00     upload block complete, block id: 1
OK

--检查一下
odps@ work_test_1>select * from work_test_1.t_rd_fd;
+------------+------------+
| id         | name       |
+------------+------------+
| 666        | 瀵姳绗?      |
| 555        | 閺夊骸娲?      |
+------------+------------+

2.脏数据-dbr true -s only ;tunnel show bad 0000;

--源数据data_t_rd_fd.txt
--666,张三
--555,李四 
--1.34,王五
--AA

-- -dbr true -s only;审查一下有哪些脏数据 仅读
odps@ work_test_1>tunnel upload D:\#ODPS_D2\odps_data\data_t_rd_fd.txt work_test_1.t_rd_fd -dbr true -s only;
Upload session: 000000000009151647df0b12dd8e9e  --注意这个session
Start upload:D:\#ODPS_D2\odps_data\data_t_rd_fd.txt
Using \r\n to split records
Upload in strict schema mode: true
Total bytes:39   Split input to 1 blocks
0000-00-00 00:00:00     scan block: '1'
0000-00-00 00:00:00     ERROR: format error - :1, BIGINT:'1.34'  For input string: "1.34"content: 1.34,鐜嬩簲
offset: 29
0000-00-00 00:00:00     ERROR: column mismatch, expected 2 columns, 1 columns found, please check data or delimiter
content: AA
offset: 34
0000-00-00 00:00:00     scan block complete, block id: 1 [bad 2]
OK
odps@ work_test_1>
--tunnel show bad 具体session;查看一下具体是哪些脏数据
--通过这种方法可以快速找到错误信息对源文件修正
odps@ work_test_1>tunnel show bad 0000000000329151647df0b12dd8e9e;
1.34,鐜嬩簲
AA
odps@ work_test_1>
--然后可以去源文件修正或删除,再上传
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5月前
|
机器学习/深度学习 分布式计算 算法
Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者,聚焦Spark实用技巧,同时深入核心概念。作者团队来自Databricks,书中详述Spark 3.0新特性,结合机器学习展示大数据分析。Spark是大数据分析的首选工具,本书助你驾驭这一利器。[PDF下载链接][1]。 ![Spark Book Cover][2] [1]: https://zhangfeidezhu.com/?p=345 [2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
183 1
Spark快速大数据分析PDF下载读书分享推荐
|
7月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
|
运维 架构师 大数据
【深度剖析】大数据职业发展体系全解【附下载】
【深度剖析】大数据职业发展体系全解【附下载】
|
7月前
|
存储 分布式计算 DataWorks
MaxCompute问题之下载资源如何解决
MaxCompute资源指的是在MaxCompute项目中使用的计算资源和存储资源;本合集旨在向用户展示如何高效管理MaxCompute资源,包括资源包管理、配额调整和性能优化等方面。
|
2月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
61 0
|
2月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
75 0
|
2月前
|
SQL 网络安全 数据库
机房电脑下载并安装SQL Server的详细步骤
在机房电脑上下载并安装SQL Server是一个常见的任务,特别是对于学习数据库管理或进行相关项目开发的学生和开发者来说
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
69 3
|
7月前
|
SQL 网络协议 数据库
SQL Server 2019下载安装教程
SQL Server 2019下载安装教程
722 0
|
5月前
|
分布式计算 运维 DataWorks
MaxCompute操作报错合集之用户已在DataWorks项目中,并有项目的开发和运维权限,下载数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。