DataWorks百问百答29:数据写入OSS,有哪些不需要后缀随机UUD的场景?

简介: 数据写入OSS,不需要后缀随机UUD场景案例

用户场景:

292.png


用户从其他数据库同步数据文件到OSS时,产生的文件名,后缀通常会带上随机的UUID信息(如上图),有些用户不想要有这种后缀名称的情况。

解決方案:

如果您不需要后缀随机的UUID,您可以配置一下writeSingleObject这个参数信息:
"writeSingleObject" : "true"。


具体案例odps同步到oss脚本逻辑如下:

{
    "type": "job",
    "steps": [
        {
            "stepType": "odps",
            "parameter": {
                "partition": [
                    "pt=${bizdate}"
                ],
                "datasource": "odps_first",
                "column": [
                    "item_id",
                    "shop_id",
                    "utctimestamp",
                    "item_title",
                    "pic_url",
                    "pic_url_list",
                    "roperties",
                    "sale_time",
                    "cprice"
                ],
                "table": "test_0526"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss",
            "parameter": {
                "fileName": "",
                "datasource": "test_oss",
                "writeSingleObject": "true",
                "column": [
                    {
                        "name": "item_id",
                        "type": "BIGINT"
                    },
                    {
                        "name": "shop_id",
                        "type": "BIGINT"
                    },
                    {
                        "name": "sutctimestamp",
                        "type": "BIGINT"
                    },
                    {
                        "name": "item_title",
                        "type": "BIGINT"
                    },
                    {
                        "name": "pic_url",
                        "type": "BIGINT"
                    },
                    {
                        "name": "pic_url_list",
                        "type": "BIGINT"
                    },
                    {
                        "name": "properties",
                        "type": "BIGINT"
                    },
                    {
                        "name": "sale_time",
                        "type": "BIGINT"
                    },
                    {
                        "name": "cprice",
                        "type": "BIGINT"
                    }
                ],
                "writeMode": "truncate",
                "fieldDelimiter": "\t",
                "encoding": "UTF-8",
                "fileFormat": "csv",
                "object": "test_detail_199"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "throttle": false,
            "concurrent": 1
        }
    }
}


OSS结果展现:
配置完 writeSingleObject 这个参数,完成同步后,在OSS管理控制台看到的文件结果如下:(可以看到显示的文件名,是以脚本中参数“object”配置的为准)

291.png

注意:
1、“writeSingleObject”参数目前只对 csv、text文件类型生效。
2、“writeSingleObject”参数各个资源组生效情况:

  •  独享数据集成资源组所有region都支持;
  •  自定义资源组需要看Datax版本情况是否支持;
  •  公共(默认)资源组国内region都支持,海外region不支持,因为海外region公共(默认)资源组版本比较低,会有设置了“writeSingleObject”这个参数,但是不生效的情况存在,建议使用独享数据集成资源组跑同步任务。


DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
8月前
|
存储 人工智能 Kubernetes
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务,是用户在云上存储的高性价比选择…
|
8月前
|
存储 人工智能 测试技术
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
OSSFS 2.0通过轻量化协议设计、协程化技术及FUSE3低级API重构,实现大文件顺序读写与小文件高并发加载的显著提升,在实际测试中表现出高达数十倍的吞吐量增长。适用于机器学习训练、推理等对高带宽低延迟要求严苛的场景,同时支持静态和动态挂载方式,方便用户在ACK集群中部署使用。
856 34
|
7月前
|
存储 机器学习/深度学习 边缘计算
OSS生命周期管理自动化:7天冷归档+30天低频访问的合规存储策略(结合企业级数据分级场景)
在数据爆炸增长背景下,企业面临存储成本攀升与合规要求升级的双重挑战。本文以金融与医疗行业实践为例,深入解析如何通过OSS自动化生命周期管理实现数据分级存储优化。内容涵盖数据热力模型分析、存储类型成本对比、状态机驱动的自动降级策略、合规性保障机制及机器学习动态预测方案,最终达成存储成本下降64.3%、合规审计通过率提升至98.7%的实战效果。适合关注云存储架构优化、数据治理与合规管控的技术决策者参考。
258 0
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
1086 161
|
10月前
|
SQL 弹性计算 DataWorks
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
520 6
|
DataWorks 搜索推荐 数据挖掘
DataWorks: 驾驭数据浪潮,解锁用户画像分析新纪元
本文详细评测了DataWorks产品,涵盖最佳实践、用户体验、与其他工具对比及Data Studio新功能。内容涉及用户画像分析、数据管理作用、使用过程中的问题与改进建议,以及Data Studio的新版Notebook环境和智能助手Copilot的体验。整体评价肯定了DataWorks在数据处理和分析上的优势,同时也指出了需要优化的地方。
458 24
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
1123 10
|
SQL 数据采集 DataWorks
基于DataWorks的多场景实践及数据开发Data Studio最新体验测评
DataWorks是阿里云推出的一站式智能大数据开发治理平台,自2009年发布以来,历经多次迭代,成为企业数字化转型的重要工具。本文通过多个实践案例,如公共电影票房数据预处理,展示了DataWorks如何帮助企业高效处理大数据,涵盖数据集成、ETL开发、数据分析及治理等全流程。最新版DataWorks引入了智能助手Copilot,进一步提升了用户体验和工作效率。
|
数据采集 DataWorks 数据挖掘
提升数据分析效率:DataWorks在企业级数据治理中的应用
【8月更文第25天】本文将探讨阿里巴巴云的DataWorks平台如何通过建立统一的数据标准、规范以及实现数据质量监控和元数据管理来提高企业的数据分析效率。我们将通过具体的案例研究和技术实践来展示DataWorks如何简化数据处理流程,减少成本,并加速业务决策。
947 54
|
数据采集 人工智能 DataWorks
限时优惠体验!DataWorks数据治理中心全新升级为数据资产治理
DataWorks进行全面升级,从数据治理中心转型为数据资产治理,强调业务视角下的数据分类与管理,引入Data+AI全链路数据血缘追踪,提升数据质量和安全性,促进跨部门协作。同时,提供限时优惠活动,助力企业高效利用数据资产。
1317 2

相关产品

  • 大数据开发治理平台 DataWorks