备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute oss 读取 csv 数据重复还是存在？

大数据计算MaxCompute oss 读取 csv 数据重复还是存在？http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=report_daily&i=2024010807081670g352nx0jg7&token=Nmg1YmhVdTB2bDBWdDZQcldZb3ZDcEdDUzVvPSxPRFBTX09CTzozMDg1NDM5MSwxNzA1MzAyNDk2LHsiU3RhdGVtZW50IjpbeyJBY3Rpb24iOlsib2RwczpSZWFkIl0sIkVmZmVjdCI6IkFsbG93IiwiUmVzb3VyY2UiOlsiYWNzOm9kcHM6Kjpwcm9qZWN0cy9yZXBvcnRfZGFpbHkvaW5zdGFuY2VzLzIwMjQwMTA4MDcwODE2NzBnMzUybngwamc3Il19XSwiVmVyc2lvbiI6IjEifQ==
ebd762e1e14f5769c039bd39cf644783.png
329bd281211dd54193d026c270211901.png

展开
收起
cuicuicuic 2024-01-16 13:00:08 30 0
1 条回答
写回答
取消 提交回答
  • 小周sir
    面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。

    在MaxCompute OSS中读取CSV数据时，如果存在重复的数据，可能是因为在写入CSV文件时没有进行去重处理。为了解决这个问题，可以在写入CSV文件之前对数据进行去重处理。

    2024-01-16 14:24:46
    赞同 展开评论 打赏
问答分类：
分布式计算 MaxCompute 大数据 对象存储 云原生大数据计算服务 MaxCompute 对象存储
问答标签：
大数据计算云原生大数据计算服务 MaxCompute 云原生大数据计算服务 MaxCompute MaxCompute 云原生大数据计算服务 MaxCompute数据 云原生大数据计算服务 MaxCompute大数据计算 大数据云原生大数据计算服务 MaxCompute数据
问答地址：
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 问答
相关产品：
云原生大数据计算服务 MaxCompute

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
MaxCompute
DataWorks中odps导出到oss文件切分后序列号可以设置数字递增吗？
23
1
0
大数据计算MaxCompute文档中有 spark 访问 OSS 部分。这个您知道是什么问题吗？
39
3
0
dataworks中maxcompute表数据同步到oss数据源，帮忙看看？
31
1
0
大数据计算MaxCompute效率方面，是通过OSS进行导出和导入好，还是用进行etl传输好？
22
2
0
大数据计算MaxCompute这边将mc的原始表导入到了oss中，请问这块是正常的吗？
16
1
0
大数据计算MaxCompute可以直接加载oss中的parque数据吗，不用指定列和分区的方式？
14
1
0
大数据计算MaxCompute创建了oss外表，我是否还需要加一些什么参数？
21
2
0
机器学习PAI中如何在maxcompute运行一个脚本定时删除oss文件？
19
1
0
OSS是否有提供文件的在线处理能力？
983
2
0
dataphin外部表读取OSS的CSV文件，执行完，书记是空的，没有读到csv文件。
811
0
0
大数据与机器学习

大数据计算 MaxCompute

MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。

我要提问

相关产品

  • 云原生大数据计算服务 MaxCompute
    文档详情 产品详情

    • 热门讨论

    热门文章

  • 大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
    82
  • MaxCompute中执行SQL报错ODPS-0130071
    23180
  • 大数据计算MaxCompute mma 可以进行不同云的同步吗？
    32
  • "大数据计算MaxCompute中MySQL输入基于Binlog实时订阅的方式？
    27
  • 请问大数据计算MaxCompute有主键这种说法么?
    537
  • 解析并获取大json，是否更推荐json_tuple()？
    1085
  • DataWorks中DBeaver查询MaxCompute，默认是UTC时区，这个要怎么修改呢？
    37
  • 大数据计算MaxCompute从这个推断应该是转义符失效了，或者没法识别？
    64
  • MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
    2313
  • 在sql 里嵌套查询时，查询条件带有instr时报错
    186
    • 展开全部
  • MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
    139471
  • 一文解析 ODPS SQL 任务优化方法原理
    103456
  • 给技术新人的ODPS优化建议
    95282
  • 10年老兵带你看尽MaxCompute大数据运算挑战与实践
    15937
  • 阿里云MaxCompute携手华大基因打造精准医疗应用云平台，十万基因组计算成本降低至1000美金以内
    6683
  • 大数据分析平台产品对比之MaxCompute 篇
    9080
  • MaxCompute使用常见问题总结
    5249
  • 大数据开发—常见问题（1）
    3137
  • MaxCompute帮助创业公司中减轻MySQL存储压力
    2992
  • 基于MaxCompute的数仓数据质量管理
    3722
    • 展开全部

    相关课程

    更多
  • 大数据知识图谱—数据中台的智能进化—阿里巴巴十二年数据平台发展历程
    97
    1
    去学习
  • 大数据知识图谱—一文读懂云原生一体化数仓
    91
    1
    去学习
  • 如何将 PolarDB-X 与大数据等系统互通
    92
    2
    去学习
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
    174
    1
    去学习
  • 基于Flink的实时大数据应用Demo
    217
    1
    去学习
  • 玩转对象存储OSS使用入门
    5051
    15
    去学习

    • 相关文章

  • 【Spark】Spark基础教程知识点
  • 深度分页问题
  • 深入理解Linux内核的进程调度机制
  • 【Python机器学习专栏】联邦学习：保护隐私的机器学习新趋势
  • 介绍redis分布式锁

    • 相关电子书

    更多
    • OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载

    相关实验场景

    更多
  • 为OSS Bucket配置BucketPolicy
    43
    1.0小时
    去实验
  • 使用OSS助力游戏资源加速
    35
    1.0小时
    去实验
  • OSS生命周期管理与访问行为分析
    336
    2.0小时
    去实验
  • 利用HBR实现OSS文件备份
    28
    1.0小时
    去实验
  • 使用日志服务SLS进行OSS可观测分析
    548
    1.0小时
    去实验
  • 热门Stable Diffusion模型库一键转存至OSS并挂载到PAI-EAS推理训练
    836
    1.0小时
    去实验