</div>《汇众智联—工业大数据的采集、清洗和组织》电子版地址
2022-11-27
99
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
汇众智联—工业大数据的采集、清洗和组织
目录
相关文章
|
3月前
|
数据采集
人工智能
安全
|
6月前
|
存储
搜索推荐
算法
|
数据采集
存储
分布式计算
|
分布式计算
DataWorks
关系型数据库
DataWorks操作报错合集之数据源同步时，使用脚本模式采集mysql数据到odps中，使用querySql方式采集数据，在脚本中删除了Reader中的column，但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
378
3
3
|
机器学习/深度学习
分布式计算
监控
在大数据模型训练中，关键步骤包括数据收集与清洗、特征工程、数据划分；准备分布式计算资源
【6月更文挑战第28天】在大数据模型训练中，关键步骤包括数据收集与清洗、特征工程、数据划分；准备分布式计算资源，选择并配置模型如深度学习架构；通过初始化、训练、验证进行模型优化；监控性能并管理资源；最后保存模型并部署为服务。过程中要兼顾数据隐私、安全及法规遵守，利用先进技术提升效率。
362
0
0
|
数据采集
SQL
监控
大数据清洗的艺术：有效处理缺失值、异常值与重复数据
【4月更文挑战第8天】本文探讨了大数据清洗的三个关键环节：缺失值处理、异常值识别与处理、重复数据消除。在处理缺失值时，涉及识别、理解原因、选择删除、填充或保留策略，并进行结果验证。异常值识别包括统计方法、业务规则和可视化检查，处理策略包括删除、修正和标记。重复数据的识别基于主键和关键属性，处理策略有删除、合并和哈希，处理后需持续监控。数据清洗是一门艺术，需要结合统计学、编程技能和业务理解。
3420
2
2
|
canal
消息中间件
关系型数据库
|
NoSQL
物联网
大数据
|
Prometheus
数据可视化
Cloud Native
|
存储
SQL
Oracle
热门文章
最新文章
1
【万字长文，建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
2
一文辨析：数据仓库、数据湖、湖仓一体
3
阿里云大数据AI产品月刊-2025年8月
4
基于python大数据的天气可视化分析预测系统
5
终于！大数据分析不用再“又要快又要省钱”二选一了！Dataphin新功能太香了！
6
别等被黑客敲门才醒悟：大数据如何帮你防住网络攻击？
7
基于python大数据的nba球员可视化分析系统
8
【赵渝强老师】阿里云大数据MaxCompute的体系架构
9
MaxCompute 聚簇优化推荐原理
10
没有大数据，哪来人工智能？——聊聊“大数据喂养下的AI进化史”
1
人工智能平台PAI产品使用合集之如何在odps上启动独立的任务
185
2
DataWorks操作报错合集之出现报错“odps-0123055:用户脚本异常-Traceback（最后一次调用）”，如何解决
431
3
人工智能平台PAI操作报错合集之在ODPS的xxx_dev项目空间调用easyrec训练，需要访问yyy项目空间的OSS，出现报错，是什么导致的
139
4
MaxCompute操作报错合集之创建oss外部表时出现了报错："Semantic analysis exception - external table checking failure, error message:，该怎么办
414
5
MaxCompute操作报错合集之在本地用tunnel命令上传excel表格到mc遇到报错： tunnel upload C:\Users***\Desktop\a.xlsx mc里的非分区表名 -s false;该怎么办
169
6
DataWorks操作报错合集之数据源同步时，使用脚本模式采集mysql数据到odps中，使用querySql方式采集数据，在脚本中删除了Reader中的column，但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
379
7
MaxCompute操作报错合集之通过UDF调用异常（其他使用http调用正常）。报错：java.lang.NoSuchMethodError：是什么导致的
178
8
MaxCompute操作报错合集之查询外部表insert到内部表报错，两表字段一致，是什么原因
165
9
MaxCompute操作报错合集之出现报错：invalid dynamic partition value: \ufffd\ufffd\ufffd\ufffd\ufffd\ufffd是什么原因
369
10
MaxCompute产品使用合集之如何设置每次返回超过10000行记录
192