开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

请问数据预处理一般主要包括哪些处理流程呢?

已解决

请问数据预处理一般主要包括哪些处理流程呢?

展开
收起
felix@ 2023-01-18 21:55:17 1279 0
4 条回答
写回答
取消 提交回答
  • 今天也要加油吖~
    采纳回答

    您好,PAI-Designer数据预处理一般主要包括三个处理流程:

    1.将原始数据表中,取值为非数值类型的字段,通过SQL替换为数值类型的取值,以保障此预处理后,表中所有字段的取值都是数值类型的取值。

    2.将表中字段换为double类型,以保障此预处理后,表中字段均满足后续归一化处理的字段属性要求。

    3.将表中字段的取值均归一化。

    2023-01-18 22:03:22
    赞同 展开评论 打赏
  • 楼主你好,我给出一些数据预处理步骤,希望对你有帮助! 数据预处理一般主要包括以下处理流程: 1. 数据清洗:清洗数据,去除无效数据,缺失值填充,异常值处理等;

    1. 数据转换:将数据转换为模型可以识别的格式,如将文本转换为数值;

    2. 数据缩放:将数据缩放到一定范围,以便模型更好地拟合数据;

    3. 数据分割:将数据分割为训练集和测试集,以便模型训练和评估;

    4. 特征选择:从原始数据中选择有用的特征,以便模型更好地拟合数据。

    2023-01-19 13:27:12
    赞同 展开评论 打赏
  • CSDN博客专家,51CTO博主专家,多知名企业认证讲师&签约作者&培训讲师,特邀作者等,华为云专家,资深测试开发专家,金牌面试官,职场面试培训及规划师。

    【回答】

    主要分4步(比把大象放冰箱里多了一步):

    • 一、数据清洗:就是把 "异常"数据变成正常数据,涉及到两种异常情况:

      1. 缺失值

      2. 异常值

    • 二、数据集成:将两个数据框以关键字为依据,在R里用merge函数实现。

      在进行数据集成可能会存在两种情况:

      1. 同名异义

      2. 异名同义

    • 三、数据变换:很容易理解, 把数据变换就是转化成适当的形式。

    涉及3点内容:

    1. 简单函数变化

    2. 规范化

    3. 连续属性离散化

    4. 四、数据归约:数据规归能够降低无效错误的数据对建模的影响、缩减时间、降低存储数据的空间。

    涉及2点内容:

    1. 属性归约

    2. 数值归约

    以上回答, 希望能够帮助你。

    2023-01-19 09:25:39
    赞同 展开评论 打赏
  • 数据清洗、数据集成、数据变换、数据归约

    2023-01-18 22:19:30
    赞同 展开评论 打赏

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载