kettle从oracle抽数到maxcompute报错，maxcompute还出现了重复数据

为了将Oracle数据库中的数据成功迁移到MaxCompute，并确保数据的正确性和完整性，您可以遵循以下详细步骤操作：

1. 环境与数据准备

• 准备DataWorks环境：
  • 确保已开通MaxCompute和DataWorks服务。
  • 创建一个工作空间，并在其中建立业务流程。
• 配置Oracle环境：
  • 确认Oracle数据库安装于云服务器ECS，具备公网IP访问，并在安全组中开放1521端口。

2. 创建并填充Oracle测试数据

• 在Oracle中创建表DTSTEST.GOOD_SALE，包含时间、类别、品牌等列。
• 执行SQL语句插入测试数据，例如：

  INSERT INTO good_sale VALUES('28-12月-19', '厨具', '品牌A', 'hanmeimei', '6', '80.6', '4');
  

3. 在MaxCompute中创建目标表

• 登录DataWorks控制台，进入数据开发页面。
• 右键单击业务流程，新建MaxCompute表，根据数据类型映射关系设置字段，如使用BIGINT对应Oracle的NUMBER(20,0)，确保数据类型兼容。

4. 配置Oracle数据源

• 在DataWorks中配置Oracle作为数据源，输入正确的连接信息。

5. 设置离线数据同步任务

• 新建离线同步节点，选择源为刚配置的Oracle数据源，目标为MaxCompute表。
• 根据需要调整字段映射，若数据类型不完全匹配，需按照映射表调整以避免数据丢失或损坏。
• 运行同步任务，监控运行日志确认数据迁移过程无误。

6. 验证迁移结果

• 在DataWorks中创建ODPS SQL节点，执行查询语句检查MaxCompute中的数据，如：

  SELECT * FROM good_sale;
  

• 确认数据已成功迁移且内容准确无误。

通过以上步骤，您可以有效地将Oracle数据库的数据迁移到MaxCompute平台，实现数据的集成与进一步分析处理。在整个过程中，注意数据类型的正确映射是保证数据迁移质量的关键。