com.alibaba.datax.common.exception.DataXException

1. 问题描述： 用户在使用DataX进行HDFS写入操作时遇到错误，错误信息为：com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-01], Description:[您缺失了必须填写的参数值.]. - 您提供配置文件有误，[defaultFS]是必填参数，不允许为空或者留白。

2. 可能原因：

   • 配置文件中缺少了HDFS连接的必要参数defaultFS，该参数定义了HDFS文件系统的命名空间URI，是建立与HDFS连接的基础配置之一。

3. 解决步骤：

   • 检查并修正配置：打开您的DataX任务配置文件，确保hdfsConfig部分包含了defaultFS参数，并正确设置了HDFS的地址。配置示例如下：

     "hdfsConfig": {
      "defaultFS": "hdfs://your_hdfs_namespace:port",
      ...
     }
     

     请将your_hdfs_namespace:port替换为实际的HDFS集群地址和端口。

   • 验证配置完整性：确认除了defaultFS外，其他必要的HDFS连接参数（如用户名、权限等）也已正确配置。

   • 重新运行任务：保存配置更改后，重新启动或提交您的DataX同步任务，观察是否还存在相同的错误提示。

4. 注意事项：

   • 备份配置：在修改配置前，建议先备份原有配置文件，以防配置错误导致任务无法正常执行。
   • 权限验证：确保DataX运行账户对HDFS具有相应的读写权限，以免因权限问题导致任务失败。

通过上述步骤，您可以定位并解决因缺少defaultFS参数导致的任务配置错误。如果问题仍然存在，建议进一步检查HDFS服务状态及网络连通性，或联系技术支持获取更专业的帮助。