开发者社区 问答 正文

有人基于华为的大数据平台编译过iceberg么?

有人基于华为的大数据平台编译过iceberg么?

展开
收起
真的很搞笑 2023-04-19 18:26:15 180 分享 版权
1 条回答
写回答
取消 提交回答
  • 资深技术专家。主攻技术开发,擅长分享、写文、测评。

    安装依赖项(需要Git、OpenJDK 8)

    克隆Iceberg代码库:

    git clone https://github.com/apache/iceberg.git 使用Maven构建Iceberg:

    cd iceberg/ mvn package -P hadoop-3 -P hbase-2.0 -DskipTests 这将在本地maven仓库中创建一个JAR文件,该文件位于target/目录中。

    将此JAR文件上传到Hadoop集群中。这可以通过使用scp命令从本地计算机进行操作:

    scp target\iceberg-<版本号>.jar <用户名>@<IP地址>:<路径> 现在可以在HuaWei的大数据平台上执行Spark任务,并将此JAR文件添加到Spark应用程序的类路径中,以便将Iceberg API添加到您的代码中。

    2023-04-22 19:45:57
    赞同 展开评论