开发者社区> 问答> 正文

有人基于华为的大数据平台编译过iceberg么?

有人基于华为的大数据平台编译过iceberg么?

展开
收起
真的很搞笑 2023-04-19 18:26:15 170 0
1 条回答
写回答
取消 提交回答
  • 资深技术专家。主攻技术开发,擅长分享、写文、测评。

    安装依赖项(需要Git、OpenJDK 8)

    克隆Iceberg代码库:

    git clone https://github.com/apache/iceberg.git 使用Maven构建Iceberg:

    cd iceberg/ mvn package -P hadoop-3 -P hbase-2.0 -DskipTests 这将在本地maven仓库中创建一个JAR文件,该文件位于target/目录中。

    将此JAR文件上传到Hadoop集群中。这可以通过使用scp命令从本地计算机进行操作:

    scp target\iceberg-<版本号>.jar <用户名>@<IP地址>:<路径> 现在可以在HuaWei的大数据平台上执行Spark任务,并将此JAR文件添加到Spark应用程序的类路径中,以便将Iceberg API添加到您的代码中。

    2023-04-22 19:45:57
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载