开源产品有哪些-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

开源产品有哪些

2020-03-19 22:36:42 1929 1

开源产品有哪些

取消 提交回答
全部回答(1)
  • Puppet
    2020-03-19 22:36:54

    Sqoop(Tunnel通道系列) Sqoop基于社区Sqoop 1.4.6版本开发,增强了对MaxCompute的支持,可以将数据从MySQL等关系数据库导入或导出到MaxCompute表中,也可以从HDFS或Hive导入数据到MaxCompute表中。详情请参见MaxCompute Sqoop。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Kettle(Tunnel通道系列) Kettle是一款开源的ETL工具,纯Java实现,可以在Windows、Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 。详情请参见基于Kettle的MaxCompute插件实现数据上云。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Flume(DataHub通道系列) Apache Flume是一个分布式的、可靠的、可用的系统,可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。

    Apache Flume的DataHub Sink插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见flume_plugin。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Fluentd(DataHub通道系列) Fluentd是一个开源的软件,用来收集各种源头日志(包括Application Log、Sys Log及Access Log),允许您选择插件对日志数据进行过滤,并存储到不同的数据处理端(包括MySQL、Oracle、MongoDB、Hadoop、Treasure Data等)。

    Fluentd的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见 Fluentd插件介绍。

    LogStash(DataHub通道系列) LogStash是一款开源日志收集处理框架,logstash-output-datahub插件实现了将数据导入DataHub的功能。通过简单的配置即可完成数据的采集和传输,结合MaxCompute和StreamCompute可以轻松构建流式数据从采集到分析的一站式解决方案。

    LogStash的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。具体示例请参见Logstash + DataHub + MaxCompute和StreamCompute 进行实时数据分析。

    OGG(DataHub通道系列) OGG的DataHub插件可以支持将Oracle数据库的数据实时地以增量方式同步到DataHub中,并最终归档到MaxCompute表中。详情请参见基于OGG DataHub插件将Oracle数据同步上云。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 MMA迁移工具 MMA利用Meta Carrier连接用户的Hive Metastore服务,抓取用户的Hive Metadata,并利用这些数据生成用于创建MaxComputer表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详情请参见MMA迁移概述。

    0 0
相关问答

1

回答

离线数仓开源代表有哪些?

2022-05-10 18:51:48 162浏览量 回答数 1

1

回答

为什么要面向开源产品去做架构设计?

2021-12-14 11:08:42 224浏览量 回答数 1

1

回答

云原生对开源的影响有哪些?

2021-12-14 10:54:41 227浏览量 回答数 1

1

回答

E-HPC 产品有哪些优势?

2021-11-26 11:10:26 850浏览量 回答数 1

1

回答

E-HPC 产品可以满足哪些场景?

2021-11-26 11:10:11 800浏览量 回答数 1

1

回答

开源数据库有哪些呢?

2021-11-01 18:52:15 123浏览量 回答数 1

1

回答

Java开源中数据库连接池中Druid有哪些功能?

2021-10-29 16:45:05 363浏览量 回答数 1

2

回答

智能媒体管理产品架构有哪些?

2020-03-31 12:36:49 603浏览量 回答数 2

1

回答

批量计算产品架构有哪些?

2020-03-28 20:34:22 723浏览量 回答数 1

0

回答

Became OpenSource Project——Weex开源经验谈

2018-07-16 21:29:22 825浏览量 回答数 0
+关注
0
文章
2173
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载