开源产品有哪些-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

开源产品有哪些

Puppet 2020-03-19 22:36:42 415

开源产品有哪些

分享到
取消 提交回答
全部回答(1)
  • Puppet
    2020-03-19 22:36:54

    Sqoop(Tunnel通道系列) Sqoop基于社区Sqoop 1.4.6版本开发,增强了对MaxCompute的支持,可以将数据从MySQL等关系数据库导入或导出到MaxCompute表中,也可以从HDFS或Hive导入数据到MaxCompute表中。详情请参见MaxCompute Sqoop。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Kettle(Tunnel通道系列) Kettle是一款开源的ETL工具,纯Java实现,可以在Windows、Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 。详情请参见基于Kettle的MaxCompute插件实现数据上云。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Flume(DataHub通道系列) Apache Flume是一个分布式的、可靠的、可用的系统,可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。

    Apache Flume的DataHub Sink插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见flume_plugin。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 Fluentd(DataHub通道系列) Fluentd是一个开源的软件,用来收集各种源头日志(包括Application Log、Sys Log及Access Log),允许您选择插件对日志数据进行过滤,并存储到不同的数据处理端(包括MySQL、Oracle、MongoDB、Hadoop、Treasure Data等)。

    Fluentd的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见 Fluentd插件介绍。

    LogStash(DataHub通道系列) LogStash是一款开源日志收集处理框架,logstash-output-datahub插件实现了将数据导入DataHub的功能。通过简单的配置即可完成数据的采集和传输,结合MaxCompute和StreamCompute可以轻松构建流式数据从采集到分析的一站式解决方案。

    LogStash的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。具体示例请参见Logstash + DataHub + MaxCompute和StreamCompute 进行实时数据分析。

    OGG(DataHub通道系列) OGG的DataHub插件可以支持将Oracle数据库的数据实时地以增量方式同步到DataHub中,并最终归档到MaxCompute表中。详情请参见基于OGG DataHub插件将Oracle数据同步上云。

    说明 该项目已经开源,您可进入aliyun-maxcompute-data-collectors进行查看。 MMA迁移工具 MMA利用Meta Carrier连接用户的Hive Metastore服务,抓取用户的Hive Metadata,并利用这些数据生成用于创建MaxComputer表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详情请参见MMA迁移概述。

    0 0
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

推荐文章