AI 助理
备案控制台
开发者社区 大数据 文章 正文

开源计算框架 Apache Tez

2017-06-05 2215
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

Apache Tez 详细介绍

Tez 是 Apache 最新的支持 DAG 作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统上是一个大量数据批处理平台。但是，有很多用例需要近乎实时的查询处理性能。还有一些工作则不太适合MapReduce，例如机器学习。Tez的目的就是帮助Hadoop处理这些用例场景。

image
image

文章转载自 开源中国社区[https://www.oschina.net]

文章标签：
Apache
分布式计算
测试技术
机器学习/深度学习
Hadoop
开发者
关键词：
Apache框架
Apache开源
计算Apache
框架Apache
Apache计算
行者武松
目录
相关文章
灵杰开发者
|
15天前
|
人工智能 运维 Java
Flink Agents：基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲，深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体，结合Flink的实时处理能力，推动AI在工业场景中的工程化落地，涵盖智能运维、直播分析等典型应用，展现其在AI发展第四层次——智能体AI中的重要意义。
灵杰开发者
194 14
Flink Agents：基于Apache Flink的事件驱动AI智能体框架
Jaxonic
|
1月前
|
消息中间件 存储 数据采集
Apache InLong：构建10万亿级数据管道的全场景集成框架
Apache InLong（应龙）是一站式、全场景海量数据集成框架，支持数据接入、同步与订阅，具备自动、安全、可靠和高性能的数据传输能力。源自腾讯大数据团队，现为 Apache 顶级项目，广泛应用于广告、支付、社交等多个领域，助力企业构建高效数据分析与应用体系。
Jaxonic
146 0
阿里云云原生
|
8月前
|
消息中间件 存储 Apache
恭喜 Apache RocketMQ、Apache Seata 荣获 2024 开源创新榜单“年度开源项目”
近日，以“新纪天工、开物焕彩——致敬开源的力量”为活动主题的“重大科技成就发布会（首场）”在国家科技传播中心成功举办，并隆重揭晓了 2024 开源创新榜单，旨在致敬中国开源力量，传播推广开源科技成就，营造中国开源创新生态。2024 年开源创新榜单由中国科协科学技术传播中心、中国计算机学会、中国通信学会、中国科学院软件研究所共同主办，中国开发者社区承办，以王怀民院士为首组建评审委员会，进行研讨评审，面向中国开源行业领域，遴选具有创新性、贡献度和影响力的开源项目、社区、应用场景与开源事件。在评审出的 10 个年度开源项目中，Apache RocketMQ、Apache Seata 成功入选。
阿里云云原生
288 109
SOFAStack社区-棠棠
|
6月前
|
Apache 数据库 开发者
喜报！Apache Seata (incubating) 荣获 2024 开源创新榜单“年度开源项目”！
12月18日，Apache Seata 在北京举行的2024开源创新榜单发布活动中荣获“年度开源项目”。该榜单由中国科协等权威机构主办，经过严格评审，Seata 凭借卓越的技术实力和社区贡献脱颖而出。Seata 是一款分布式事务解决方案，自2019年开源以来，已在GitHub收获超25.4k star，广泛应用于各领域企业，支持主流数据库和RPC框架。未来，Seata 将继续推动技术进步，共建开放、包容的社区生态。
SOFAStack社区-棠棠
144 2
喜报！Apache Seata (incubating) 荣获 2024 开源创新榜单“年度开源项目”！
技术小达人
|
6月前
|
消息中间件 存储 Apache
恭喜 Apache RocketMQ 荣获 2024 开源创新榜单“年度开源项目”
恭喜 Apache RocketMQ 荣获 2024 开源创新榜单“年度开源项目”
技术小达人
99 1
SelectDB
|
8月前
|
存储 SQL 监控
计算效率提升 10 倍，存储成本降低 60%，灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台，在战略调整和需求的持续扩增下，数据处理效率、查询性能、资源成本问题随之出现。为此，引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈，升级为集存储、加工、服务为一体的统一架构，实现存储成本下降 60%，计算效率提升超 10 倍的显著成效。
SelectDB
354 0
计算效率提升 10 倍，存储成本降低 60%，灵犀科技基于 Apache Doris 建设统一数据服务平台
全干程序员demo
|
10月前
|
消息中间件 监控 数据可视化
Apache Airflow 开源最顶级的分布式工作流平台
Apache Airflow 是一个用于创作、调度和监控工作流的平台，通过将工作流定义为代码，实现更好的可维护性和协作性。Airflow 使用有向无环图（DAG）定义任务，支持动态生成、扩展和优雅的管道设计。其丰富的命令行工具和用户界面使得任务管理和监控更加便捷。适用于静态和缓慢变化的工作流，常用于数据处理。
全干程序员demo
622 3
Apache Airflow 开源最顶级的分布式工作流平台
全干程序员demo
|
10月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库，以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景，适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃，已广泛应用于电商、广告、用户行为分析等领域。
全干程序员demo
628 1
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
龙大吉
|
11月前
|
存储 数据挖掘 数据处理
Apache Paimon 是一款高性能的数据湖框架，支持流式和批处理，适用于实时数据分析
【10月更文挑战第8天】随着数据湖技术的发展，越来越多企业开始利用这一技术优化数据处理。Apache Paimon 是一款高性能的数据湖框架，支持流式和批处理，适用于实时数据分析。本文分享了巴别时代在构建基于 Paimon 的 Streaming Lakehouse 的探索和实践经验，包括示例代码和实际应用中的优势与挑战。
龙大吉
487 1
bruce_xiaowei
|
11月前
|
数据挖掘 物联网 数据处理
深入探讨Apache Flink：实时数据流处理的强大框架
在数据驱动时代，企业需高效处理实时数据流。Apache Flink作为开源流处理框架，以其高性能和灵活性成为首选平台。本文详细介绍Flink的核心特性和应用场景，包括实时流处理、强大的状态管理、灵活的窗口机制及批处理兼容性。无论在实时数据分析、金融服务、物联网还是广告技术领域，Flink均展现出巨大潜力，是企业实时数据处理的理想选择。随着大数据需求增长，Flink将继续在数据处理领域发挥重要作用。
bruce_xiaowei
883 0

热门文章

最新文章

  • 1
    数据湖表格式：Apache Iceberg、Apache Hudi、Delta Lake
  • 2
    海量接入、毫秒响应：易易互联基于 Apache RocketMQ + MQTT 构筑高可用物联网消息中枢
  • 3
    Apache Kafka 分布式流处理平台技术详解与实践指南
  • 4
    Apache Flink 漫谈系列(10) - JOIN LATERAL
  • 5
    阿里云ECS服务器CentOS7上安装Apache服务
  • 6
    apache 与 tomcat 整合
  • 7
    转 Apache文档-rotatelogs滚动日志
  • 8
    Apache Spark，Parquet和麻烦的Null
  • 9
    Linux+Apache2.2+openssl实现https验证
  • 10
    window+Apache 配置虚拟主机(2)
  • 1
    Apache Shiro 1.6.0 逻辑（CVE-2013-2134）
    104
  • 2
    Apache Struts 2 2.3.14.3 远程代码执行（CVE-2013-2134）
    103
  • 3
    Apache Struts Showcase App 2.0.0 到 2.3.13（在 2.3.14.3 之前的 Struts 2 中使用）远程代码执行（CVE-2013-1965）
    110
  • 4
    "Apache Flink：重塑大数据实时处理新纪元，卓越性能与灵活性的实时数据流处理王者"
    207
  • 5
    "揭秘实时流式计算：低延迟、高吞吐量的数据处理新纪元，Apache Flink示例带你领略实时数据处理的魅力"
    344
  • 6
    "Linux系统实战：从零开始部署Apache+PHP Web项目，轻松搭建您的在线应用"
    834
  • 7
    【破晓数据湖新时代！】巴别时代揭秘：Apache Paimon 打造 Streaming Lakehouse 的神奇之旅！
    503
  • 8
    震撼来袭！Apache Flink：实时数据流处理界的超级巨星，开启全新纪元，让你的数据飞起来！
    205
  • 9
    Apache Flink 大揭秘：征服大数据实时流处理的神奇魔法，等你来解锁！
    232
  • 10
    Apache多虚拟主机多站点配置的两种实现方案
    746

    • 相关课程

    更多
  • Apache RocketMQ：如何从互联网时代演进到云
  • Apache Flink 入门到实战 - Flink开源社区出品
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 推荐镜像

    更多
  • apache
    • 下一篇
    2025云栖大会，阿里云百炼邀请您的参与和见证