Teradata领军大数据与SQL的结合

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

本文讲的是Teradata领军大数据与SQL的结合,大家还认为在单一集成架构中管理获取非结构化数据、半结构化数据以及传统的行与列的数据仓库是不可能的事吗?Teradata定会让你眼前一亮。

  Teradata统一数据平台架构(Unified Data Architecture)的发布引领了一股新潮,就连IBM、EMC和Oracle都有可能紧随其后。

Teradata领军大数据与SQL的结合
▲Teradata统一数据平台架构

  该架构包含一系列为企业量身打造的技术,使它们在传统关系数据库和大数据Hadoop环境中都能够以更低的成本更加快捷地捕捉、存储和分析数据。

  由谷歌开发的并行编程框架MapReduce与其开源版本Hadoop简化了分布在商业硬件中大型数据集的处理流程。

  只有高端程序员才能够获取并分析数据,而他们的薪酬可不是小数目。Teradata称,统一数据架构可让开发者和数据科学家运用SQL在Hadoop分布式文档系统(HDFS)中查询非结构化数据;众所周知,SQL是一种使用更为广泛的语言。

  Teradata的CTO Stephen Brobst说:“你可以同时拥有MapReduce的性能和SQL的简便。在这之前,只有把数据放进Hadoop的人才有权限把它们拿出来用。”

  Teradata部署了由Hortonworks开发的开源元数据框架HCatalog,而SQL-H允许使用行业标准的SQL语言对HDFS进行分析。

  在Aster没被Teradata收购之前,它开发了SQL-MapReduce,并申请了专利,为SQL注入新的MapReduce功能,并提供超过50种预建分析应用。

  “这等于把两个技术的优势结合起来。”

  Teradata-Aster的大数据分析设备(Big Analytics Appliance)整合了不同的技术,在Hadoop和Teradata关系数据库的一台机器中运行、管理并分析数据,存储量可达到15PB,而且可在多服务器环境中运行。

  除了硬件设备,Teradata还发布了新的软件——对基于网页的系统管理工具Viewpoint进行扩展,在相同的控制平台中管理Aster,同时还可以对Hadoop数据库进行管理监控。Hadoop连接器支持数据在Cloudera和Hortonworks Hadoop文档中的载入和提取。据了解该功能将在2013年年初提供。

  Cerulium咨询公司的COO Eric Rivard提到,在架构中使用SQL-H会节省一定的成本。

  他说:“Hadoop非常适合处理海量的数据,但数据的提取就比较困难。”

  Bloor Group的创始人兼首席分析师Robin Bloor认为,Oracle、微软和IBM很有可能跟随Teradata的这一做法,在他们自己的系统中将Hadoop和关系数据库整合到一个更易于管理和获取数据的框架。无论如何,Teradata打响了第一枪。

  撇开在一个架构中整合大数据和传统数据的可观价值不谈,企业仍然无法解决如何将现有数据和历史数据整合到同一个管理分析架构中的问题。

  Bloor说,一个厂商发布了新技术还不太可能改变整个行业的现状。

作者: 茶一峰

来源: IT168

原文标题:Teradata领军大数据与SQL的结合

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
3月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1044 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
4月前
|
SQL 分布式计算 大数据
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
|
6月前
|
SQL 人工智能 分布式计算
别再只会写SQL了!这五个大数据趋势正在悄悄改变行业格局
别再只会写SQL了!这五个大数据趋势正在悄悄改变行业格局
112 0
|
8月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
9月前
|
SQL 大数据 数据挖掘
玩转大数据:从零开始掌握SQL查询基础
玩转大数据:从零开始掌握SQL查询基础
352 35
|
8月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
SQL 算法 大数据
为什么大数据平台会回归SQL
在大数据领域,尽管非结构化数据占据了大数据平台80%以上的存储空间,结构化数据分析依然是核心任务。SQL因其广泛的应用基础和易于上手的特点成为大数据处理的主要语言,各大厂商纷纷支持SQL以提高市场竞争力。然而,SQL在处理复杂计算时表现出的性能和开发效率低下问题日益凸显,如难以充分利用现代硬件能力、复杂SQL优化困难等。为了解决这些问题,出现了像SPL这样的开源计算引擎,它通过提供更高效的开发体验和计算性能,以及对多种数据源的支持,为大数据处理带来了新的解决方案。
|
3月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
199 14
|
4月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
162 0

热门文章

最新文章