• 关于

    hive mysql元数据库失败

    的搜索结果
  • Hive环境搭建

    准备环境: hadoop基础环境(3.1.3) Hive版本 3.1.2下载地址:https://hive.apache.org/downloads.htmlHive3.X版本支持Hadoop3.X,Hive2.0版本支持Hadoop2.X1、上传安装包,解压文件tar -zxvf 对应包名...

    文章 袋鼠云 2020-12-03 49浏览量

  • Hive 工作原理详解

    什么是Hive?        Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL ...

    文章 李世龙ing 1970-01-01 918浏览量

  • Hive 工作原理详解

    什么是Hive?        Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL ...

    文章 吴梦涵 1970-01-01 1974浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 《Hadoop实战第2版》——1.6节Hadoop数据管理

    1.6 Hadoop数据管理前面重点介绍了Hadoop及其体系结构与计算模型MapReduce,现在开始介绍Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive。 1.6.1 HDFS的数据管理HDFS是分布式计算的存储基石,Hadoo...

    文章 华章计算机 2017-08-01 1234浏览量

  • 知识分享:详解Hadoop核心架构

    通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive...

    文章 知与谁同 2017-08-01 1270浏览量

  • 一步即可!阿里云数据湖分析服务构建MySQL低成本分析方案

    作者:沈洪/左上作为最为流行的开源数据库,MYSQL正成为越来越多企业的选择。MySQL数据库大量应用在各种业务系统,除了在线业务逻辑的读写,还会有一些额外的数据分析需求,如BI报表、可视化大屏、大数据应用等。但受限于MySQL架构等问题,在面对数据分析场景时,其往往力不从心。针对这种情况,业内有...

    文章 skin778 2020-05-13 627浏览量

  • Spark-1.3.1与Hive整合实现查询分析

    在大数据应用场景下,使用过Hive做查询统计分析的应该知道,计算的延迟性非常大,可能一个非常复杂的统计分析需求,需要运行1个小时以上,但是比之于使用MySQL之类关系数据库做分析,执行速度快很多很多。使用HiveQL写类似SQL的查询分析语句,最终经过Hive查询解析器,翻译成Hadoop平台上的...

    文章 shiyanjuncn 2016-04-13 2465浏览量

  • SparkSQL在有赞的实践

    前言 有赞数据平台从2017年上半年开始,逐步使用 SparkSQL 替代 Hive 执行离线任务,目前 SparkSQL 每天的运行作业数量5000个,占离线作业数目的55%,消耗的 cpu 资源占集群总资源的50%左右。本文介绍由 SparkSQL 替换 Hive 过程中碰到的问题以及处理经验...

    文章 邹有福 2019-01-10 6970浏览量

  • 大数据与机器学习:实践方法与行业案例.1.2数据平台

    1.2数据平台 数据平台是存放分析数据的平台,也是支持大多数数据分析和数据挖掘应用的底层平台,它使用了统一的数据清洗与处理规则,因而可以保证从基础平台上输出的数据内容是一致的。 传统的数据平台基本等同于大家熟悉的“数据仓库”,但互联网浪潮让人们对数据采集、存储和应用提出了越来越高的要求,传统数据...

    文章 华章计算机 2017-05-02 2006浏览量

  • 高可用Hadoop平台-集成Hive HAProxy

    1.概述   这篇博客是接着《高可用Hadoop平台》系列讲,本篇博客是为后面用 Hive 来做数据统计做准备的,介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具,下面我打算分以下流程来赘述: 环境准备 集成并配置 Hive 工具 使用 Java API 开发 Hive 代码 ...

    文章 smartloli 2016-04-19 1647浏览量

  • 高可用Hadoop平台-集成Hive HAProxy

    1.概述   这篇博客是接着《高可用Hadoop平台》系列讲,本篇博客是为后面用 Hive 来做数据统计做准备的,介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具,下面我打算分以下流程来赘述: 环境准备 集成并配置 Hive 工具 使用 Java API 开发 Hive 代码 ...

    文章 smartloli 2016-04-25 2016浏览量

  • Impala——2.架构

    标签(空格分隔): Impala Impala Server的组件 Impala服务器是分布式,大规模并行处理(MPP)数据库引擎。它由不同的在群集中的特定主机上运行的守护程序进程组成。 Impala守护进程 核心Impala组件是一个守护进程,它通过impalad进程在集群的每个DataNod...

    文章 尊渊 2019-06-03 910浏览量

  • CDH 5 Beta 2 的新变化

    本文是同事对CDH 5.0.0 Beta 2的翻译,仅供大家参考。 这是 CDH 5.0.0 Beta 2的初稿。鉴于 CDH 5 目前的发布版本是测试版,它不应用于生产环境中;它只是用来评估、测试的。对于生产环境,请使用 CDH 4,最近的文档在 CDH Documentation Apache...

    文章 雨客 2016-04-08 2085浏览量

  • DataWorks百问百答69:有哪些数据集成报错(数据集成报错归类)?

    ODPS模块: ODPS Reader: 1.ODPS session超时 ErrorMessage: Code:DATAX_R_ODPS_005:读取ODPS数据失败, Solution:[请联系ODPS管理员]. - RequestId=202012091137444331f60b08cda...

    文章 DataWorks团队 2021-01-05 180浏览量

  • 大数据简介,技术体系分类整理

    一、大数据简介 1、基础概念 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。 2、特点分析 大数据的5V特点(IBM提出):...

    文章 知了一笑 2020-09-15 134浏览量

  • apache开源项目 -- tajo

    一、体系架构   Tajo采用了Master-Worker架构(下图虚线框目前还在计划中),Master-Worker-Client之间的RPC通信是使用Protocol buffer + Netty来实现的,具体如下: (1)      TajoMaster:为客户端提供查询服务和管理各个Que...

    文章 文艺小青年 2017-06-01 1175浏览量

  • Azkaban 任务调度系统(安装搭建)

    无论是在业务开发还是在大数据开发中,脚本都是必不可少的存在,在初期我们会使用crontab来解决问题,那么当发现规模变大监控需求可视化需求的到来Crontab已经显然满足不了需求,抱着一颗解决大数据任务脚本和业务任务脚本难题的心态最终在oozie和Azkaban选择了使用Azkaban来作为公共任...

    文章 喵了个咪_ 2020-08-11 210浏览量

  • MySQL超时参数以及相关数据集成、DataX数据同步案例分享

    一、背景 MySQL系统变量提供关于服务器的一些配置和能力信息,大部分变量可在mysqld服务进程启动时设置,部分变量可在mysqld服务进程运行时设置。合理的系统变量设值范围,是保障MySQL稳定提供服务的重要因素。本文主要描述MySQL数据库的超时timeout相关的一些系统变量,部分参数同程...

    文章 生命周期和 2016-09-25 11895浏览量

  • Spark SQL玩起来

    标签(空格分隔): Spark [toc] 前言 Spark SQL的介绍只包含官方文档的Getting Started、DataSource、Performance Tuning和Distributed SQL Engine部分。不含其他的迁移和PySpark等部分。 Spark SQL介绍 ...

    文章 尊渊 2019-03-26 8612浏览量

  • Hadoop - 任务调度系统比较

    1.概述   在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任 务的运行情况的监控,异常问题的排查等,这些问题会是的我们日常的工作变得复杂。那么,在没有条件和精力去开发一套调度系统的情况下,我们去选择一款第三 方...

    文章 smartloli 2016-04-25 3050浏览量

  • Hadoop - 任务调度系统比较

    1.概述   在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任 务的运行情况的监控,异常问题的排查等,这些问题会是的我们日常的工作变得复杂。那么,在没有条件和精力去开发一套调度系统的情况下,我们去选择一款第三 方...

    文章 smartloli 2016-04-25 2506浏览量

  • 核桃编程Delta Lake实时数仓应用实践

    作者:卢圣刚,核桃编程数据架构师,拥有多年的大数据开发和架构经验。曾担任易观数据挖掘工程师,熊猫TV大数据架构师。 核桃编程简介 核桃编程成立于2017年8月9日,作为少儿编程教育行业的领导者,始终秉持“让每个孩子爱学习、会学习,让优质的教育触手可及”的使命,致力于以科技手段促进编程教育,凭借首...

    文章 开源大数据EMR 2020-03-02 857浏览量

  • 探究 | Elasticsearch不支持事务有什么好的弥补方案吗?

    1、事务的核心概念 如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下ACID四个特性: 原子性(Atomicity) 原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚, 一致性(Consistency) 一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态,也就...

    文章 开发者社区 2019-07-03 285浏览量

  • Hadoop - 任务调度系统比较

    1.概述   在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任务的运行情况的监控,异常问题的排查等,这些问题会是的我们日常的工作变得复杂。那么,在没有条件和精力去开发一套调度系统的情况下,我们去选择一款第三方开源...

    文章 技术mix呢 2017-11-16 946浏览量

  • 开发效率提升15倍!批流融合实时平台在好未来的应用实践

    摘要:本文由好未来资深数据平台工程师毛祥溢分享,主要介绍批流融合在教育行业的实践。内容包括两部分,第一部分是好未来在做实时平台中的几点思考,第二部分主要分享教育行业中特有数据分析场景。大纲如下: 背景介绍 好未来 T-Streaming 实时平台 K12 教育典型分析场景 展望与规划 1...

    文章 阿里云实时计算Flink 2021-01-07 1508浏览量

  • 有哪些大数据处理工具?

    下图是由著名的数据观察家Matt Turck在他的BLOG(https://mattturck.com/) 里发出的2019年人工智能和大数据产业图,他从2012年开始每年都会绘制一张,大致描述这个产业里的公司及其数据相关的产品,以及所属问题的领域。这里面大部分是商业软件,而对于绝大多数互联网公司...

    文章 茶什i 2020-07-22 9156浏览量

  • Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南

    DataX-On-Hadoop即使用hadoop的任务调度器,将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到MaxCompute、RDS等,不需要用户提前安装和部署DataX...

    文章 隐林 2018-09-11 8363浏览量

  • 滴滴基于 Flink 的实时数仓建设实践

    随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子,从引擎侧、平台侧和业务侧各个不同方面,来阐述滴滴所做的工作,分享在建设过程中的经验。 1.实时数仓建设目的 随着互联网的发展进入下半场,...

    文章 阿里云实时计算Flink 2020-09-02 2396浏览量

  • 谈谈互联网后端基础设施

    纵观整个互联网技术体系再结合公司的目前状况,个人认为必不可少或者非常关键的后端基础技术/设施如下图所示: Api网关 业务应用和后端基础框架 缓存、数据库、搜索引擎、消息队列 文件存储 统一认证中心 单点登录系统 统一配置中心 服务治理框架 统一日志服务 数据基础设施 故障监控 这里的...

    文章 jurassic_1 2016-12-09 4929浏览量

  • [转载]聊聊Greenplum的那些事

    原文   http://dbaplus.cn/news-21-341-1.html 聊聊Greenplum的那些事 李巍 2016-04-01 14:15:00 1024   开卷有益——作者的话    有时候真的感叹人生岁月匆匆,特别是当一个IT人沉浸于某个技术领域十来年后,蓦然回首,...

    文章 德哥 2016-07-11 6840浏览量

1 2 >

云产品推荐

阿里云企业服务平台 陈四清的老板信息查询 上海奇点人才服务相关的云产品 爱迪商标注册信息 安徽华轩堂药业的公司信息查询 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 天籁阁商标注册信息 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 北京芙蓉天下的公司信息查询