• 关于

    hive怎么看配置

    的搜索结果
  • hive在E-MapReduce集群的实践(一)hive异常排查入门

    hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境为例,介绍常见的hive执行异常,定位和解决方法,以及hive日志查看方法。 除作者本...

    文章 鸿初 2018-04-11 5525浏览量

  • 如何使用RDS创建Hive元数据库

    1. 问题背景 E-MapReduce中支持的Hive,会默认在Master节点的Mysql数据库中记录元数据信息。通常,用户会将数据存储在E-MapReduce的HDFS中,使用Hive处理HDFS中的数据。当集群释放时,节点的所有数据包括HDFS数据和Hive元数据都会被删除。前面我撰文说过,...

    文章 鱼跟猫 2016-05-05 4536浏览量

  • Flink x Zeppelin ,Hive Streaming 实战解析

    作者:狄杰@蘑菇街 Flink 1.11 正式发布已经三周了,其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了,所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分...

    文章 阿里云实时计算Flink 2020-08-13 684浏览量

  • 深度解读 Flink 1.11:流批一体 Hive 数仓

    作者:李劲松、李锐 Flink 1.11 features 已经冻结,流批一体在新版中是浓墨重彩的一笔,在此提前对 Flink 1.11 中流批一体方面的改善进行深度解读,大家可期待正式版本的发布。 首先恭喜 Table/SQL 的 blink planner 成为默认 Planner,撒花、撒花...

    文章 阿里云实时计算Flink 2020-06-01 9628浏览量

  • Hortonworks(HDP)开发者认证-考试大纲

    原文链接   译者:小村长 本项目是 Hortonworks开发者认证官方文档的中文翻译版,Hortonworks致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景,它组合了大数据平台使用的各个组件, 比如Hadoop、Hbase、Hive、Spark等等一些列的组件, 它安装...

    文章 ali清英 2016-04-01 2316浏览量

  • Hortonworks(HDP)开发者认证-考试大纲

    本项目是 Hortonworks开发者认证官方文档的中文翻译版,Hortonworks致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景,它组合了大数据平台使用的各个组件, 比如Hadoop、Hbase、Hive、Spark等等一些列的组件, 它安装方便使用便捷, 而且已经在2...

    文章 青衫无名 2017-05-19 1855浏览量

  • Sqoop解决关系型数据库与HDFS之间进行数据转换

    Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。 以下操作就是使用sqoop在mysql和hdfs之间转换数据。 1.安装 我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz,打算安装在/usr/local目录下。 首先就是解压缩,...

    文章 skyme 2016-05-05 4929浏览量

  • 跟我一起hadoop(3)——hive

    hive架构图: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、优化器、执行器。 Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算。 用户接口主要有三个:CLI,Client 和 ...

    文章 skyme 2016-05-05 3005浏览量

  • HiveServer2中使用jdbc客户端用户运行mapreduce

    最近做了个web系统访问hive数据库,类似于官方自带的hwi、安居客的hwi改进版和大众点评的polestar(github地址)系统,但是和他们的实现不一样,查询Hive语句走的不是cli而是通过jdbc连接hive-server2。为了实现mapreduce任务中资源按用户调度,需要hive...

    文章 雨客 2016-04-08 5470浏览量

  • Hive性能优化

    1.概述   继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍   首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问...

    文章 smartloli 2016-04-25 3003浏览量

  • Hive性能优化

    1.概述   继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍   首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问...

    文章 smartloli 2016-04-19 3023浏览量

  • [C#]Attribute特性

    简介       特性提供功能强大的方法,用以将元数据或声明信息与代码(程序集、类型、方法、属性等)相关联。 特性与程序实体关联后,即可在运行时使用名为“反射”的技术查询特性。 特性具有以下属性: 特性可向程序中添加元数据。 元数据是有关在程序中定义的类型的信息。 所有的 .NET 程序集都包...

    文章 shy丶gril 2016-05-24 2083浏览量

  • Hive性能优化(全面)

    作者:浪尖原文链接本文转载自公众号:Spark学习技巧 1.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原...

    文章 开源大数据EMR 2019-12-30 839浏览量

  • 网易游戏基于 Flink 的流式 ETL 建设

    网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括:业务背景专用 ETLEntryX 通用 ETL调优实践未来规划一. 业务背景网易游戏 ETL 服务概况网易游戏的基础数据主要日志方式采集,这些日志通常是非结构化或半结构化数据,需要经过数据集成 ...

    文章 阿里云实时计算Flink 2021-03-12 795浏览量

  • 部署Mahout

    一、Mahout简介 Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发...

    文章 吴梦涵 1970-01-01 817浏览量

  • 部署Mahout

    一、Mahout简介 Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发...

    文章 李世龙ing 1970-01-01 790浏览量

  • Warning: $HADOOP_HOME is deprecated.的原因以及解决方法

    今天把hadoop从0.20.2版本升级到1.2.1版本之后,在很多时候都会报如下警告:Warning: $HADOOP_HOME is deprecated.         其实我刚看到这个警告的时候,第一反应并不是怎么屏蔽掉它,而是想知道Apache为什么准备废弃掉HADOOP_HOME这...

    文章 白及88 2016-02-24 1136浏览量

  • 开发效率提升15倍!批流融合实时平台在好未来的应用实践

    摘要:本文由好未来资深数据平台工程师毛祥溢分享,主要介绍批流融合在教育行业的实践。内容包括两部分,第一部分是好未来在做实时平台中的几点思考,第二部分主要分享教育行业中特有数据分析场景。大纲如下: 背景介绍 好未来 T-Streaming 实时平台 K12 教育典型分析场景 展望与规划 1...

    文章 阿里云实时计算Flink 2021-01-07 2489浏览量

  • Spark面试

    1、简答说一下hadoop的map-reduce编程模型 首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合 使用的是hadoop内置的数据类型,比如longwritable、text等 将键值对集合输入mapper进行业务处理过程,将其转换成需要的key...

    文章 wsc449 2018-01-17 1531浏览量

  • SparkSQL(源码阅读三)

      额,没忍住,想完全了解sparksql,毕竟一直在用嘛,想一次性搞清楚它,所以今天再多看点好了~   曾几何时,有一个叫做shark的东西,它改了hive的源码。。。突然有一天,spark Sql突然出现,如下图:   = =好了,不逗了,言归正传。。。那么一条sql传统数据库会是怎么解析的...

    文章 松伯 2016-11-21 1400浏览量

  • MaxCompute问答整理之10月

    本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。 问题一、DataStudio中是否可以通过shell节点调取MaxCompute sql语句?不可以的,Shell节点支持标准Shell语法,不支持交互性语法。如果任务较多,可以...

    文章 亢海鹏 2019-11-01 1355浏览量

  • 构建一个比较完善的监控系统

    在工作中或多或少接触过部分监控工具的构建,开发和完善。结合自己的一些看法,简单地谈下一个完整的监控系统所包含的组件,欢迎大家补充。 从监控的层面来看,一个比较完整的监控系统应该包含如下的层次: 1.网络层面 主要包含各个机房间网络状况,机房内机器网络状况,通过开源的工具smokeping可以做...

    文章 科技小先锋 2017-11-14 1305浏览量

  • 利用阿里云产品搭建一个简单数据分析平台

    阿里云有两个消息产品,消息队列(ONS)与消息服务(MNS),ONS上有个很好用的功能消息轨迹,消息的生命周期都可以通过控制台查询,那么消息服务上,想看见消息从生产到消费的轨迹数据有什么好办法呢?我们以这个小小的需求为原型,介绍一下怎么利用阿里云现有的产品,搭建出一个简单的数据分析平台。 先画个数...

    文章 huajiao 2017-07-17 2883浏览量

  • 0基础搭建Hadoop大数据处理-环境

     由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。   VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省...

    文章 最美的回忆 2017-11-09 986浏览量

  • 数仓实时化改造:Hudi on Flink 在顺丰的实践应用

    作者 | 蔡适择(顺丰大数据平台负责人) 整理 | 赵阳(Flink 社区志愿者) 本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分: ● 顺丰业务介绍 ● Hudi on Flink ● 产品化支持 ● 后续计划...

    文章 阿里云实时计算Flink 2021-01-05 700浏览量

  • Hadoop/Spark相关面试问题总结

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/46916857 Hadoop/Spark相关面试问题...

    文章 xiaohei.info 2015-07-16 1044浏览量

  • 未来的家居环境是怎么样的?

    一个好的智能生活,必定要有好的智能家居!在这一过程,我们要如何打造属于自己的智能家居呢?这无疑给大家带来了难题。下面,给大家提供一些小小的建议,看看究竟要怎样打造一个完美的智能家居。 科技的进步以及人们物质生活水平的提高,逐渐推动了智能家居概念的出现。现在,身为物联网的十大应用领域之一,智能家居的...

    文章 泡泡浅眠 2017-07-07 882浏览量

  • 基于Kubernetes的瓜子云的任务调度系统

    很大的挑战。 接下来我讲详细介绍一下瓜子云的任务调度系统搭建所遇到的问题和解决方案。 需求 瓜子最早的时候,任务调度用的是Crontab,后来由于数据仓库 的复杂调度需求,我们引入了Airflow。Airflow支持DAG依赖,失败重试,历史状态记录,log收集等多种非常使用的功能。 Airflo...

    文章 店家小二 2018-12-14 2218浏览量

  • DataX插件开发

    一、插件开发 模块命名规范 Reader插件名称格式: Xreader-Y Writer插件名称格式: Xwriter-Y 其中: X:数据源类型英⽂文名称小写 oraclereader、mysqlwriter Y:厂商(版本) mysqlreader-5.7 hivewriter...

    文章 江敏 2020-04-03 1077浏览量

  • 从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

    作者:陈越晨 整理:刘河 本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战,以及平台构建化流程。主要内容如下: 爱奇艺在实时计算方面的的演化和遇到的一些挑战 爱奇艺使用Flink的User Case 爱奇艺Flin...

    文章 apache_flink 2019-06-20 2643浏览量

1 2 3 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT