• 关于

    hive一般会出现什么故障

    的搜索结果
  • 趣头条基于 Flink+ClickHouse 构建实时数据分析平台

    作者:王金海@趣头条 摘要:本文由趣头条数据平台负责人王金海分享,主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景,内容分为以下四部分: 一、业务场景与现状分析 二、Flink-to-Hive 小时级场景 三、Flink-to-Click...

    文章 阿里云实时计算Flink 2020-04-02 2682浏览量

  • 高可用Hadoop平台-答疑篇

    1.概述   这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案?   针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行...

    文章 smartloli 2016-04-19 1218浏览量

  • 高可用Hadoop平台-答疑篇

    1.概述   这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案?   针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行...

    文章 smartloli 2016-04-25 1214浏览量

  • 5W1H(六何分析法)全景洞察大数据

    大数据是什么? 这是一个很大的话题,大数据特点总结起来大约有5个,大量、高速、多样、价值、真实性。笔者也只能根据自己的看法,阐述一二。 大量,根据 中投顾问的数据,最近几年的数据增长为100%-200%左右,国内可使用的数据为ZB级别。一般中小企业的数据在TB到PB左右,后续会讲述,我们的数据...

    文章 hbase小能手 2018-11-05 1879浏览量

  • 高可用Hadoop平台-答疑篇

    1.概述   这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案?   针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行...

    文章 技术mix呢 2017-11-20 592浏览量

  • 5W1H(六何分析法)全景洞察大数据

    引言 5W1H(WWWWWH)分析法也叫六何分析法,是一种思考方法,也可以说是一种创造技法。我们也对大数据问些问题,相信这也是很多中小企业面临的现实问题。大数据这个词也是从12年开始慢慢热起来的,经过4年的发展,如今,很多企业已经开始有自己的大数据平台,但是对于更多的企业是没有的。笔者也在成都的云...

    文章 封神 2016-06-30 9708浏览量

  • 《Spark与Hadoop大数据分析》——2.1 Apache Hadoop概述

    2.1 Apache Hadoop概述 Apache Hadoop 是一个软件框架,可以在具有数千个节点和 PB 级数据的大型集群上进行分布式处理。Apache Hadoop 集群可以使用故障率一般较高的低价通用硬件来构建。Hadoop 的设计能够在没有用户干预的情况下优雅地处理这些故障。此外,H...

    文章 华章计算机 2017-09-01 1382浏览量

  • 《Spark与Hadoop大数据分析》一一2.1 Apache Hadoop概述

    本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.1节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1 Apache Hadoop概述 Apache Hadoop 是一个软件框架,可以在具有数千个节点...

    文章 华章计算机 2017-07-03 1928浏览量

  • 谈谈互联网后端基础设施

    纵观整个互联网技术体系再结合公司的目前状况,个人认为必不可少或者非常关键的后端基础技术/设施如下图所示: Api网关 业务应用和后端基础框架 缓存、数据库、搜索引擎、消息队列 文件存储 统一认证中心 单点登录系统 统一配置中心 服务治理框架 统一日志服务 数据基础设施 故障监控 这里的...

    文章 jurassic_1 2016-12-09 4969浏览量

  • Spark项目故障总结

    1.OOM问题,reduce端的缓冲大小,太大的话,吃撑了,一下过来很多数据,容易OOM,默认48,可以改小哦。spark.reducer.maxSizeInFlight,48---》24 2.JVM-GC导致的shuffle文件拉取失败,shuffle file not found spark...

    文章 技术小甜 2017-11-08 988浏览量

  • Facebook TSDB论文翻译

    本文为Facebook官方论文的翻译,原文地址http://www.vldb.org/pvldb/vol8/p1816-teller.pdf 概要 大型互联网服务一般以出现故障及时响应和保持高可用性为目标。为了提供正常稳定的服务,通常要每秒从大量系统中监控和分析数以千万计的数据(性能数据和业务数...

    文章 焦先 2017-08-18 1969浏览量

  • 谈谈互联网后端基础设施

    本文更新于2016.12.12, 加入了扩展章节 对于一个互联网企业,后端服务是必不可少的一个组成部分。抛开业务应用来说,往下的基础服务设施做到哪些才能够保证业务的稳定可靠、易维护、高可用呢?纵观整个互联网技术体系再结合公司的目前状况,个人认为必不可少或者非常关键的后端基础技术/设施如下图所示: ...

    文章 微wx笑 2018-01-15 1194浏览量

  • HBase的引出

    行式存储和列式存储 如上图,第一个行式存储是以行为单位存储数据,三个颜色的代表三个不同行数据,而下面的是列式存储,以列为单位存储数据,四个颜色代表四个不同的列,箭头也是用来表示数据是如何存储的 在传统的RDBMS(关系型数据库)中,保存着一条完整的数据,如果查询数据的某列,需要将这行数据查询出...

    文章 期待l 2018-11-30 1217浏览量

  • 详解 Flink 指标、监控与告警

    整理:李培殿 & 杨伟海(Flink 社区志愿者)校对:杨伟海(Flink 社区志愿者) 摘要:本文由美团点评研发工程师孙梦瑶分享,主要介绍 Flink 的指标监控和报警的内容,分为以下四部分: 监控告警链路:基于美团点评实时计算平台的实践 常用的监控项:哪些指标可以高效地衡量作业 指...

    文章 阿里云实时计算Flink 2020-07-23 1238浏览量

  • 基于JindoFS+OSS构建高效数据湖

    为什么要构建数据湖 大数据时代早期,Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随着云计算、大数据、AI 等技术的发展,所有云厂商都在不断完善自家的对象存储,来更好地适配 Apache Hadoop/Spark 大数据以及各种 AI 生态。由于对象存储有海量、安全、低成本、高...

    文章 阿里云E-MapReduce团队 2020-09-14 7186浏览量

  • 10年老兵带你看尽MaxCompute大数据运算挑战与实践

    本文根据阿里云大数据计算平台资深架构师林伟在大流量高并发互联网应用实践在线峰会上题为《MaxCompute大数据运算挑战与实践》的分享整理而成。分享中,他主要介绍了在大数据、大流量、高并发情况下MaxCompute所面临的挑战,以及应对这些挑战的实践经验。 直播视频:点击此处观看 幻灯片地址:点击...

    文章 云栖小秘书 2016-09-22 14773浏览量

  • 【干货】大数据平台建设实践与探讨

    导读:微店是全球领先的移动电商网络,创造了一个便利的手机购物环境,目前有超过3000万的店主使用微店销售商品。微店大数据架构师王锋,将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。 马云说“人类正从IT时代走向DT时代”。这个观念提法很快就被广泛传播开来,并被人们所接...

    文章 小旋风柴进 2017-05-02 1911浏览量

  • Elasticsearch生态&技术峰会 | 基于流式计算平台搭建实时分析

    开源最大的特征就是开放性,云生态则让开源技术更具开放性与创造性,Elastic 与阿里云的合作正是开源与云生态共生共荣的典范。值此合作三周年之际,我们邀请业界资深人士相聚云端,共话云上Elasticsearch生态与技术的未来。本篇内容是Elastic中文社区副主席吴斌带来的基于流式计算平台搭建实...

    文章 工程师甲 2021-03-22 613浏览量

  • 如何构建批流一体数据融合平台的一致性语义保证?

    作者:陈肃整理:周奇,Apache Flink 社区志愿者 本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数...

    文章 阿里云实时计算Flink 2019-09-29 2640浏览量

  • 基于MaxCompute/Dataworks实现数据仓库管理与全链路数据体系

    前言   就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据,成为了行业的数据研发专家。当然还有很多小伙伴,热衷于工具系统开发,成为了数据技术专家。那么我们回过头来考虑,什么是大数据,什么又是数据仓库,什么又是数据技术。大数据其实是个...

    文章 隐林 2019-04-28 1846浏览量

  • Flink 必知必会经典课程8:Flink Connector 详解

    作者|任庆盛关于Flink Connector的详解,本文将通过四部分展开介绍:连接器Source APISink APICollector的未来发展一. 连接器Connecter的概述-Flink与外部系统的桥梁1. 连接器 ConnectorFlink的数据重要的来源和去向连接器是Flink与...

    文章 阿里云实时计算Flink 2021-04-06 159浏览量

  • 专访阿里陈康贤:我所理解的网站架构

    陈康贤(花名龙隆,博客),淘宝技术部技术专家,著有《大型分布式网站架构设计与实践》一书,在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验。 《大型分布式网站架构设计与实践》:由陈康贤编著的《大型分布式网站架构设计与实践》主要介绍了大型分布式网站架构所涉及的一些技术...

    文章 阿里云头条 2018-03-01 3294浏览量

  • 阿里集团搜索中台TisPlus

                           阿里集团搜索中台TisPlus 搜索中台的发展     从阿里很多技术产品的发展路径来看都遵循着技术驱动、产品驱动、数据驱动三个阶段,那阿里巴巴的搜索技术的发展也基本基于上述的发展路径。第一个阶段我们走了将近10年的时间,一直到现在我们仍然还在持续优化...

    文章 柳明-洪震 2018-01-26 6210浏览量

  • 菜鸟供应链实时数仓的架构演进及应用场景

    摘要:在 Flink Forward Asia 大会实时数仓专场中,菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进,以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。 首先从三个方面简要介绍一下...

    文章 阿里云实时计算Flink 2020-02-26 1591浏览量

  • 菜鸟供应链实时数仓的架构演进及应用场景

    摘要:在 Flink Forward Asia 大会实时数仓专场中,菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进,以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。 首先从三个方面简要介绍一下...

    文章 阿里云实时计算Flink 2020-02-26 798浏览量

  • [转载]聊聊Greenplum的那些事

    原文   http://dbaplus.cn/news-21-341-1.html 聊聊Greenplum的那些事 李巍 2016-04-01 14:15:00 1024   开卷有益——作者的话    有时候真的感叹人生岁月匆匆,特别是当一个IT人沉浸于某个技术领域十来年后,蓦然回首,...

    文章 德哥 2016-07-11 6921浏览量

  • 1269道Java技术答疑,阿里技术专家帮你Java技术进阶

    云栖社区邀请到6位Java技术专家帮开发者答疑解惑,其中精华的1269道问答已经整理出来,供大家学习! 如有Java相关问题,请向专家提问https://yq.aliyun.com/promotion/755 ,或者在云栖社区Java问答界面提问https://yq.aliyun.com/tags...

    文章 管理贝贝 2018-11-22 4358浏览量

  • Flink 执行引擎:流批一体的融合之路

    本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。内容包括: 1、背景 2、流批一体的分层架构 3、流批一体DataStream 4、流批一体DAG Scheduler 5、流批一体的Shuffle架构 6、流...

    文章 阿里云实时计算Flink 2021-03-25 855浏览量

  • 王者荣耀背后的实时大数据平台用了什么黑科技?

    大家好我是许振文,今天分享的主题是《基于 Flink+ServiceMesh 的腾讯游戏大数据服务应用实践》,内容主要分为以下四个部分: 背景和解决框架介绍 实时大数据计算 OneData 数据接口服务 OneFun 微服务化& ServiceMesh 一、背景和解决框架介绍 1、离...

    文章 阿里云实时计算Flink 2020-09-21 5870浏览量

  • 面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘

    本文作者 李超 阿里云智能 资深技术专家 编者按 伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随阿里经济体和阿里云丰...

    文章 晋恒 2020-05-13 1572浏览量

1 2 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT