• 大数据面试题V3.0,523道题,779页,46w字

    为什么要划分StageStage的数量等于什么对RDD、DAG和Task的理解DAG为什么适合Spark?介绍下Spark的DAG以及它的生成过程DAGScheduler如何划分?干了什么活?Spark容错机制?RDD的容错Executor内存分配?Spark的batchsize&...
    文章 2022-09-29 151浏览量
  • HBase+Spark技术双周刊 第八期

    Phoenix(云 HBase SQL)核心功能原理及应用场景介绍阿里云HBase SQL(Phoenix)服务深度解读广告点击数实时统计:Spark StructuredStreaming+Redis Streams 问答专栏 欢迎大家提问,一起探讨HBase&Spark技术数据...
    文章 2019-05-28 7280浏览量
  • HBase+Spark技术双周刊 第六期

    【点击订阅HBase+Spark技术双周刊】 近期线上直播 HBase中Coprocessor的介绍以及实际业务...【HBase生态+Spark社区大群】群福利:群内每周进行群直播技术分享及问答加入方式1:点击link申请加入加入方式2:钉钉扫码加入
    文章 2019-04-08 2635浏览量
  • Flink项目实战系列(Spark项目实战系列)

    spark使用BulkLoad写入hbase时候的排序问题 spark报错OOM一定是executor memory太小了吗?spark的leftOuterJoin算子的使用和源码解析 如何合理的设计hbase的rowkey?sparkstreaming的window使用和源码分析以及和Flink...
    文章 2022-06-10 392浏览量
  • HBase+Spark技术双周刊 第三期

    1月8日 Graph图数据库基础介绍及场景 陈江 1月15日 Solr增强HBase检索能力基础介绍及场景 天斯1月22日 Phoenix 全局索引原理与实践 张赟1月29日 Spark on rds/MongoDB/HBase/Redis/OSS多数据源 云覆 推荐专家 所在...
    文章 2019-01-05 2709浏览量
  • 分布式(hadoop)内核研发面试指南

    最近一直在看简历,面试同学,发现符合要求的很少。...参与社区项目开发,比如:贡献sparkhbase源码 发表顶级论文 HBase技术交流社区-阿里官方“HBase生态+Spark社区大群”点击加入:https://dwz.cn/Fvqv066s
    文章 2018-11-05 985浏览量
  • 分布式(hadoop)内核研发面试指南

    最近一直在看简历,面试同学,发现符合...技术交流钉钉大群 阿里云 HBase+Spark社区【强烈推荐!群内每周进行群直播技术分享及问答 加入方式1:点击link申请加入 https://dwz.cn/Fvqv066s 加入方式2:钉钉扫码加入:
    文章 2016-12-22 19324浏览量
  • 欢迎加入阿里云 HBase+Spark技术交流群

    spm=5176.51065.416540.50.EgxJI1为了让营造一个针对云HBase+Spark的技术交流平台,我们特别新建了交流群:目前国内HBase+Spark没有较大的社区及交流群体,但是很多公司都有HBaseSpark的应用,阿里云云HBase技术...
    文章 2017-05-17 16185浏览量
  • Hadoop概念学习系列之Hadoop新手学习指导之hadoop核心...

    Storm是一种基于流的计算框架,spark是基于内存的计算框架,它们是不同于mapreduce的计算框架,但作用都是对数据的处理和分析,建议初学者在学习好mapreduce的前提下,可以对storm和spark进行深入的学习,切记贪多嚼...
    文章 2017-11-15 2167浏览量
  • HBase实操|使用Spark通过BulkLoad快速导入数据到HBase

    使用Spark访问Hive表,将读表数据导入到HBase中,写入HBase有两种方式:一种是通过HBase的API接口批量的将数据写入HBase,另一种是通过BulkLoad的方式生成HFile文件然后加载到HBase中,两种方式相比之下第二种效率会...
    文章 2018-11-16 3785浏览量
  • 免费报名|汇聚HBase&大数据最前沿 Apache ...

    本次演讲,箕伯将首先介绍HBase Ganos的整体架构与使用场景,然后介绍了HBase Ganos Spark的实现原理与使用特性,最后通过一系列的案例来展示如何使用HBase Ganos Spark进行轨迹大数据的查询与分析。欢迎大家报名...
    文章 2019-07-09 2359浏览量
  • 中国HBase技术社区第二届MeetUp-笔记摘要

    kylin:通过预计算(已知要查询的维度),通过spark,mr遍历计算这些指标,然后将结果存储到hbase中,最后直接查询hbase表即可。hbase rowkey定义不宜过长,否则存储压力会很大。这里通过使用字典编码。hbase 优化...
    文章 2018-07-21 1035浏览量
  • Phoenix与Squirrel 是什么?

    现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天在我的这篇博客里,主要记录Phoenix。phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了...
    文章 2017-11-09 2538浏览量
  • “小白”进阶3000问,看你命中过哪些!

    大数据计算技术问答包含了Flink、Spark等流式计算(实时计算)、离线计算、Hbase等实践中遇到的技术问题和面试问题等维度内容。能带领大家更好的应用大数据方面的技术。随着Spark技术在企业中应用越来越广泛,Spark...
    文章 2019-11-19 3149浏览量
  • TalkingData的Spark On Kubernetes实践|5月23日云栖夜...

    视频地址:https://yq.aliyun.com/live/1062PTT下载地址:https://yq.aliyun.com/download/33133.2.3 基于HBaseSpark构建企业级数据处理平台视频地址:https://yq.aliyun.com/live/1064PTT下载地址:...
    文章 2019-05-23 2487浏览量
  • 实战:基于HBase的大数据在线分析

    (一)在线分析HBase数据-Spark 1.Spark&43;HBase 架构首先可以用“Spark&43;HBase”架构。Spark是一个专门为大规模数据处理而设计的快速通用计算引擎。如上图所示&xff0c;它上面有Spark RDD与Spark SQL这些引擎可以...
    文章 2021-08-17 665浏览量
  • HBase 监控|HBase Metrics 初探(一)

    例如 Hadoop,Kafka,Spark,JStorm 中。然后我又不禁自己问自己了:市面上这么多监控系统和框架,dropwizard-metrics处于什么定位呢?基于好奇,自己又展开了一番调研。4.监控体系梳理 提到监控,无非以下这些常见...
    文章 2020-04-17 1120浏览量
  • 开源大数据周刊-第22期

    Spark 2.0 Structured Streaming 分析Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一张无线长度的表,同时将流式计算的结果映射为另外一张表,完全以结构化的...
    文章 2016-09-13 2521浏览量
  • 欢迎加入HBase生态+Spark社区大群

    首选欢迎各位同学使用云HBase...自主研发分布式内存计算引擎,负责Spark;目前为广大公共云用户提供专业的大数据结构化存储服务(云HBase) 封神博客页面,关注点击这里:https://yq.aliyun.com/users/1091640433973695?...
    文章 2018-11-04 3138浏览量
  • Spark问答合集及解决方法

    请教一下,我hive中数据大小为16g,通过importtsv生成了hfile 文件,导入到hbase中了,数据变成130多g,还有什么更好的办法吗?https://yq.aliyun.com/ask/493698 jdbc 连接spark thrift server 如何获取日志?...
    文章 2019-08-22 1218浏览量
  • 【Phoenix queryserver】视频回看及PPT资料下载

    主题:Phoenix queryserver 讲师:瑾谦-阿里数据库产品专家 内容概要:什么是Phoenix ...【HBase生态+Spark社区大群】群福利:群内每周进行群直播技术分享及问答加入方式1:点击link申请加入 加入方式2:钉钉扫码加入
    文章 2019-03-05 2195浏览量
  • Spark问答合集及解决方法

    请教一下,我hive中数据大小为16g,通过importtsv生成了hfile 文件,导入到hbase中了,数据变成130多g,还有什么更好的办法吗?https://yq.aliyun.com/ask/493698 jdbc 连接spark thrift server 如何获取日志?...
    文章 2020-04-09 1053浏览量
  • 三十八、hbase集群的搭建(HBase Shell)

    1001.2014.3001.5502Spark的安装与部署详情&xff08;Local模式&xff0c;Standalone模式&xff0c;Spank on YARN模式&xff09;https://blog.csdn.net/m0_54925305/article/details/119005751?spm=1001.2014.3001.5502...
    文章 2022-05-28 124浏览量
  • Spark Streaming 流式计算实战

    目前 spark 覆盖了离线计算,数据分析,机器学习,图计算,流式计算等多个领域,目标也是一个通用的数据平台,所以一般你想到的都能用 spark 解决。Q8.如何理解日志产生时间和到达时间相差超过一定的阈值?A8.每条...
    文章 2016-09-07 7039浏览量
  • 全方位认识HBase:一个值得拥有的NoSQL数据库(一)

    前言:说起HBase这门技术,在认知上对于稍微接触或使用过它的人来讲,可能只是百千数据库中一个很普通的库,大概就像我对Redis的认知一样:缓存嘛!可对于HBase,我确实是带着某些感情在的。今日突然萌生了一个生趣...
    文章 2020-04-17 1050浏览量
  • 中国HBase技术社区第二届MeetUp ——HBase技术解析及...

    活动内容 HBase—Hadoop Database是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文...HBase技术交流社区-阿里官方“HBase生态+Spark社区大群”点击加入:https://dwz.cn/Fvqv066s
    文章 2018-11-06 1421浏览量
  • HDInsight HBase的概述

    例子包括Hive,Pig,Solr,Storm,Flume,Impala,Spark,Ganglia和Drill。接下来的步骤 获取在HDInsight开始使用HBase的用Hadoop提供HDInsight集群在Azure虚拟网络与HBase的在HDInsight分析Twitter的感悟使用Maven...
    文章 2014-12-16 1411浏览量
  • Hadoop,HBase,Storm,Spark到底是什么?

    Hadoop,HBase,Storm,Spark到底是什么?Hadoop=HDFS+Hive+Pig+. HDFS:存储系统MapReduce:计算系统Hive:提供给SQL开发人员(通过HiveQL)的MapReduce,基于Hadoop的数据仓库框架Pig:基于Hadoop的语言开发的HBase...
    文章 2014-12-09 1139浏览量
  • 开源大数据周刊-第42期

    Spark Streaming实时写入数据到HBase实时应用之中,难免会遇到往NoSql数据如HBase中写入数据的情景,本文就HBase的使用心得做如下记录。欢迎加入阿里云开源大数据交流钉钉群 版权声明 信息都是来自互联网,都给出了...
    文章 2017-02-24 1900浏览量
  • Kudu,支持快速分析的新型Hadoop存储系统

    目前对spark的支持还不够完善,spark只能进行数据的读操作。使用案例——小米 小米是Hbase的重度用户,他们每天有约50亿条用户记录。小米目前使用的也是HDFS+HBase这样的混合架构。可见该流水线相对比较复杂,其数据...
    文章 2017-08-01 2213浏览量
1 2 3 4 ... 36 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化