-
大数据面试题V3.0，523道题，779页，46w字
为什么要划分StageStage的数量等于什么对RDD、DAG和Task的理解DAG为什么适合Spark?介绍下Spark的DAG以及它的生成过程DAGScheduler如何划分?干了什么活?Spark容错机制?RDD的容错Executor内存分配?Spark的batchsize&...文章 2022-09-29 151浏览量 -
HBase+Spark技术双周刊 第八期
Phoenix(云 HBase SQL)核心功能原理及应用场景介绍阿里云HBase SQL（Phoenix）服务深度解读广告点击数实时统计：Spark StructuredStreaming+Redis Streams 问答专栏 欢迎大家提问，一起探讨HBase&Spark技术数据...文章 2019-05-28 7280浏览量 -
HBase+Spark技术双周刊 第六期
【点击订阅HBase+Spark技术双周刊】 近期线上直播 HBase中Coprocessor的介绍以及实际业务...【HBase生态+Spark社区大群】群福利：群内每周进行群直播技术分享及问答加入方式1：点击link申请加入加入方式2：钉钉扫码加入文章 2019-04-08 2635浏览量 -
Flink项目实战系列(Spark项目实战系列)
spark使用BulkLoad写入hbase时候的排序问题 spark报错OOM一定是executor memory太小了吗?spark的leftOuterJoin算子的使用和源码解析 如何合理的设计hbase的rowkey?sparkstreaming的window使用和源码分析以及和Flink...文章 2022-06-10 392浏览量 -
HBase+Spark技术双周刊 第三期
1月8日 Graph图数据库基础介绍及场景 陈江 1月15日 Solr增强HBase检索能力基础介绍及场景 天斯1月22日 Phoenix 全局索引原理与实践 张赟1月29日 Spark on rds/MongoDB/HBase/Redis/OSS多数据源 云覆 推荐专家 所在...文章 2019-01-05 2709浏览量 -
分布式(hadoop)内核研发面试指南
最近一直在看简历，面试同学，发现符合要求的很少。...参与社区项目开发，比如：贡献spark、hbase源码 发表顶级论文 HBase技术交流社区-阿里官方“HBase生态+Spark社区大群”点击加入：https://dwz.cn/Fvqv066s文章 2018-11-05 985浏览量 -
分布式(hadoop)内核研发面试指南
最近一直在看简历，面试同学，发现符合...技术交流钉钉大群 阿里云 HBase+Spark社区【强烈推荐！群内每周进行群直播技术分享及问答 加入方式1：点击link申请加入 https://dwz.cn/Fvqv066s 加入方式2：钉钉扫码加入：文章 2016-12-22 19324浏览量 -
欢迎加入阿里云 HBase+Spark技术交流群
spm=5176.51065.416540.50.EgxJI1为了让营造一个针对云HBase+Spark的技术交流平台，我们特别新建了交流群：目前国内HBase+Spark没有较大的社区及交流群体，但是很多公司都有HBase及Spark的应用，阿里云云HBase技术...文章 2017-05-17 16185浏览量 -
Hadoop概念学习系列之Hadoop新手学习指导之hadoop核心...
Storm是一种基于流的计算框架，spark是基于内存的计算框架，它们是不同于mapreduce的计算框架，但作用都是对数据的处理和分析，建议初学者在学习好mapreduce的前提下，可以对storm和spark进行深入的学习，切记贪多嚼...文章 2017-11-15 2167浏览量 -
HBase实操|使用Spark通过BulkLoad快速导入数据到HBase
使用Spark访问Hive表，将读表数据导入到HBase中，写入HBase有两种方式：一种是通过HBase的API接口批量的将数据写入HBase，另一种是通过BulkLoad的方式生成HFile文件然后加载到HBase中，两种方式相比之下第二种效率会...文章 2018-11-16 3785浏览量 -
免费报名|汇聚HBase&大数据最前沿 Apache ...
本次演讲，箕伯将首先介绍HBase Ganos的整体架构与使用场景，然后介绍了HBase Ganos Spark的实现原理与使用特性，最后通过一系列的案例来展示如何使用HBase Ganos Spark进行轨迹大数据的查询与分析。欢迎大家报名...文章 2019-07-09 2359浏览量 -
中国HBase技术社区第二届MeetUp-笔记摘要
kylin：通过预计算（已知要查询的维度），通过spark，mr遍历计算这些指标，然后将结果存储到hbase中，最后直接查询hbase表即可。hbase rowkey定义不宜过长，否则存储压力会很大。这里通过使用字典编码。hbase 优化...文章 2018-07-21 1035浏览量 -
Phoenix与Squirrel 是什么？
现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天在我的这篇博客里，主要记录Phoenix。phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了...文章 2017-11-09 2538浏览量 -
“小白”进阶3000问，看你命中过哪些！
大数据计算技术问答包含了Flink、Spark等流式计算（实时计算）、离线计算、Hbase等实践中遇到的技术问题和面试问题等维度内容。能带领大家更好的应用大数据方面的技术。随着Spark技术在企业中应用越来越广泛，Spark...文章 2019-11-19 3149浏览量 -
TalkingData的Spark On Kubernetes实践|5月23日云栖夜...
视频地址：https://yq.aliyun.com/live/1062PTT下载地址：https://yq.aliyun.com/download/33133.2.3 基于HBase和Spark构建企业级数据处理平台视频地址：https://yq.aliyun.com/live/1064PTT下载地址：...文章 2019-05-23 2487浏览量 -
实战:基于HBase的大数据在线分析
(一)在线分析HBase数据-Spark 1.Spark&43;HBase 架构首先可以用“Spark&43;HBase”架构。Spark是一个专门为大规模数据处理而设计的快速通用计算引擎。如上图所示&xff0c;它上面有Spark RDD与Spark SQL这些引擎可以...文章 2021-08-17 665浏览量 -
HBase 监控|HBase Metrics 初探（一）
例如 Hadoop，Kafka，Spark，JStorm 中。然后我又不禁自己问自己了：市面上这么多监控系统和框架，dropwizard-metrics处于什么定位呢？基于好奇，自己又展开了一番调研。4.监控体系梳理 提到监控，无非以下这些常见...文章 2020-04-17 1120浏览量 -
开源大数据周刊-第22期
Spark 2.0 Structured Streaming 分析Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的...文章 2016-09-13 2521浏览量 -
欢迎加入HBase生态+Spark社区大群
首选欢迎各位同学使用云HBase...自主研发分布式内存计算引擎，负责Spark；目前为广大公共云用户提供专业的大数据结构化存储服务(云HBase) 封神博客页面，关注点击这里：https://yq.aliyun.com/users/1091640433973695?...文章 2018-11-04 3138浏览量 -
Spark问答合集及解决方法
请教一下，我hive中数据大小为16g，通过importtsv生成了hfile 文件，导入到hbase中了，数据变成130多g，还有什么更好的办法吗?https://yq.aliyun.com/ask/493698 jdbc 连接spark thrift server 如何获取日志?...文章 2019-08-22 1218浏览量 -
【Phoenix queryserver】视频回看及PPT资料下载
主题：Phoenix queryserver 讲师：瑾谦-阿里数据库产品专家 内容概要：什么是Phoenix ...【HBase生态+Spark社区大群】群福利：群内每周进行群直播技术分享及问答加入方式1：点击link申请加入 加入方式2：钉钉扫码加入文章 2019-03-05 2195浏览量 -
Spark问答合集及解决方法
请教一下，我hive中数据大小为16g，通过importtsv生成了hfile 文件，导入到hbase中了，数据变成130多g，还有什么更好的办法吗?https://yq.aliyun.com/ask/493698 jdbc 连接spark thrift server 如何获取日志?...文章 2020-04-09 1053浏览量 -
三十八、hbase集群的搭建（HBase Shell）
1001.2014.3001.5502Spark的安装与部署详情&xff08;Local模式&xff0c;Standalone模式&xff0c;Spank on YARN模式&xff09;https://blog.csdn.net/m0_54925305/article/details/119005751?spm=1001.2014.3001.5502...文章 2022-05-28 124浏览量 -
Spark Streaming 流式计算实战
目前 spark 覆盖了离线计算，数据分析，机器学习，图计算，流式计算等多个领域，目标也是一个通用的数据平台，所以一般你想到的都能用 spark 解决。Q8.如何理解日志产生时间和到达时间相差超过一定的阈值？A8.每条...文章 2016-09-07 7039浏览量 -
全方位认识HBase：一个值得拥有的NoSQL数据库（一）
前言：说起HBase这门技术，在认知上对于稍微接触或使用过它的人来讲，可能只是百千数据库中一个很普通的库，大概就像我对Redis的认知一样：缓存嘛！可对于HBase，我确实是带着某些感情在的。今日突然萌生了一个生趣...文章 2020-04-17 1050浏览量 -
中国HBase技术社区第二届MeetUp ——HBase技术解析及...
活动内容 HBase—Hadoop Database是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文...HBase技术交流社区-阿里官方“HBase生态+Spark社区大群”点击加入：https://dwz.cn/Fvqv066s文章 2018-11-06 1421浏览量 -
HDInsight HBase的概述
例子包括Hive，Pig，Solr，Storm，Flume，Impala，Spark，Ganglia和Drill。接下来的步骤 获取在HDInsight开始使用HBase的用Hadoop提供HDInsight集群在Azure虚拟网络与HBase的在HDInsight分析Twitter的感悟使用Maven...文章 2014-12-16 1411浏览量 -
Hadoop，HBase，Storm，Spark到底是什么？
Hadoop，HBase，Storm，Spark到底是什么？Hadoop=HDFS+Hive+Pig+. HDFS:存储系统MapReduce：计算系统Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架Pig：基于Hadoop的语言开发的HBase...文章 2014-12-09 1139浏览量 -
开源大数据周刊-第42期
Spark Streaming实时写入数据到HBase实时应用之中，难免会遇到往NoSql数据如HBase中写入数据的情景，本文就HBase的使用心得做如下记录。欢迎加入阿里云开源大数据交流钉钉群 版权声明 信息都是来自互联网，都给出了...文章 2017-02-24 1900浏览量 -
Kudu，支持快速分析的新型Hadoop存储系统
目前对spark的支持还不够完善，spark只能进行数据的读操作。使用案例——小米 小米是Hbase的重度用户，他们每天有约50亿条用户记录。小米目前使用的也是HDFS+HBase这样的混合架构。可见该流水线相对比较复杂，其数据...文章 2017-08-01 2213浏览量
