云hbase+spark_个人页

2019年10月

• 10.28 20:43:49
  发表了文章 2019-10-28 20:43:49

  X-Pack Spark 访问OSS

  简介 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。

2019年09月

• 09.25 10:20:16
  发表了文章 2019-09-25 10:20:16

  阿里云NoSQL X-Pack如何做到在线存储及计算一体？

  大数据处理的挑战随着企业数据的逐渐积累和增多，数据架构从单节点的关系型数据库，演进到分库分表，再演进到NoSQL及hadoop生态。hadoop生态百花齐放，没有统一的架构标准，目前用的比较多的是Lambda架构，该架构主要特点为流计算、批处理、在线存储独立的，通过pipline来连接。

  
• 09.04 14:51:08
  回答了问题 2019-09-04 14:51:08

  yarn任务数超过9999查看方法

  赞0 踩0 评论0
• 09.04 14:46:38
  提交了问题 2019-09-04 14:46:38

  yarn任务数超过9999查看方法

• 09.04 12:01:17
  发表了文章 2019-09-04 12:01:17

  X-Pack Spark 监控指标详解

  概述 本文主要介绍X-Pack Spark集群监控指标的查看方法。Spark集群对接了Ganglia和云监控。下面分别介绍两者的使用方法。 Ganglia Ganglia是一个分布式监控系统。 Ganglia 入口 打开Spark集群依次进入：数据库连接>UI访问>详细监控UI>Ganglia。

2019年08月

• 08.20 18:04:37
  提交了问题 2019-08-20 18:04:37

  spark如何处理struct、array、map等复杂类型

• 08.20 11:48:23
  提交了问题 2019-08-20 11:48:23

  spark如何处理复杂类型struct(json)、array、map

• 08.17 22:38:08
  发表了文章 2019-08-17 22:38:08

  SparkStreming：使用Checkpoint创建StreamingContext修改executor-cores、executor-memory等资源信息不生效。

  在使用SparkStreaming时，使用StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)创建StreamingContext。
• 08.14 11:41:30
  回答了问题 2019-08-14 11:41:30

  x-pack spark如何监控核心指标

  赞0 踩0 评论0
• 08.14 11:34:51
  提交了问题 2019-08-14 11:34:51

  x-pack spark如何监控核心指标

2019年07月

• 07.29 11:14:08
  回答了问题 2019-07-29 11:14:08

  phoenxi写进去的主键id=1数据，在hBase中rowkey被转换为\x80\x00\x00\x01

  赞0 踩0 评论0
• 07.25 15:32:21
  发表了文章 2019-07-25 15:32:21

  X-Pack Spark使用[FAQ]

  概述 本文主要列出在使用X-Pack Spark的FAQ。 Spark Connectors 主要列举Spark 对接其它数据源遇到的问题 Spark on HBase Spark on HBase Connector：如何在Spark侧设置HBase参数。
• 07.25 10:35:10
  发表了文章 2019-07-25 10:35:10

  【降价信息】云HBase X-Pack最高降价31%，再次释放大数据处理红利

  阿里云中国站云HBase X-Pack中的Spark服务将于2019年7月16日进行价格下调。
• 07.24 15:06:47
  发表了文章 2019-07-24 15:06:47

  Spark on HBase Connector：如何在Spark侧设置HBase参数

  前言 X-Pack Spark可以使用Spark on HBase Connector直接对接HBase数据库，读取HBase数据表数据。有时在读取HBase时需要设置HBase的一些参数调整性能，例如通过设置hbase.client.scanner.caching的大小调整读取HBase数据的性能。
• 07.22 18:01:58
  发表了文章 2019-07-22 18:01:58

  Spark on Phoenix 4.x Connector：如何在Spark侧设置Phoenix参数

  前言 X-Pack Spark可以使用Spark on Phoenix 4.x Connector直接对接Phoenix数据库，读取Phoenix数据表数据。有时在读取Phoenix时需要设置Phoenix的一些参数，例如Phoenix为了保障数据库的稳定性，默认开了索引包含，即查询Phoebe表必须要带上索引或者主键字段作为过滤条件。
• 07.08 17:37:24
  发表了文章 2019-07-08 17:37:24

  Spark 通用的性能配置方法：内存和CPU的配置

  前言 本文主要介绍关于通过配置Spark任务运行时的内存和CPU（Vcore）来提升Spark性能的方法。通过配置内存和CPU（Vcore）是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍，数据工作台的详细介绍请参考：数据工作台。

2019年06月

• 06.22 23:06:22
  发表了文章 2019-06-22 23:06:22

  Spark入门介绍

  前言 Spark自从2014年1.2版本发布以来，已成为大数据计算的通用组件。网上介绍Spark的资源也非常多，但是不利于用户快速入门，所以本文主要通从用户的角度来介绍Spark，让用户能快速的认识Spark，知道Spark是什么、能做什么、怎么去做。
• 06.22 12:07:28
  发表了文章 2019-06-22 12:07:28

  如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

  概述 X-Pack Spark目前是通过Yarn管理资源，在提交Spark 任务后我们经常需要知道任务的运行状况，例如在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态，性能瓶颈点在哪里等信息。
• 06.20 15:00:31
  发表了文章 2019-06-20 15:00:31

  云Kafka搭配云HBase X-Pack构建一体化数据处理平台

  云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展，融合Solr检索等技术，支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。
• 06.18 16:56:25
  发表了文章 2019-06-18 16:56:25

  X-Pack Spark用户手册

  概述 Spark是大数据平台的通用计算平台，应用非常广泛。本文主要介绍Spark相关的知识，主要包括：了解Spark，使用Spark，使用Spark过程中遇到的问题FAQ等，谨帮助用户快速的掌握Spark以及如何使用Spark。