暂无个人介绍
概况了Phoenix(云HBase SQL) ) 入门到精通系列大多数内容,介绍了核心功能原理,相关生态工具及应用场景
介绍Phoenix ODPSBulkLoadTool 使用案例
数据迁移工具是否丰富,也在一定程度上决定了数据库的流行程度和它的生态圈。了解其相关工具,能让我们的数据迁移工作更加高效。本文主要介绍 Phoenix 的数据导入导出工具,希望给准备在 Phoenix 上做数据迁移的同学一些帮助。
数据库的使用中了解其查询计划的构成,是进行查询性能调优的必要条件。本文将详细介绍Phoenix的查询计划语法、组成结构,以及一些注意事项
全局索引是Phoenix的重要特性,合理的使用二级索引能降低查询延时,让集群资源得以充分利用。 本文将讲述如何高效的设计和使用索引。
云HBase2.0也就是我们即将要上线的ApsaraDB for HBase2.0。它不仅兼容开源HBase2.0,也承载着阿里多年大规模HBase使用的技术积淀,还有广大公有云用户喜欢的商业化功能。在大数据量场景中已经具有如此优势的云HBase2.0,如果还能search呢?
空间查询是是利用点,线和多边形等地理信息获得满足特定空间关系的数据,广泛应用于新型农业、零售、服务和安全等领域。本文的业务背景也是基于活动轨迹的多边形查询。
SolrCloud实际上是依托zk实现中心化配置管理的solr集群。具有容错、横向扩展和高可用等特性,能够对查询进行自动负载均衡和fail-over处理,适用于大规模的分布式索引和搜索。本文主要介绍最新版本solr on hdfs的搭建过程。
所谓分页查询就是从符合条件的起始记录,往后遍历“页大小”的行。对于Phoenix的分页查询,怎么使用?性能怎么样?需要注意什么?将会在文章中通过示例和数据说明。
传统关系型数据库的动态列实现只能依赖逻辑层的设计实现,而Phoenix是HBase上的SQL层,借助HBase特性实现的动态列功能,具有高度的灵活性,告别业务逻辑层的复杂设计。
此Phoenix系列文章将会从Phoenix的语法和功能特性、相关工具、实践经验以及应用案例多方面从浅入深的阐述。希望对Phoenix入门、在做架构设计和技术选型的同学能有一些帮助。
在传统关系型数据库中设计主键时,自增ID经常被使用。不仅能够保证主键的唯一,同时也能简化业务层实现。Phoenix怎么使用自增ID,是我们这篇文章的重点。
在云HBASE上利用MR BULKLOAD入库PHOENIX表或通过MR构建PHOENIX索引表。
目前HBASE只有基于字典序的主键索引,对于非主键过滤条件的查询都会变成扫全表操作,为了解决这个问题Phoenix引入了二级索引功能。然而此二级索引又有别于传统关系型数据库的二级索引,本文将详细描述了Phoenix中二级索引功能、用法和原理。
在密码学中,加盐是指在散列之前将散列内容(例如:密码)的任意固定位置插入特定的字符串。这个在散列中加入字符串的方式称为“加盐”。其作用是让加盐后的散列结果和没有加盐的结果不相同,在不同的应用情景中,这个处理可以增加额外的安全性。
云HBASE上Phoenix支持的DML语法 从一个或者多个表中查询数据。LIMIT(或者FETCH FIRST) 在ORDER BY子句后将转换为top-N查询。
目前Phoenix支持22种简单数据类型和1个一维Array的复杂类型。
介绍Phoenix优势以及入门使用
本文主要介绍云HBASE上Phoenix索引状态的生命周期,帮助大家解惑“为什么我的phoenix索引不能正常使用了?” 索引状态 索引总共有以下几个状态,其状态信息存储在SYSTEM.CATALOG表中。
本文主要介绍如何通过SQuirreL访问Phoenix,以及如何在SQuirreL中配置Phoenix参数。 什么是SQuirrel? SQuirreL SQL Client是一个开源免费软件, 可以通过jdbc对多种数据库进行可视化的管理,查询等。
一、前言 MapReduce早已经对接了HBase,以HBase作为数据源,完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位,无论跑批,流处理,甚至图计算等都有它的用武之地。
这个依赖于查询的复杂度,一般查询消耗资源较小
通过Phoenix 创建的表会自动加入默认的表属性和 coprocessor
这个是Phoenix 已经保证了的,通过 phoenix 客户端直接写数据就可以了
sqlline 现在是可以支持的,可以通过 !outputformat 来设置
当前表的状态为diable, 可以通过hbase shell 执行 enable 命令。
这里是region 没有上线,检查下hbase 集群的状态
upert into 就可以,如果有Key已经存在会自动覆盖
Phoenix 面向的是没有事务,大数据量操作型查询,比如点查和少量数据的扫描查询。PB 级别的数据 phoenix 点查仍然可以达到毫秒级别
目前没有,现在是两个项目,文档是分开的
这个要看查询条件命中数据量的,正常来讲 phoenix 的主键点查也是很快的 ms级别的响应
正常不会丢数据的,这里要具体看下丢的数据是原表的还是索引表的
创建异步索引需要用到hadoop 集群 1.先创建异步索引 create index idx_name on table_name (col1) async 2. 然后使用 indexTool 构建索引数据
group by 中的列在必须在 select 字段中
最好使用单例,如果每个线程都创建容易造成zk 链接过多的问题
较新的版本没有问题的。 执行 alter 时会逐个region 变更