开发者社区> 问答> 正文

宽行读取的功能有哪些

本节介绍表格存储中的宽行流式读功能,即:如何读取一个有很多列和很大数据量的行,当一次读取不出整行时如何分多次读取,或者当只需要读取宽行的一部分时如何读取可以提高性能。

宽行与宽行流式读


表格存储的表每行由主键列和属性列构成,主键列按照顺序构成一个主键,是可以确定行的唯一标识。读/写某一行时,我们必须指定这一行的主键,然后写入或者读取其中的某些属性列。
主键列的名称和类型是在建表时确定好的,为 TableMeta 的一部分。但是属性列的列名和数量却是不需要指定的,在实际写入某一行时可以任意设置写入的属性列的列名,只要符合一定的字符集限制即可。
表格存储从存储机制和读/写接口上支持宽行,所以不会限制总共的属性列数量和每行的大小,这也是相比传统数据库的很大优势。宽行一般而言就是指拥有非常多列的行,这样一行就会很宽,而且一行总大小很大。比如,反复对同一行写入一些新的列,最终就会产生一个很宽的行。因为每次只写入一小部分数据到一个宽行,所以写入性能不是问题,问题在于读取性能。假如一行数据很大,一次无法读出整行。若要读取整行,可以先读取这一行的一部分列,再接着读后面的列,分多次读取就可以,这就是宽行流式读功能(需要使用 4.0.0 以上版本 Java SDK)。

宽行读取方式


宽行读取有以下几种方式:


  • 使用 startColumn 和 endColumn 读取一定范围的属性列
    在 GetRow 的参数中,可以通过 startColumn 和 endColumn 指定要查询的属性列的起始和终止范围(按照字典序比较),来读取一个宽行中的一定列名范围内的列。 // 读一行
  •   SingleRowQueryCriteria criteria = new SingleRowQueryCriteria(TABLE_NAME, primaryKey);
  •   // 设置读取的列的范围
  •   criteria.setStartColumn("Col00000");
  •   criteria.setEndColumn("Col10000");
  •   // 设置读取最新版本
  •   criteria.setMaxVersions(1);
  •   GetRowResponse getRowResponse = client.getRow(new GetRowRequest(criteria));
  •   Row row = getRowResponse.getRow();


  • 使用 ColumnPaginationFilter 配合 startColumn 参数
    ColumnPaginationFilter 有 limit 和 offset 两个参数。使用 ColumnPaginationFilter 读取时,会跳过 offset 个属性列,然后读取 limit 个属性列。配合 startColumn 使用时,会从 startColumn 开始,跳过 offset 个属性列,读取 limit 个属性列。这种方式适合分页读取属性列的场景。// 读一行
  •   SingleRowQueryCriteria criteria = new SingleRowQueryCriteria(TABLE_NAME, primaryKey);
  •   // 设置从“ColumnX”开始读
  •   criteria.setStartColumn("ColumnX");
  •   // 使用ColumnPaginationFilter设置一次要读取的列数, limit=10, offset=0
  •   criteria.setFilter(new ColumnPaginationFilter(10, 0));
  •   // 设置读取最新版本
  •   criteria.setMaxVersions(1);
  •   GetRowResponse getRowResponse = client.getRow(new GetRowRequest(criteria));
  •   Row row = getRowResponse.getRow();


  • 使用 WideColumnIterator
    使用 SDK 提供的 WideColumnIterator,可以通过迭代器的方式读取一行中的全部属性列。 SingleRowQueryCriteria criteria = new SingleRowQueryCriteria(TABLE_NAME, primaryKey);
  •   // 设置读取最新版本
  •   criteria.setMaxVersions(1);
  •   WideColumnIterator wideColumnIterator = syncClient.createWideColumnIterator(new GetRowRequest(criteria));
  •   System.out.println(wideColumnIterator.getPrimaryKey());
  •   while (wideColumnIterator.hasNextColumn()) {
  •       System.out.println(wideColumnIterator.nextColumn());
  •   }



总结


表格存储支持灵活的属性列名称与个数,支持宽行,给业务的表结构设计提供了很高的灵活性。当表中具有宽行时,普通的读取方式可能无法满足需求,此时可以选用上述的几种方式进行宽行的读取。此外,业务在设计表结构时,如果有宽行需求,也要综合评估是否可将宽行转成多个窄行存储,避免处理宽行读取问题。

展开
收起
云栖大讲堂 2017-10-25 13:47:56 1664 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
HBase2.0重新定义小对象实时存取 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载