使用RxJava从多个数据源获取数据

简介:

试想,需要一些动态数据的时候,只要每次都请求网络就可以了。但是,更有效率的做法是,把联网得到的数据,缓存到磁盘或内存。

具体的说,计划如下:

  1. 偶尔的联网操作,只为获取最新数据。

  2. 尽可能快的读取到数据(通过获取之前缓存的网络数据)。

我将通过使用 RxJava ,来实现这个计划。

使用RxJava从多个数据源获取数据

基本模式

为每一个数据源(网络,磁盘和内存)创建Observable,使用concat()和first()操作符,构造一个简单的实现方式。

concat() 操作符持有多个Observable对象,并将它们按顺序串联成队列。 first() 操作符只从串联队列中取出并发送第一个事件。因此,如果使用concat().first(),无论多少个数据源,只有第一个事件会被检索出并发送。

 
  1. // Our sources (left as an exercise for the reader) 
  2. Observable memory = ...;  
  3. Observable disk = ...;  
  4. Observable network = ...; 
  5.  
  6. // Retrieve the first source with data 
  7. Observable source = Observable  
  8.   .concat(memory, disk, network) 
  9.   .first(); 
  10.  
  11. // Our sources (left as an exercise for the reader) 
  12. Observablememory = ...;   
  13. Observabledisk = ...;   
  14. Observablenetwork = ...; 
  15.  
  16. // Retrieve the first source with data 
  17. Observablesource = Observable   
  18.   .concat(memory, disk, network) 
  19.   .first(); 

这种模式的关键在于concat()操作符只有需要数据的时候才会订阅所有的Observable数据源。由于first()操作符会较早的停止检 索队列,所以,如果存在缓存数据,就没有必要访问较慢的数据源。 也就是说,如果memory返回结果,就不必担心disk和network会被访问。相反地,如果内存和磁盘都没有数据,才执行网络请求。

注意concat()所持有的Observable数据源,是按照一个接一个的顺序被检索的。

持久化数据

很明显,下一步是缓存数据。如果不把网络请求后的结果缓存到磁盘,磁盘访问后的结果缓存到内存,那么这根本不就不叫缓存。接下来要写的代码就是,网络数据的持久化操作。

我的解决方案是,让每个数据源在发送完事件后,都保存或者缓存数据。

 
  1. Observable networkWithSave = network.doOnNext(new Action1() { 
  2. @Override public void call(Data data) { 
  3. saveToDisk(data); 
  4. cacheInMemory(data); 
  5. }); 
  6.  
  7. Observable diskWithCache = disk.doOnNext(new Action1() { 
  8. @Override public void call(Data data) { 
  9.   cacheInMemory(data); 
  10. }); 
  11.  
  12.  ObservablenetworkWithSave = network.doOnNext(new Action1() { 
  13. @Overridepublic void call(Datadata) { 
  14. saveToDisk(data); 
  15. cacheInMemory(data); 
  16. }); 
  17.  
  18. ObservablediskWithCache = disk.doOnNext(new Action1() { 
  19. @Overridepublic void call(Datadata) { 
  20.   cacheInMemory(data); 
  21. }); 

现在,如果你使用networkWithSave和diskWithCache,数据将会在加载后自动保存。

(这個策略的另一个优势在于networkWithSave和diskWithCache可以在任何地方被使用,不局限于我们的多数据模式下。)

陈旧的数据

不幸的,现在我们保存数据的那些代码,执行的有点过头了。无论数据是否过时,它总是返回相同的数据。我们希望做到,偶尔连接服务器抓取最新的数据。

解决方法在于,使用first()操作符进行过滤。就是设置它拒绝接收毫无价值的数据。

 
  1. Observable source = Observable 
  2.     .concat(memory, diskWithCache, networkWithSave) 
  3.     .first(new Func1() { 
  4.       @Override public Boolean call(Data data) { 
  5.         return data.isUpToDate(); 
  6.       } 
  7.     }); 
  8.  
  9. Observablesource = Observable 
  10.     .concat(memory, diskWithCache, networkWithSave) 
  11.     .first(new Func1() { 
  12.       @Overridepublic Boolean call(Datadata) { 
  13.         return data.isUpToDate(); 
  14.       } 
  15.     }); 

现在,我们只需要发送被断定为最新数据的事件就OK了。因此,只要有一个数据源的数据过期,就继续检索下一个数据源,直到找到最新数据为止。

first()和takeFirst()操作符的比较

对于这种设计模式,first()和takeFirst()操作符可以二选其一。

两种调用方式的区别在于,如果所有数据源的数据均过期,没有任何的有效数据作为事件发送,first()会抛出 NoSuchElementException异常(译者注:first()操作符均return false),而takeFirst()操作符则直接调用完成操作,不会抛出任何异常。

使用哪个操作符,完全取决于是否需要明确处理缺失的数据。

代码示例

可以从这里检出,以上所有代码的实现示例: https://github.com/dlew/rxjava-multiple-sources-sample

如果需要一个真实示例,检出 Gfycat App ,它在获取数据的时候使用了这种模式。项目并没有使用以上展示的所有功能(因为不需要),但是,示范了concat().first()的基本用法。


来源:51CTO

相关文章
|
1月前
|
JSON Java API
教你如何使用API接口获取数据
随着互联网技术的发展和应用的普及,越来越多的系统和应用提供API接口供其他系统和应用进行数据交互。通过API接口,我们可以获取到各种各样的数据,例如天气预报、股票行情、新闻摘要等等。本文将介绍如何使用API接口获取数据,并附有示例代码。
|
8天前
|
SQL Python
获取数据
获取数据
9 1
|
1月前
|
消息中间件 JSON Kafka
实战 | Apache Hudi回调功能简介及使用示例
实战 | Apache Hudi回调功能简介及使用示例
17 0
|
1月前
|
XML JSON API
教你如何使用API接口获取数据!
使用API接口获取数据的过程通常涉及到几个步骤,包括了解API、注册获取API密钥、编写代码调用API并处理返回的数据。下面是一个详细的教程。
|
前端开发 JavaScript 数据格式
echarts异步数据加载(在下拉框选择事件中异步更新数据)
接触echarts 大半年了,从不会到熟练也做过不少的图表,隔了一段时间没使用这玩意,好多东西真心容易忘了。在接触echarts这期间也没有总结什么东西,今天我就来总结一下如何在echart中异步加载数据,在实际的工作的中对数据的刷选非常常见,比如在下拉框中选择,时间选择等的一些事件中异步加载数据。
3208 0
|
6月前
05-流式操作:使用 Flux 和 Mono 构建响应式数据流(上)
05-流式操作:使用 Flux 和 Mono 构建响应式数据流
92 0
|
6月前
|
Java Spring
05-流式操作:使用 Flux 和 Mono 构建响应式数据流(下)
05-流式操作:使用 Flux 和 Mono 构建响应式数据流
161 0
|
10月前
|
XML JSON 人工智能
springboot工程中调用第三方接口json数据定时存入数据库
springboot工程中调用第三方接口json数据定时存入数据库
|
JSON 数据格式 网络架构
Kettle使用接口获取数据(九)
Kettle使用接口获取数据(九)
538 1
Kettle使用接口获取数据(九)
|
SQL 物联网 Shell
SQLite 数据库编程回调方式获取数据表信息 | 学习笔记
快速学习 SQLite 数据库编程回调方式获取数据表信息
121 0