开发者社区> 问答> 正文

Spark 接入 Log Service,从日志头部开始消费要怎么配置

f7anty 2017-01-23 14:27:48 1940

如题,spark消费logservice中的日志数据,默认是从尾部开始消费,怎么配置从头部开始消费
val loghubStream = LoghubUtils.createStream(

  ssc,
  loghubProject,
  logStream,
  loghubGroupName,
  endpoint,
  numReceivers,
  accessKeyId,
  accessKeySecret,
  StorageLevel.MEMORY_AND_DISK)

E-MapReduce SDK支持LogService的三种消费模式,即“BEGIN_CURSOR”,“END_CURSOR”和“SPECIAL_TIMER_CURSOR”,默认是“END_CURSOR”
我看 LoghubUtils.createStream提供的接口好像没有相关的

分布式计算 开发工具 Spark
分享到
取消 提交回答
全部回答(1)
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题