车联网上云最佳实践(三)
上章节介绍完云上应用架构及产品选型,接下来本章将重点介绍下上云迁移的实践过程。在实际迁移过程中甚至会更加具体。由于文章内容已经很多了,所以在接下来实践迁移过程中会有部分内容会省略。先介绍一下整体迁移流程:
HBase踩过的坑——持续更新
1.HBase数据热点问题
问题描述:
在某一个时刻,电池数据表的以某些规则开头的数据,比如M12******,这些电池一直在上报数据,由于HBase的存储是按照字典顺序排序的,所有某一时刻,相似规则的数据落在了同一个region上,造成了数据热点。
HBase在腾讯大数据的应用实践
最近正好看到CSDN上一直在宣传腾讯云:
就在不久前,支付宝、携程、蓝翔就因不同原因出现了网络故障,紧随其后艺龙网,途牛网、去哪儿网纷纷遭到大流量DDoS攻击,并造成短暂的业务中断。
日志系统之HBase日志存储设计优化
继续谈论最近接手的日志系统,上篇关于日志收集相关的内容,这篇我们谈谈日志存储相关的话题。
简介
我们首先来总结一下日志这种数据的业务特点:它几乎没有更新的需求,一个组件或一个系统通常有一个固定的日志格式,但就多个组件或系统而言它会存在各种五花八门的自定义的tag,这些tag建立的目的通常是为了后期查询/排查线上问题的需要,因此日志的检索字段也灵活多变。