# 日志服务 #
0
关注
47444内容
PostgreSQL "物联网"应用 - 1 实时流式数据处理案例(万亿每天)
物联网的特点是万物联网，会产生大量的数据。
例如 ：
一盒药，从生产，到运输，到药店，到售卖。每流经一个节点，都会记录它的信息。
又如 ：
健康手环，儿童防丢手表，一些动物迁徙研究的传感器（如中华鲟），水纹监测，电网监测，煤气管道监测，气象监测等等这些信息。
股价的实时预测。
车流实时
【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题
首先我们简单回顾下整个写入流程
client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to filesystem
整个写入流程从客户端调用API开始，数据会通过protobuf编码成一个请求，通过scoket实现的IPC模块被送达server的RPC队列中。
OSS Select使用场景及技巧
背景介绍
OSS Select是OSS近期推出的一项新功能，它可以对OSS上的类CSV文件（其他类型文件比如Json也会很快推出）在服务器端运行SQL查询，仅将查询结果返回给客户端。举例来说，假如你有一个10GB的csv日志文件，有一列数据是错误码，想把其中所有错误码等于500的日志找出来，用OSS Select仅仅返回错误码是500的日志，在从而降低用户的数据传输成本以及处理数据的成本，相比在客户端下载整个文件再处理在性能上也可以提高最多到6倍以上。
|
一次 group by + order by 性能优化分析
我的个人博客 https://mengkang.net/1302.html
最近通过一个日志表做排行的时候发现特别卡，最后问题得到了解决，梳理一些索引和MySQL执行过程的经验，但是最后还是有5个谜题没解开，希望大家帮忙解答下
主要包含如下知识点
用数据说话证明慢日志的扫描行数到底是如何统计出来的
从 group by 执行原理找出优化方案
排序的实现细节
gdb 源码调试
背景
需要分别统计本月、本周被访问的文章的 TOP10。
【大数据干货】轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求。
“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端，然后分天、分小时的展开数据分析作业，分析结果再导入数据库和报表系统，最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提
免费试用