结构化大数据分析平台设计
前言
任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。
6倍性能差100TB容量,阿里云POLARDB如何实现?
本文讲的是6倍性能差100TB容量,阿里云POLARDB如何实现,POLARDB是阿里云数据库团队研发的基于第三代云计算架构下的商用关系型云数据库产品,实现100%向下兼容MySQL 5.6的同时,支持单库容量扩展至上百TB以及计算引擎能力及存储能力的秒级扩展能力,对比MySQL有6倍性能提升及相对于商业数据库实现大幅度降低成本。
MySQL 大表优化方案,收藏了细看!
当 MySQL 单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化。
单表优化
除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。
数据库案例集锦 - 开发者的《如来神掌》
案例
1、《多字段,任意组合(0建模) - 毫秒级实时圈人 - 最佳实践》
2、《IoT(物联网)极限写入、消费 最佳实践 - 块级(ctid)扫描》
3、数据采样和脱敏实践
《PostgreSQL 数据采样与脱敏》
《PostgreSQL 巧妙的数据采样方法》
4、数据清洗和去重实践
.
LC3视角:Kubernetes下日志采集、存储与处理技术实践
在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下,Kubernetes日志处理上也遇到的新挑战,包括:容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构,介绍了:Logtail客户端在Kubernetes日志采集场景下的优势;日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求;日志服务数据的开放性以及与云产品、开源社区相结合,在实时计算、可视化、采集上为用户提供的丰富选择。