Flink 原理与实现:内存管理
如今,大数据领域的开源框架(Hadoop,Spark,Storm)都使用的 JVM,当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中,这就不得不面对 JVM 存在的几个问题:
1. Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存:对象头占了8个,boolean 属性占了1个,对齐填充占了7个。而实际上只需要一个bit(1
一条已经坚持了10年原则,是否能适应波司登“新零售”征程?
今年是波司登成立的40周年。从90年代开始信息化建设,到2002年实施的分销管理系统,2005年的供应链管理系统和办公自动化系统,2007年的ERP管理平台,以及随后的电子商务系统、商业智能分析系统,再到2016年基于阿里企业互联网架构的零售云平台......不断发展的企业信息化平台建设背后始终站着他——波司登信息总监桂益龙。
SLS:海量日志数据管理利器
日志是大规模集群管理系统中非常关键的部分,服务器上的各种日志数据(如访问日志、应用日志等)可以帮助我们回答如运维、开发、运营、客服、安全等各种问题。SLS(Simple Log Service,简单日志服务),能够提供一个从日志采集、过滤、处理、聚合到在线查询的完整的海量日志处理平台,满足各种类型的
分析型数据库+数据传输,构建企业级实时数仓
传统的离线数据仓库,将业务数据集中进行存储后,以固定的计算逻辑定时进行ETL 和其它建模后产出报表等应用。离线数据仓库一般采用每日或每几个小时进行一次计算的方式,计算和数据的实时性均较差,业务人员无法根据自己的即时性需要获取几分钟之前的实时数据。