智能数据引擎Dataphin重磅发布,提供一站式的技术管理能力
面对各行各业日趋强烈的大数据建设、管理及应用诉求,2018年2月28日MWC大会,阿里云重磅推出了智能数据构建与管理平台Dataphin——从数据接入到数据消费全链路,提供一站式的大数据能力,包括产品、技术和方法论等,致力于助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。
无人驾驶背后的技术 - PostGIS点云(pointcloud)应用
标签
PostgreSQL , PostGIS , box , grid , pointcloud , pgpointcloud , point聚合 , KNN , 自动驾驶 , 自动配送 , 无人驾驶
背景
科幻电影的场景随着技术的发展,正在一步步的从荧幕变成现实。
PostgreSQL 列存索引
大数据时代,单一的数据库系统已经不能满足用户的所有业务需求,OLAP 场景往往数据量大,查询复杂,需使用专门的数据分析类产品,如 GreenPlum;OLTP 场景往往操作较简单,要求响应及时,这也是多数关系数据库系统擅长的场景。
下一代企业级云上数据分析服务:Data Lake Analytics
0. Data Warehouse VS Data Lake
0.1 传统数仓
数据来源于各类云数据存储、NoSQL和关系型数据库等系统,比如OSS、Table Store、NAS、 云HBase、RDS、PolarDB等;
数据以实时、分钟、小时、天等级别进行ETL抽取与同步到数仓系统中;
在数仓中进行实时、定时调度、汇总计算分析。
漫谈OceanBase 列式存储
列式存储主要的目的有两个:
大部分OLAP查询只需要读取部分列而不是全部列数据,列式存储可以避免读取无用数据;
将同一列的数据在物理上存放在一起,能够极大地提高数据压缩率。
OLAP和OLTP
OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策支持系统,就是我们说的数据仓库。