彦小哲_个人页

2021年11月

• 11.23 14:33:23
  发表了文章 2021-11-23 14:33:23

  OushuDB 高速互联网络

  高速互联网络的作用是在多个节点之间交换大量数据。OushuDB高速互联网络基于UDP协议。大家可能会疑问为什么OushuDB不使用TCP。其实OushuDB同时支持TCP和UDP两种协议，TCP协议实现早于UDP协议。但是因为我们遇到了TCP不能很好解决的高连接数并发问题，我们才开发了基于UDP的协议。图4展示了一个高速互联网络的例子。

  
• 11.23 14:21:32
  发表了文章 2021-11-23 14:21:32

  OushuDB 执行器介绍

  用户通过JDBC/ODBC提交查询之后，查询解析器解析查询得到查询树，然后优化器根据查询树生成查询计划，派遣器和资源管理器交互得到资源，分解查询计划，然后派遣计划到Segment的执行器上面执行。最终结果会传回给用户。

  
• 11.23 14:00:49
  发表了文章 2021-11-23 14:00:49

  OushuDB 体系架构概览

  图1给出了一个典型的OushuDB集群的主要组件。计算部分和存储部分完全分离，可以独立扩容。在图中有多个OushuDB Master节点。元数据管理服务和资源管理服务位于OushuDB Master内部。其他节点为Slave节点。每个Slave节点上安装有一个OushuDB Segment。Segment实现OushuDB的计算。OushuDB Segment在执行查询的时候会启动多个QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。在这个架构下，节点可以动态的加入集群，并且不需要数据重新分布。当一个节点加入集群时，他会向OushuDB Master节点发送心

  
• 11.18 18:17:50
  发表了文章 2021-11-18 18:17:50

  OushuDB 的主要功能

  极速执行器: 高效的执行器，比传统数仓/MPP快5-10倍，比Hadoop SQL引擎要快5-30倍。公有云和私有云部署：支持亚马逊和阿里云等公有云平台，同时可以支持主流PaaS云平台（比如Kubernetes等）和Docker部署。对标准的完善支持：ANSI SQL标准，OLAP扩展，标准JDBC/ODBC，比Hadoop SQL引擎都要完善。具有非常成熟的并行优化器。优化器是并行SQL引擎的重要组成部分，对性能影响很大，尤其是对复杂查询。支持ACID事务特性：这是很多现有基于Hadoop的SQL引擎做不到的，对保证数据一致性很重要。可以有效减少开发及运维人员的负担。动态数据流引擎：基于UD

  
• 11.18 18:12:32
  发表了文章 2021-11-18 18:12:32

  【OushuDB】Oushu Database和Apache HAWQ的不同

  全新执行引擎，充分利用硬件的所有特性，比Apache HAWQ性能高出5-10倍支持Update和Delete，以及索引C++可插拔外部存储替换JAVA PXF，性能高数倍，无需安装部署PXF额外组件，极大简化了用户安装部署和运维原生支持CSV/TEXT外部存储可以用于不同集群之间共享数据，比如数据仓库和集市之间共享及传输数据可以用于高速数据加载和数据导出可以实现高速备份和恢复可以实现可插拔文件系统：比如S3, Ceph等可以实现可插拔文件格式：比如ORC，Parquet等支持ORC/TEXT/CSV作为内部表格式，支持ORC作为外部表格式 (通过C++可插拔外部存储)对PaaS/CaaS云平

  
• 11.18 18:02:58
  发表了文章 2021-11-18 18:02:58

  【OushuDB】Oushu Database 简介

  Oushu Database是有偶数科技打造的新一代云原生数据仓库。该产品采用了存储与计算分离技术架构，具有MPP的所有优点，还具有弹性，支持混合工作负载和高扩展性等优点。 同时支持公有云与私有云。高可扩展，遵循ANSI-SQL标准，具有极速执行器，提供PB级数据交互式查询能力。并且提供对主要BI工具的描述性分析支持和高级机器学习功能。兼容Oracle，GPDB和PostgreSQL，可以轻松取代传统数据仓库包括Teradata，Oracle，DB2，Greenplum和SQL-on-Hadoop引擎。并且原生支持Kubernetes容器平台，帮助企业无缝迁移到最新的云计算平台。OushuDB