游客nsyhaoxcmeiq6_个人页

2024年05月

• 04.07 15:29:03
  发表了文章 2024-04-07 15:29:03

  列式存储的另一面

  列存是常见的数据存储技术，说到列存常常就意味着高性能，现代分析型数据库基本都会把列存作为标配， 列存的基本原理是减少硬盘的读取量。一个数据表有多个列，但运算可能只会用到其中少数几列，采用列存时，用不着的列就不必读出来了，而采用行式存储时，则要把所有列都扫描一遍。当取用列只占总列数的小部分时，列存的 IO 时间优势会非常大，就会显得计算速度快了很多。 不过，列存也有另一面，并不是在任何场景下都有优势。
• 03.21 16:18:25
  发表了文章 2024-03-21 16:18:25

  SQL 的困难源于关系代数

  SQL 的数学基础就是关系代数，是用来实现批量结构化数据计算的代数体系，这也是采用 SQL 的数据库又被叫做关系数据库的原因。 关系代数已经发明五十年了，五十年前的应用需求以及硬件环境，和今天比的差异是很巨大了。由于存量用户太多，而且也还没有成熟的新技术出现，基于关系代数设计的 SQL，今天仍然是最重要的数据库开发语言。虽然这几十年来也有一些改进完善，但根子并没有变，面对当代的复杂需求和硬件环境，关系数据库并没有那么得心应手了。
• 02.29 15:56:22
  发表了文章 2024-02-29 15:56:22

  怎样写出可在各种数据库间移植的SQL

  国际标准没有对这些函数做规定，这种 SQL 语句就会和数据库相关而无法移植了，而这些函数在应用开发中还特别常见。 Hibernate 能将包括这些函数的标准 HQL 语句转换成不同数据库的 SQL，但 HQL 支持的函数太少，碰到不认识的函数还是要分别注册，这就丧失了可移植性；而且 HQL 能生成的 SQL 本身也比较简单，覆盖面太窄了。
• 12.21 13:51:16
  发表了文章 2023-12-21 13:51:16

  怎样做多数据源的混合计算

  早期应用通常只会连接一个数据库，计算也都由数据库完成，基本不存在多数据源混合计算的问题。而现代应用的数据源变得很丰富，同一个应用也可能访问多种数据源，各种 SQL 和 NoSQL 数据库、文本 /XLS、WebService/Restful、Kafka、Hadoop、…。多数据源上的混合计算就是个摆在桌面需要解决的问题了。 直接在应用中硬编码实现是很繁琐的，Java 这些常用的应用开发语言很不擅长做这类事，和 SQL 比，简洁性差得很远。

2023年10月

• 10.19 16:24:37
  发表了文章 2023-10-19 16:24:37

  SQL该淘汰了

  关系代数已经发明五十年了，五十年前的应用需求以及硬件环境，和今天比的差异是很巨大了，继续延用五十年前的理论来解决今天的问题，听着就感觉太陈旧了？然而现实就是这样，由于存量用户太多，而且也还没有成熟的新技术出现，基于关系代数的 SQL，今天仍然是最重要的数据库语言。虽然这几十年来也有一些改进完善，但根子并没有变，面对当代的复杂需求和硬件环境，SQL 不胜任也是情理之中的事。

2023年09月

• 09.26 15:12:51
  发表了文章 2023-09-26 15:12:51

  应用成本低出 N 倍的数据分析引擎 esProc SPL

  我们介绍的 esProc SPL 是一个数据分析引擎，具备 4 个主要特点：低代码、高性能、轻量级、全功能。SPL 不仅写得简单，跑得也更快，既可以独立使用还能与应用集成嵌入，同时适用于多种应用场景。使用 esProc SPL 实现数据分析业务，整体应用成本将比以 SQL 为代表的传统技术低出几倍。
• 09.18 17:14:02
  发表了文章 2023-09-18 17:14:02

  数据湖的不可能三角

  数据湖有三个重要满足点，既要保持数据的原样（全量信息入湖），也要可以方便计算使用（数据变现），还希望建设成本低廉（显然的）。但是，当前的技术方案无法同时满足这三点。

  
• 09.15 11:46:56
  发表了文章 2023-09-15 11:46:56

  SQL为什么动不动就N百行以K计

  发明 SQL 的初衷之一显然是为了降低人们实施数据查询计算的难度。SQL 中用了不少类英语的词汇和语法，这是希望非技术人员也能掌握。确实，简单的 SQL 可以当作英语阅读，即使没有程序设计经验的人也能运用。 然而，面对稍稍复杂的查询计算需求，SQL 就会显得力不从心，经常写出几百行有多层嵌套的语句。这种 SQL，不要说非技术人员难以完成，即使对于专业程序员也不是件容易的事，常常成为很多软件企业应聘考试的重头戏。三行五行的 SQL 仅存在教科书和培训班，现实中用于报表查询的 SQL 通常是以“K”计的。