游客nsyhaoxcmeiq6_个人页
游客nsyhaoxcmeiq6
文章
99
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2024-10-22
ClickHouse 在什么场景下才管用？
ClickHouse 是一款以速度快著称的分析型数据库，尤其在列式宽表遍历方面表现出色。然而，面对复杂查询和关联运算时，ClickHouse 的性能急剧下降，甚至无法执行某些任务。相比之下，esProc SPL 通过更简洁的 SPL 语法和强大的优化能力，在各种复杂场景下均表现出色，全面超越 ClickHouse。实际案例显示，esProc SPL 在处理大规模数据时，性能提升可达数十倍。
-
发表了文章 2024-10-22
SQL 的困难源于关系代数
SQL 作为结构化数据计算的主要语言，虽然广泛应用于关系数据库和大数据平台，但在复杂计算场景中表现不佳，如股票连涨天数和大集合中的 TopN 计算。这些问题源于 SQL 的理论基础——关系代数，缺乏必要的数据类型和运算。相比之下，esProc SPL 通过引入“离散数据集”这一新代数体系，能够更简洁高效地处理复杂计算任务。
-
发表了文章 2024-10-21
数据库的 IO 到底有多慢？
本文通过对比Java程序从Oracle、MySQL数据库读取数据与读取文本文件的性能，揭示数据库IO速度远低于文件读取的现状。在相同硬件环境下，读取3000万行记录，Oracle耗时280秒，MySQL耗时380秒，而文本文件仅需42秒。此外，通过SPL实现并行处理，可显著提升读取速度，尤其是在处理大规模数据时。实验还探讨了数据库接口慢的问题及其对性能的影响，提出在追求高性能计算时应尽量避免从数据库读取数据的建议。
-
发表了文章 2024-04-07
列式存储的另一面
列存是常见的数据存储技术，说到列存常常就意味着高性能，现代分析型数据库基本都会把列存作为标配， 列存的基本原理是减少硬盘的读取量。一个数据表有多个列，但运算可能只会用到其中少数几列，采用列存时，用不着的列就不必读出来了，而采用行式存储时，则要把所有列都扫描一遍。当取用列只占总列数的小部分时，列存的 IO 时间优势会非常大，就会显得计算速度快了很多。 不过，列存也有另一面，并不是在任何场景下都有优势。
-
发表了文章 2023-12-21
怎样做多数据源的混合计算
早期应用通常只会连接一个数据库，计算也都由数据库完成，基本不存在多数据源混合计算的问题。而现代应用的数据源变得很丰富，同一个应用也可能访问多种数据源，各种 SQL 和 NoSQL 数据库、文本 /XLS、WebService/Restful、Kafka、Hadoop、…。多数据源上的混合计算就是个摆在桌面需要解决的问题了。 直接在应用中硬编码实现是很繁琐的，Java 这些常用的应用开发语言很不擅长做这类事，和 SQL 比，简洁性差得很远。
-
发表了文章 2023-10-19
SQL该淘汰了
关系代数已经发明五十年了，五十年前的应用需求以及硬件环境，和今天比的差异是很巨大了，继续延用五十年前的理论来解决今天的问题，听着就感觉太陈旧了？然而现实就是这样，由于存量用户太多，而且也还没有成熟的新技术出现，基于关系代数的 SQL，今天仍然是最重要的数据库语言。虽然这几十年来也有一些改进完善，但根子并没有变，面对当代的复杂需求和硬件环境，SQL 不胜任也是情理之中的事。
-
发表了文章 2023-09-26
应用成本低出 N 倍的数据分析引擎 esProc SPL
我们介绍的 esProc SPL 是一个数据分析引擎，具备 4 个主要特点：低代码、高性能、轻量级、全功能。SPL 不仅写得简单，跑得也更快，既可以独立使用还能与应用集成嵌入，同时适用于多种应用场景。使用 esProc SPL 实现数据分析业务，整体应用成本将比以 SQL 为代表的传统技术低出几倍。
-
发表了文章 2023-09-18
数据湖的不可能三角
数据湖有三个重要满足点，既要保持数据的原样（全量信息入湖），也要可以方便计算使用（数据变现），还希望建设成本低廉（显然的）。但是，当前的技术方案无法同时满足这三点。
-
发表了文章 2023-09-15
SQL为什么动不动就N百行以K计
发明 SQL 的初衷之一显然是为了降低人们实施数据查询计算的难度。SQL 中用了不少类英语的词汇和语法，这是希望非技术人员也能掌握。确实，简单的 SQL 可以当作英语阅读，即使没有程序设计经验的人也能运用。 然而，面对稍稍复杂的查询计算需求，SQL 就会显得力不从心，经常写出几百行有多层嵌套的语句。这种 SQL，不要说非技术人员难以完成，即使对于专业程序员也不是件容易的事，常常成为很多软件企业应聘考试的重头戏。三行五行的 SQL 仅存在教科书和培训班，现实中用于报表查询的 SQL 通常是以“K”计的。
暂无更多信息
-
发表了文章
2025-11-03
第六篇 - 枚举字段条件过滤--SPL轻量级文件存储提速查询实践
-
发表了文章
2025-10-30
第五篇 - 大主子表关联时的 EXISTS--SPL轻量级文件存储提速查询实践
-
发表了文章
2025-10-20
第四篇 - 大主子表关联--SPL轻量级文件存储提速查询实践
-
发表了文章
2025-10-11
报表没完没了做不完，可能并不是程序员的问题
-
发表了文章
2025-09-23
第三篇 - 外键维表的关联：SPL轻量级文件存储提速查询实践
-
发表了文章
2025-09-05
第一篇 - 常规过滤及分组汇总：SPL轻量级文件存储提速查询实践
-
发表了文章
2025-08-20
SQL 移植--SPL 轻量级多源混算实践 7
-
发表了文章
2025-08-14
跨库 JOIN--SPL 轻量级多源混算实践 6
-
发表了文章
2025-08-12
跨库 Union，比对--SPL 轻量级多源混算实践 5
-
发表了文章
2025-08-07
查询 MongoDB--SPL 轻量级多源混算实践 4
-
发表了文章
2025-08-05
查询 Restful/JSON 数据--SPL 轻量级多源混算实践 3
-
发表了文章
2025-07-31
查询 csv/xls 等文件--SPL 轻量级多源混算实践 2
-
发表了文章
2025-07-17
在 RDB 上跑 SQL------SPL 轻量级多源混算实践 1
-
发表了文章
2025-07-15
SPL 轻量级多源混算实践
-
发表了文章
2025-07-11
极具特色的位置运算
-
发表了文章
2025-06-25
化于无形的 lambda 语法
-
发表了文章
2025-06-19
SPL轻量级多源混合计算
-
发表了文章
2025-06-16
可路由计算引擎实现前置数据库
-
发表了文章
2025-06-06
数据存储使用文件还是数据库，哪个更合适？
-
发表了文章
2025-06-06
数据中台为什么不好搞？
滑动查看更多
暂无更多信息
暂无更多信息