排序与分布

简介: 本帖最后由 qingyun 于 2013-6-16 21:48 编辑做查询的时候1.
本帖最后由 qingyun 于 2013-6-16 21:48 编辑

做查询的时候
1.如果没有分页,在记录特别多的时候,显示会很慢;
2.如果数据实在太多,比如几百万到几千万甚至上亿(我遇到的大部分数据量大的都在几百万条),分页前通过select count(*) from table 获取记录条数,也不明智;
   因为几百成千万条的数据统计一下记录数可能也要10秒左右;
3. 记录特别多,最好不要做排序,一旦排序特比慢:


比如:有一张表 LOGIN_LOG  ,里面有600多万条数据:


1. 执行 select count(1) from login_log 要12秒;

  2.按1000条记录一页分页,看第2页(不排序),要 0.2秒(够快了,用户体验不错,缺点就是分页的数据是乱的,没有排序)
SELECT * FROM (SELECT A.*,ROWNUM RN  FROM (SELECT * FROM LOGIN_LOG ) A WHERE ROWNUM <= 2000)
WHERE RN >= 1001





3.按1000条记录一页分页,看第2页(排序),要 14秒(虽然排序正确了,可是10几表的等待实在无法忍受)
SELECT * FROM (SELECT A.*,ROWNUM RN  FROM (SELECT * FROM LOGIN_LOG order by 1 ) A WHERE ROWNUM <= 2000)
WHERE RN >= 1001


所以我的做法是:

   1.不默认显示页数(因为要做可能很费时间的select count.. ),只显示“上一页 ,下一页 ”两个按钮,如果操作员实在想看多少页,再手工点“显示页数”按钮;
   2.不做SQL排序,在客户端上,点击Grid的标题排序(客户端 DataSet 自身排序,和 SQL 没关系),这个排序只对当前页有效;也就是排序在前台做,不在后台做;
    

因为实际操作中,有的客户喜欢一上来就什么条件都没有输入进行查询,或者输入的条件特别大众(比如: 单号 like '%1%'),这样就必然有大量满足条件的数据,所以弄个不排序的分页,既能给客户看到数据,也能很快的展现;尽管显示的第一页很可能不是客户想要的数据;
  但随着客户再次输入准确的条件,会把数据量缩小到一个比较小的范围,如果1000条一页,那么大部分时候应该是第一页就满足了,不需要看第二页;
这样就是一个相对折衷的方法;

而且大数据的order by 非常伤害 TEMP 表空间,会把它“撑”的很大,缩小不下去,并且如果多个回话并发做大数据的order by 会严重影响数据库的性能的;

既用户第一次进入系统,分页查询时,不进行分页处理。


目录
相关文章
|
9天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
7天前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
本文讲解 Prompt 基本概念与 10 个优化技巧,结合学术分析 AI 应用的需求分析、设计方案,介绍 Spring AI 中 ChatClient 及 Advisors 的使用。
361 130
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
|
8天前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
350 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
20天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1338 8
|
2天前
|
存储 JSON 安全
加密和解密函数的具体实现代码
加密和解密函数的具体实现代码
190 136
|
6天前
|
监控 JavaScript Java
基于大模型技术的反欺诈知识问答系统
随着互联网与金融科技发展,网络欺诈频发,构建高效反欺诈平台成为迫切需求。本文基于Java、Vue.js、Spring Boot与MySQL技术,设计实现集欺诈识别、宣传教育、用户互动于一体的反欺诈系统,提升公众防范意识,助力企业合规与用户权益保护。
|
19天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1435 87
|
6天前
|
JavaScript Java 大数据
基于JavaWeb的销售管理系统设计系统
本系统基于Java、MySQL、Spring Boot与Vue.js技术,构建高效、可扩展的销售管理平台,实现客户、订单、数据可视化等全流程自动化管理,提升企业运营效率与决策能力。