count去重和distinct去重

简介: count去重和distinct去重

有两种去重方法:
1、select count(distinct id) from a;这个是将所有值都放入到内存中,key为列值,通过hash算出有多少个key就是多少行。
2、select count(1) from (select 1 from a group by id ) a,这个是通过group by先将id进行排序,之后只要进行计数就可以了。时间复杂度为nlogn,空间复杂度为1。空间复杂度小。

两种方法优缺点比较:
如果内存够容纳所有行数,第一种优于第二种
image
当如果内存不够的话,第二种优于第一种。
image

总结数据量小第一种,数据量大第二种。

目录
相关文章
|
监控 安全 JavaScript
浅谈移动端设备标识码:DeviceID、IMEI、IDFA、UDID和UUID
场景 : 客户提出一个问题就是把用户的登录记录和设备绑定到一起,就是每个人都是固定的设备(可能是安全因素吧)。一开始想的是回去设备的IMEI号和用户账号绑定起来,结果发现IMEI不对外开发,只能另寻他法,最后通过获取设备序列号作为唯一标识。
浅谈移动端设备标识码:DeviceID、IMEI、IDFA、UDID和UUID
|
7月前
|
安全 数据安全/隐私保护 iOS开发
使用 DFU 模式修复或恢复 Mac 固件
搭载 Apple 芯片的 Mac 电脑 DFU 模式全新安装 macOS
2596 0
使用 DFU 模式修复或恢复 Mac 固件
|
7月前
|
人工智能 开发工具 git
你的终端都安装了哪些扩展?试试这些高效扩展
终端太单调?14款高效工具助你升级体验:eza(带图标/颜色的ls)、yazi(图形化文件管理)、btop(可视化进程监控)、duf(美观磁盘分析)、bat(语法高亮cat)、fastfetch(极速系统信息)、fzf/fd/rg(模糊搜索/快速查找/精准文本检索)、zoxide(智能目录跳转)、lazygit/lazydocker(Git/Docker图形界面)、zellij(现代终端分屏复用器)、cmux(AI编码专用通知终端)。即装即用,效率翻倍!
1143 3
|
10月前
|
机器学习/深度学习 敏捷开发 人工智能
阿里云人工智能平台PAI和百炼有什么区别?PAI和百炼定位、功能及使用方法对比
阿里云PAI是“造模型”平台,面向算法工程师,支持从训练到部署的全周期AI开发;百炼是“用模型”平台,聚焦大模型快速应用,助力业务团队低门槛构建智能体。两者互补协同,覆盖AI开发全流程。
2190 5
|
人工智能 自然语言处理 语音技术
Step-Audio:开源语音交互新标杆!这个国产AI能说方言会rap,1个模型搞定ASR+TTS+角色扮演
Step-Audio 是由阶跃星辰团队推出的开源语音交互模型,支持多语言、方言和情感表达,能够实现高质量的语音识别、对话和合成。本文将详细介绍其核心功能和技术原理。
3241 91
Step-Audio:开源语音交互新标杆!这个国产AI能说方言会rap,1个模型搞定ASR+TTS+角色扮演
|
存储 人工智能 弹性计算
阿里云2025年双十一优惠活动政策解读,值得买的亮点连夜整理
阿里云2025双11火热开启!领最高1728元企业券,爆款云服务器低至38元/年,新客享7000万Tokens免费体验。GPU、OSS、RDS数据库等全线特惠,更有AI建站、无影云电脑、短信套餐超值购,助力企业降本增效,智启未来!
1505 2
|
人工智能 开发者 Python
Chainlit:一个开源的异步Python框架,快速构建生产级对话式 AI 应用
Chainlit 是一个开源的异步 Python 框架,帮助开发者在几分钟内构建可扩展的对话式 AI 或代理应用,支持多种工具和服务集成。
2318 9
|
Linux 虚拟化
top中的st含义—虚拟化底层从你的vm里偷了多少资源
linux在top中打印中有st显示项,这一显示项单位为百分比,它的值表明你的系统花了百分之多少等待得到真正的cpu资源。 在正常情况下在云平台下st最好为0,这表明你的vm得到了所有必要的cpu资源。
5772 0