mysql杂项

简介: mysql杂项

2000万+数据里筛选不同的手机号

背景:接到个任务需要筛选出订单号里的所有不同的手机号,订单数约在2000万+

思路

1.分批获取数据库数据。

2.根据手机号前四位,将取出来的数据分别放在以手机号前四位开头的文件中。如:1880502xxxx 放在文件1880里,1881502xxxx 放在1881里。这些文件统一放在A文件夹下。

3.遍历文件夹A,判断文件是否超出某个设定值,值可由自己定。如果超出,以流式的方法将文件内容读进php,防止内存不足。然后继续拆解,再放进另一个文件夹之中,如:188050210xx 放进 188050210文件中,188050211xx 放假188050211文件中。

4.直到最后所得到的文件小于设定值,则可一次性读到php中,并拆解成数组,使用array_unique函数,一次性获得唯一不重复的号码。

mysql orderby和limit丢失数据问题

mysql limit 和 order by 同时使用时丢失数据问题记录:

SELECT id,mode,target_id,fee,begin_time,end_time FROM pft_module_price WHERE type = 1 ORDER BY rank DESC LIMIT 0,10

SELECT id,mode,target_id,fee,begin_time,end_time FROM pft_module_price WHERE type = 1 ORDER BY rank DESC LIMIT 10,10

两条sql执行时,两次的运行结果中会出现一些重复数据和丢失一些数据。猜测是rank值都一样的情况下,两次排序是不一样的,导致两次取得值会出现重复和丢失。

SELECT id,mode,target_id,fee,begin_time,end_time FROM pft_module_price WHERE type = 1 ORDER BY rank,id DESC LIMIT 0,10

order by 的时候多加个 id,结果正常。

image.png

mysql using intersect导致效率变慢

explain SELECT DISTINCT  `id`,`fid`,`aid`,`daction`,`dmoney`,`lmoney` FROM pft_member_journal 
WHERE `rectime` BETWEEN '2017-03-13 00:00:00' AND '2017-03-13 23:59:59' AND `fid` = 4 AND `aid` = 50618 AND `ptype` = 2

发现 extra里使用了using intersect。

通过设置 SET optimizer_switch = 'index_merge_intersection=off'

再次执行exolain sql语句 变成了using index condition 执行sql语句 速度变得飞快

或者强制不使用索引

SELECT DISTINCT  `id`,`fid`,`aid`,`daction`,`dmoney`,`lmoney` FROM pft_member_journal IGNORE index(aid,fid)
WHERE `rectime` BETWEEN '2017-03-13 00:00:00' AND '2017-03-13 23:59:59' AND `fid` = 4 AND `aid` = 50618 AND `ptype` = 2


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
关系型数据库 MySQL 程序员
mysql 备份详细解
mysql 备份详细解
347 0
|
PHP
PHP引入endroid/qr-code类库生成指定二维码
PHP引入endroid/qr-code类库生成指定二维码
799 0
|
消息中间件 PHP 数据库
PHP使用topthink/think-queue消息队列实例
PHP使用topthink/think-queue消息队列实例
852 0
|
XML 移动开发 JSON
PHP使用yansongda/pay实现支付宝和微信的支付
PHP使用yansongda/pay实现支付宝和微信的支付
2083 0
|
JSON 应用服务中间件 程序员
如何对服务器做IP限流
如何对服务器做IP限流
778 0
|
网络协议 NoSQL 应用服务中间件
php OSS 文件读取和写入文件,workerman 生成临时文件并输出浏览器下载
php OSS 文件读取和写入文件,workerman 生成临时文件并输出浏览器下载
855 0
|
API PHP
PHP开发API接口签名生成及验证
PHP开发API接口签名生成及验证
917 0
|
PHP
PHP分页查询
PHP分页查询
265 0
判断某个值是否在多维关联数组中 返回该值的所在的关联数组
判断某个值是否在多维关联数组中 返回该值的所在的关联数组
256 0