PolarDB产品使用合集之有的sql里面有自定义存储函数 如果想走列存有什么优化建议吗

简介: PolarDB是阿里云推出的一种云原生数据库服务,专为云设计,提供兼容MySQL、PostgreSQL的高性能、低成本、弹性可扩展的数据库解决方案,可以有效地管理和优化PolarDB实例,确保数据库服务的稳定、高效运行。以下是使用PolarDB产品的一些建议和最佳实践合集。

问题一:PolarDB开启binlog实现主从复制会对性能有多大影响呢?


PolarDB开启binlog实现主从复制会对性能有多大影响呢?


参考回答:

很大,写性能差一倍以上。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/584072


问题二:polarDB和mariaDB实现binlog主从复制怎么弄?


polarDB和mariaDB实现binlog主从复制怎么弄?polarDB为主,mariaDB为从实现主从同步


参考回答:

参考mysql与mariadb同步,一模一样。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/584071


问题三:PolarDB这个问题怎么解决? max没有排序语义 sql语义变了


PolarDB这个问题怎么解决? max没有排序语义 sql语义变了,改成这种窗口函数实现 可以走列存 也非常慢 直接把ap节点cpu拉满了,SELECT ep.product_id, p.products_name AS products_name_m, p.products_url_name, ep.enterprise_id, ent.enterprise_name_en AS enterprise_name

, ent.url_name AS enterprise_url_name, ep.specification, DATE_FORMAT(ep.price_date, '%Y-%m-%d') AS price_date

, ep.price_unit, ep.price AS current_price

, (

SELECT tmp.price

FROM (

SELECT ep2.price, ROW_NUMBER() OVER (PARTITION BY ep2.product_id ORDER BY ep2.price_date DESC) AS rank_no

FROM echemi_db_v0_3.t_zy_enterprise_price ep2

LEFT JOIN t_zy_enterprise_price ep

ON ep2.product_id = ep.product_id

AND ep2.enterprise_id = ep.enterprise_id

WHERE IFNULL(ep2.delflag, '') <> '1'

AND ep2.price_date < ep.price_date

AND IFNULL(ep2.price_date, '') != ''

AND IFNULL(ep2.price, '') != ''

AND IFNULL(ep2.delflag, '') != '1'

) tmp

WHERE tmp.rank_no = 1

) AS previous_price, 0 AS subscribe_flag

FROM t_zy_enterprise_price ep

INNER JOIN t_e_products p

ON p.products_id = ep.product_id

AND p.information_flag = '1'

AND IFNULL(p.delflag, '0') != '1'

INNER JOIN t_zy_enterprise ent

ON ent.id = ep.enterprise_id

AND IFNULL(ent.delflag, '0') != '1'

INNER JOIN (

SELECT ep3.product_id, ep3.enterprise_id, MAX(ep3.price_date) AS max_price_date

FROM t_zy_enterprise_price ep3

GROUP BY ep3.product_id, ep3.enterprise_id

) pimax

ON pimax.product_id = ep.product_id

AND pimax.enterprise_id = ep.enterprise_id

AND pimax.max_price_date = ep.price_date

WHERE ep.delflag = '0'

ORDER BY subscribe_flag DESC, ep.price_date DESC, ep.update_date DESC, ep.id

LIMIT 5


参考回答:

那得用window改,SELECT

tmp1.*,

(

SELECT

tmp.price

FROM

(

SELECT

ep2.price,

ROW_NUMBER() OVER (

PARTITION BY ep2.product_id

ORDER BY

ep2.price_date DESC

) AS rank_no

FROM

echemi_db_v0_3.t_zy_enterprise_price ep2

LEFT JOIN t_zy_enterprise_price ep ON ep2.product_id = ep.product_id

AND ep2.enterprise_id = ep.enterprise_id

WHERE

IFNULL(ep2.delflag, '') <> '1'

AND ep2.price_date < ep.price_date

AND IFNULL(ep2.price_date, '') != ''

AND IFNULL(ep2.price, '') != ''

AND IFNULL(ep2.delflag, '') != '1'

) tmp

WHERE

tmp.rank_no = 1

) AS previous_price,

0 AS subscribe_flag

FROM

(

SELECT

ep.product_id,

p.products_name AS products_name_m,

p.products_url_name,

ep.enterprise_id,

ent.enterprise_name_en AS enterprise_name,

ent.url_name AS enterprise_url_name,

ep.specification,

DATE_FORMAT(ep.price_date, '%Y-%m-%d') AS price_date,

ep.price_unit,

ep.price AS current_price,

ep.price_date as pd,

ep.update_date as ud,

ep.id as id

FROM

t_zy_enterprise_price ep

INNER JOIN t_e_products p ON p.products_id = ep.product_id

AND p.information_flag = '1'

AND IFNULL(p.delflag, '0') != '1'

INNER JOIN t_zy_enterprise ent ON ent.id = ep.enterprise_id

AND IFNULL(ent.delflag, '0') != '1'

INNER JOIN (

SELECT

ep3.product_id,

ep3.enterprise_id,

MAX(ep3.price_date) AS max_price_date

FROM

t_zy_enterprise_price ep3

GROUP BY

ep3.product_id,

ep3.enterprise_id

) pimax ON pimax.product_id = ep.product_id

AND pimax.enterprise_id = ep.enterprise_id

AND pimax.max_price_date = ep.price_date

WHERE

ep.delflag = '0'

ORDER BY

subscribe_flag DESC,

ep.price_date DESC,

ep.update_date DESC,

ep.id

LIMIT

5

) tmp1

ORDER BY

subscribe_flag DESC,

tmp1.pd DESC,

tmp1.ud DESC,

tmp1.id

LIMIT

5

试试这个,先做LIMIT 5减少下window的计算量,也可以试试把

SELECT ep2.price, ep2.price_date FROM t_zy_enterprise_price ep2 ORDER BY ep2.price_date DESC, ep2.price desc limit 1;

改为

select max(ep2.price) FROM t_zy_enterprise_price ep2 where ep2.price_date = (SELECT max(price_date) from t_zy_enterprise_price);


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/584070


问题四:在PolarDB有的sql里面有自定义存储函数 这种想走列存有什么优化建议吗?


在PolarDB有的sql里面有自定义存储函数 还有的子查询里面有limit语句的 这种想走列存有什么优化建议吗?自定义函数例如这种SELECT

a.*,

func_create_url_name(a.title) AS url_name

FROM

(

SELECT

con.contentid,

con.catid,

cat.name AS catname,

cat.abbr AS catabbr,

con.modelid,

con.title,

con.subtitle,

con.url AS info_url,

con.tags AS tags,

con.tags AS original_tags,

CASE

WHEN LOWER(LEFT(con.thumb, 4)) = 'http' THEN con.thumb

ELSE CONCAT('https://xxx/', con.thumb)

END AS thumb,

con.published,

con.pv

FROM

cmstop_content con

INNER JOIN cmstop_category cat ON cat.catid = con.catid

AND cat.first_parentid = '201'

AND FIND_IN_SET('204', cat.parentids)

INNER JOIN (

SELECT

content_tag.contentid

FROM

cmstop_tag tag

INNER JOIN cmstop_content_tag content_tag ON tag.tagid = content_tag.tagid

WHERE

tag.tag = 'zyp-pd2202071028'

) content_tag ON con.contentid = content_tag.contentid

WHERE

con.status = 6

AND con.modelid IN (1, 3, 4, 10)

ORDER BY

con.published DESC,

con.contentid DESC

LIMIT

1

) a

还有这种子查询有limit的。SELECT

ep.product_id,

p.products_name AS products_name_m,

p.products_url_name,

ep.enterprise_id,

ent.enterprise_name_en AS enterprise_name,

ent.url_name AS enterprise_url_name,

ep.specification,

DATE_FORMAT(ep.price_date, '%Y-%m-%d') AS price_date,

ep.price_unit,

ep.price AS current_price,

(

SELECT

ep2.price

FROM

t_zy_enterprise_price ep2

WHERE

ep2.product_id = ep.product_id

AND ep2.enterprise_id = ep.enterprise_id

AND ep2.price_date < ep.price_date

AND IFNULL(ep2.price_date, '') != ''

AND IFNULL(ep2.price, '') != ''

AND IFNULL(ep2.delflag, '') != '1'

ORDER BY

ep2.price_date DESC

LIMIT

1

) AS previous_price,

0 AS subscribe_flag

FROM

t_zy_enterprise_price ep

INNER JOIN t_e_products p ON p.products_id = ep.product_id

AND p.information_flag = '1'

AND IFNULL(p.delflag, '0') != '1'

INNER JOIN t_zy_enterprise ent ON ent.id = ep.enterprise_id

AND IFNULL(ent.delflag, '0') != '1'

INNER JOIN (

SELECT

ep3.product_id,

ep3.enterprise_id,

MAX(ep3.price_date) AS max_price_date

FROM

t_zy_enterprise_price ep3

GROUP BY

ep3.product_id,

ep3.enterprise_id

) pimax ON pimax.product_id = ep.product_id

AND pimax.enterprise_id = ep.enterprise_id

AND pimax.max_price_date = ep.price_date

WHERE

ep.delflag = '0'

ORDER BY

subscribe_flag DESC,

ep.price_date DESC,

ep.update_date DESC,

ep.id

LIMIT

5

CREATE DEFINER=young@% FUNCTION func_create_url_name(

p_str varchar(500) charset utf8mb4 collate utf8mb4_general_ci ) RETURNS varchar(500) CHARSET utf8

SQL SECURITY INVOKER

BEGIN

DECLARE urlName VARCHAR(500);

SET urlName = p_str;

SET urlName = REPLACE(urlName,'β','');

SET urlName = REPLACE(urlName,'α','');

SET urlName = REPLACE(urlName,'ω','');

SET urlName = REPLACE(urlName,'~', '');

SET urlName = REPLACE(urlName,'!', '');

SET urlName = REPLACE(urlName,'!', '');

SET urlName = REPLACE(urlName,'#', '');

SET urlName = REPLACE(urlName,'$', '');

SET urlName = REPLACE(urlName,'¥', '');

SET urlName = REPLACE(urlName,'¥', '');

SET urlName = REPLACE(urlName,'^', '');

SET urlName = REPLACE(urlName,'*', '');

SET urlName = REPLACE(urlName,'%', '');

SET urlName = REPLACE(urlName,';', '');

SET urlName = REPLACE(urlName,';', '');

SET urlName = REPLACE(urlName,'.', '');

SET urlName = REPLACE(urlName,'。', '');

SET urlName = REPLACE(urlName,'·', '');

SET urlName = REPLACE(urlName,'+', '');

SET urlName = REPLACE(urlName,'=', '');

SET urlName = REPLACE(urlName,':', '');

SET urlName = REPLACE(urlName,':', '');

SET urlName = REPLACE(urlName,'>', '');

SET urlName = REPLACE(urlName,'<', '');

SET urlName = REPLACE(urlName,'》', '');

SET urlName = REPLACE(urlName,'《', '');

SET urlName = REPLACE(urlName,'[', '');

SET urlName = REPLACE(urlName,']', '');

SET urlName = REPLACE(urlName,'【', '');

SET urlName = REPLACE(urlName,'】', '');

SET urlName = REPLACE(urlName,'{', '');

SET urlName = REPLACE(urlName,'}', '');

SET urlName = REPLACE(urlName,'(', '');

SET urlName = REPLACE(urlName,')', '');

SET urlName = REPLACE(urlName,'(', '');

SET urlName = REPLACE(urlName,')', '');

SET urlName = REPLACE(urlName,'、', '');

SET urlName = REPLACE(urlName,'|', '');

SET urlName = REPLACE(urlName,'™', '');

SET urlName = REPLACE(urlName,'®', '');

SET urlName = REPLACE(urlName,'©', '');

SET urlName = REPLACE(urlName,'?', '');

SET urlName = REPLACE(urlName,'?', '');

SET urlName = REPLACE(urlName,'\'', ' ');

SET urlName = REPLACE(urlName,'"', ' ');

SET urlName = REPLACE(urlName,'&', ' ');

SET urlName = REPLACE(urlName,'—', ' ');

SET urlName = REPLACE(urlName,'/', ' ');

SET urlName = REPLACE(urlName,'\', ' ');

SET urlName = REPLACE(urlName,',', ' ');

SET urlName = REPLACE(urlName,',', ' ');

SET urlName = REPLACE(urlName,' ', ' ');

SET urlName = REPLACE(urlName,' ', ' ');

SET urlName = REPLACE(urlName,' ', ' ');

SET urlName = REPLACE(urlName,' ', '-');

SET urlName = REPLACE(urlName,'----', '-');

SET urlName = REPLACE(urlName,'---', '-');

SET urlName = REPLACE(urlName,'--', '-');

SET urlName = TRIM(urlName);

SET urlName = TRIM(BOTH '-' FROM urlName);

SET urlName = LOWER(urlName);

return urlName;

END


参考回答:

自定义函数里面有控制语句,还在调研中。SELECT

ep2.price

FROM

t_zy_enterprise_price ep2

ORDER BY

ep2.price_date DESC

LIMIT

1

可以改成

SELECT

MAX(ep2.price)

FROM

t_zy_enterprise_price ep2 最后一个函数可以直接让业务处理a.title。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/584069


问题五:PolarDB这种sql为啥也不走列存呢 ?我改了下发现还不走 。


PolarDB这种sql为啥也不走列存呢 ?我改了下发现还不走。SELECT DISTINCT sk.search_type, sk.search_keywords FROM t_e_search_keywords sk WHERE sk.search_type = '1' AND sk.ip = ' 139.5.31.25' AND LENGTH(sk.search_keywords) = CHAR_LENGTH(sk.search_keywords) ORDER BY sk.search_time DESC LIMIT 10;SELECT DISTINCT sk.search_type, sk.search_keywords,sk.search_time FROM t_e_search_keywords sk WHERE sk.search_type = '1' AND sk.ip = ' 139.5.31.25' AND LENGTH(sk.search_keywords) = CHAR_LENGTH(sk.search_keywords) ORDER BY


参考回答:

第一条是不会走的,得升级; 第二条应该是可以的,针对order by limit 这些sql在一些情况下代价估算不太准确, 导致cost比较小就路由到行存了, 刚才配置一些选项, 断开连接试试,不行再show variables like '%imci%opt%'; 试试。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/584068


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
3月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
229 6
|
5月前
|
SQL 人工智能 数据挖掘
如何在`score`表中正确使用`COUNT`和`AVG`函数?SQL聚合函数COUNT与AVG使用指南
本文三桥君通过score表实例解析SQL聚合函数COUNT和AVG的常见用法。详解COUNT(studentNo)、COUNT(score)、COUNT()的区别,以及AVG函数对数值/字符型字段的不同处理,特别指出AVG()是无效语法。实战部分提供6个典型查询案例及结果,包含创建表、插入数据的完整SQL代码。产品专家三桥君强调正确理解函数特性(如空值处理、字段类型限制)对数据分析的重要性,帮助开发者避免常见误区,提升查询效率。
345 0
|
8月前
|
SQL 存储 自然语言处理
SQL的解析和优化的原理:一条sql 执行过程是什么?
SQL的解析和优化的原理:一条sql 执行过程是什么?
SQL的解析和优化的原理:一条sql 执行过程是什么?
|
10月前
|
SQL 关系型数据库 MySQL
如何优化SQL查询以提高数据库性能?
这篇文章以生动的比喻介绍了优化SQL查询的重要性及方法。它首先将未优化的SQL查询比作在自助餐厅贪多嚼不烂的行为,强调了只获取必要数据的必要性。接着,文章详细讲解了四种优化策略:**精简选择**(避免使用`SELECT *`)、**专业筛选**(利用`WHERE`缩小范围)、**高效联接**(索引和限制数据量)以及**使用索引**(加速搜索)。此外,还探讨了如何避免N+1查询问题、使用分页限制结果、理解执行计划以及定期维护数据库健康。通过这些技巧,可以显著提升数据库性能,让查询更高效流畅。
|
11月前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
554 9
|
9月前
|
关系型数据库 分布式数据库 数据库
一库多能:阿里云PolarDB三大引擎、四种输出形态,覆盖企业数据库全场景
PolarDB是阿里云自研的新一代云原生数据库,提供极致弹性、高性能和海量存储。它包含三个版本:PolarDB-M(兼容MySQL)、PolarDB-PG(兼容PostgreSQL及Oracle语法)和PolarDB-X(分布式数据库)。支持公有云、专有云、DBStack及轻量版等多种形态,满足不同场景需求。2021年,PolarDB-PG与PolarDB-X开源,内核与商业版一致,推动国产数据库生态发展,同时兼容主流国产操作系统与芯片,获得权威安全认证。
|
6月前
|
存储 关系型数据库 分布式数据库
喜报|阿里云PolarDB数据库(分布式版)荣获国内首台(套)产品奖项
阿里云PolarDB数据库管理软件(分布式版)荣获「2024年度国内首版次软件」称号,并跻身《2024年度浙江省首台(套)推广应用典型案例》。
|
7月前
|
关系型数据库 分布式数据库 数据库
再获殊荣,阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
内存池化技术新突破,阿里云PolarDB蝉联SIGMOD最佳论文奖
|
4月前
|
Cloud Native 关系型数据库 MySQL
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
PolarDB-X 是阿里云推出的云原生分布式数据库,支持PB级存储扩展、高并发访问与数据强一致,助力企业实现MySQL平滑迁移。现已开放免费体验,点击即享高效、稳定的数据库升级方案。
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X