• 云原生之数据库:《数据库最佳实践_问题诊断》

    那如果表行数是1000w,分别在主键索引和非主键索引,以及全表扫描下IO消耗情况如何主键索引1000W对应的层高是3,带来了3次随机IO,非主键索引1000w对应的层高也是3层,但并不能获取到全部表的信息,还需要加上主键...
    文章 2020-06-24 414浏览量
  • 表格存储Tablestore-新手入门攻略

    如何设计主键顺序,满足业务查询需求 如果表设计完成,可以控制台中创建表:控制台创建表示例。入门篇三、基础数据的读写 在完成表设计,创建表以后既可以尝试写入数据。表格存储的读写接口都非常简单,可以简单分为...
    文章 2020-09-14 2456浏览量
  • 典型数据库架构设计与实践|架构师之路

    哈希法如上图:也是以用户中心的业务主键uid为划分依据,将数据水平切分到两个数据库实例上去: user-db1:存储uid取模得1的uid数据 user-db2:存储uid取模得0的uid数据 这两种方法在互联网都有使用,其中哈希法使用...
    文章 2019-08-11 738浏览量
  • C#数据操作系列-15 SqlSugar 增删改查详解

    2.2 高级法SqlSugar还有一种插入模式,通过AsInsertable返回一个 IInsertable泛型接口: public IInsertable AsInsertable(T insertObj);public IInsertable AsInsertable(T[]insertObjs);public IInsertable ...
    文章 2020-05-25 659浏览量
  • 用单库自增键来生成id了,后期怎么分库?...

    星球水友“写代码的”提问:沈老师,我们现在用户中心是单库单表,uid使用数据库自增主键,uid被很多业务关联,不能变化。现在用户中心数据量逐步变大,有分库需求了,如何由单库升级为多库,保持历史uid不变,并且...
    文章 2020-02-06 184浏览量
  • CYQ.Data 从入门到放弃ORM系列:开篇:自动化框架编程...

    就是在自定义查询语法,每家都在自己的花样,而且必须的与众不同,不然大伙都一个样,显示不出优越感。同时这种各式各样无厘头的查询语法糖,也浪费了不少开发人员的时间,因为学习的成本是要看一本书或一个从...
    文章 2017-07-03 1424浏览量
  • 上亿数据怎么深度分页?兼容MySQL+ES+MongoDB

    业务的角度来说,ElasticSearch不是典型的数据库,它是一个搜索引擎,如果在筛选条件下没有搜索出想要的数据,继续深度分页也不会找到想要的数据,退一步讲,假如我们把ES作为数据库来使用进行查询,在进行分页的...
    文章 2020-07-21 1023浏览量
  • 数据挖掘七步走

    接下来就是需要提取的字段,也就是数据挖掘的宽表,这点就要和企业的DBA人员多多交流,看数据库中各个维度的表格都有什么字段,主要关联的主键有那些,那么如何选取字段呢?这就需要自己把自己与“老大”共同讨论的...
    文章 2016-05-04 1413浏览量
  • 只需一步,DLA开启TableStore多元索引查询加速!

    转DLA+OTS:https://ots.console.aliyun.com/index#/demo/cn-hangzhou/dla王烨:DLA如何分析Table Store的数据 ​DLA控制台:https://openanalytics.console.aliyun.com/ 二、DLA与Table Store的密切配合 这是DLA...
    文章 2019-08-05 1264浏览量
  • 刚入职的数据分析师,上千数据指标,如何1周开发完?

    作为公司第一批Dataphin用户,小白也快速实现从代码搬砖到数据中台专家的转变——现在的他开始挖掘更多基于Dataphin转的数据开发场景,衍生原子指标、层级维度、虚拟维度、有主键事实表…… 好的,不说了,小白要...
    文章 2019-11-13 2126浏览量
  • 实战:从零开始搭建弹性应用

    Redis缓存等多种法。xff08;三&xff09;准备工作准备工作主要分为以下三个步骤&xff1a;1.购买Cassandra集群1&xff09;购买Cassandra云服务2&xff09;用户密码&xff1a;云Cassandra控制台->集群详情->账号管理页面3&xff...
    文章 2021-05-17 262浏览量
  • 分页与分库那些事儿(线上交流纪要)

    2)对于唯一主键,一般有三类需求: 全局唯一(强需求,必须满足)。全局趋势递增(有最好)。全局递增(比较难)。解决方案有这么几种: 数据库自增id,能够满足1,2,3,但性能差。数据库自增id+上游加一个服务,...
    文章 2019-08-12 712浏览量
  • 业界丨身为数据科学家怎么能不掌握这四大技能!

    知道如何在没有主键的情况下关联匹配数据 强大的数据专家能做的重要工作之一是:将可能没有主键或明显联系的数据集关联在一起。数据可以呈现人之间或业务之间的日常交互。能够在这些数据中找出统计模式,是数据科学...
    文章 2018-01-31 3545浏览量
  • MySQL复杂where条件分析

    在《MySQL 常见语句加锁分析》一文中,我们详细讲解了 SQL 语句的加锁原理并具体分析了大部分的简单 SQL 语句,但是实际业务场景中 SQL 语句往往及其复杂,包含多个条件,此时就需要具体分析SQL 使用到的索引,并...
    文章 2020-08-31 1162浏览量
  • 菜鸟积分系统稳定性建设-分库分表&百亿级数据迁移

    随着菜鸟C端业务快速增长,服务消费者已经过3亿+,对于消费者阵地也从查、取、寄开始慢慢扩展到、购。主要是裹酱商城以及各个业务线多种多样的活动,这些活动包含了停留、任务、开奖、分享、签到、助力、兑换、...
    文章 2021-09-13 473浏览量
  • 分布式ID生成器|架构师之路

    可用性难以保证:数据库常见架构是一主多从+读写分离,生成自增ID是写请求,主库挂了就不转了 扩展性差,性能有上限:因为写入是单点,数据库主库的写性能决定ID的生成性能上限,并且难以扩展 改进方法: 冗余主库...
    文章 2019-08-11 749浏览量
  • 只需一步,DLA开启TableStore多元索引查询加速!

    转DLA&43;OTS&xff1a;https://ots.console.aliyun.com/index#/demo/cn-hangzhou/dla 王烨&xff1a;DLA如何分析Table Store的数据​zhuanlan.zhihu.com DLA控制台&xff1a;https://openanalytics.console.aliyun.com/ 二...
    文章 2019-08-05 182浏览量
  • 2018|七月日记

    business 的业务就像秒杀活动的业务、团购活动业务,这些都是一些business模块,他们可以对接到service的主干平台系统中,也可以在不什么推广活动,就能随时把他们卸载下来。当然,世事无绝对的划分,有时我们也会...
    文章 2018-08-02 1553浏览量
  • 每个数据科学家都应该学习4个必备技能

    2.指导如何在没有主键的情况下将数据网格化 厉害的数据专家应该提供的重要价值之一是将可能不具有主要或明显联系的数据集捆绑在一起。如果数据科学家有能力在这些数据中查找统计模式,那么他将有能力帮助决策者做出...
    文章 2018-01-12 6266浏览量
  • 【七天转Redis实战营】答疑汇总Day6 Redis的高并发...

    张鹏 同学1.zset 和 hash 的配合使用zset 存储主键 key 和分数&xff0c;然后 key 用 hash,这样容量和缓存占比应该是最小的。但是问题是批量查询&xff0c;zset 是有一个还是很多个&xff0c;如果是一个&xff0c;要小心成为热点...
    文章 2021-03-24 208浏览量
  • 钱大妈数据中台建设最佳实践

    但是它们在大数据的体系化方面又各有各的法。琳琅满目的大数据组件组合方案&xff1a;本着以业务为导向的原则&xff0c;我们希望整个架构易于运维管理&xff0c;功能性尽可能统一&xff0c;以便将更多的精力和时间用在业务思考...
    文章 2021-09-24 1670浏览量
  • 水平分库分表的关键步骤和技术难点

    在之前的文章中,我介绍了分库分表的几种表现形式和法,也重点介绍了垂直分库所带来的问题和解决方法。本篇中,我们将继续聊聊水平分库分表的一些技巧。分片技术的由来 关系型数据库本身比较容易成为系统性能瓶颈...
    文章 2016-11-17 1613浏览量
  • 纯键盘开发实战(Mouseless Programming)

    纯键盘开发的目的是效率,不要为了纯键盘而纯键盘,就像很多人投入太多精力研究Vim或者Emacs一样,其实说到底它只是一个编辑器,没必要花费太多的精力在上面,的再溜又如何,能帮你升职加薪吗,能解决实际业务问题...
    文章 2018-05-10 1773浏览量
  • 纯键盘开发实战(Mouseless Programming)

    纯键盘开发的目的是效率,不要为了纯键盘而纯键盘,就像很多人投入太多精力研究Vim或者Emacs一样,其实说到底它只是一个编辑器,没必要花费太多的精力在上面,的再溜又如何,能帮你升职加薪吗,能解决实际业务问题...
    文章 2018-05-11 1668浏览量
  • 分布式锁的实现

    数据库的lock表,lock_name是主键,通过for update操作,数据库就会对该行记录加上record lock,从而阻塞其他人对该记录的操作。一旦获取到了锁,就可以开始执行业务逻辑,最后通过connection.commit()操作来释放锁。...
    文章 2016-09-18 27470浏览量
  • 分库分表的几种常见法及如何解决跨库查询等问题

    最常见的方式就是通过主键或者时间等字段进行Hash和取模后拆分。如下图所示: 小结 水平分表,能够降低单表的数据量,一定程度上可以缓解查询性能瓶颈。但本质上这些表还保存在同一个库中,所以库级别还是会有IO瓶颈...
    文章 2016-11-17 2834浏览量
  • 如何基于日志,同步实现数据的一致性和实时抽取?

    数据的人都知道数据是非常有价值的,然后这些数据是保存在各个系统的数据库中,如何让需要数据的使用方得到一致性、实时的数据呢?过去的通用做法有几种,分别是: DBA开放各个系统的备库,在业务低峰期(比如夜间...
    文章 2019-07-22 1458浏览量
  • 存的起,看得见—云原生多模数据库Lindorm技术解析

    然而,现代应用场景的法和功能越来越丰富,除了高扩展、低延时、高可用、低成本等核心需求之外,简单分析、多维检索等高级数据处理正在成为越来越多应用的基本需求。为此,我们看到lindorm之上的用户,通常会有两...
    文章 2020-10-22 2614浏览量
  • 如何选择分布式事务解决方案?

    假如国庆节小明要出去,从北京出发,先去伦敦,在伦敦游玩三天,再去巴黎,在巴黎游玩三天,然后再返回北京。整个行程中涉及不同航空公司的机票预订以及伦敦和巴黎当地的酒店预订,小明的计划是如果任何...
    文章 2020-05-28 2109浏览量
  • 如何基于日志,同步实现数据的一致性和实时抽取?

    数据的人都知道数据是非常有价值的,然后这些数据是保存在各个系统的数据库中,如何让需要数据的使用方得到一致性、实时的数据呢?过去的通用做法有几种是: DBA开放各个系统的备库,在业务低峰期(比如夜间),...
    文章 2017-05-11 3748浏览量
1 2 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化