• 数据仓库、数据湖、流批一体,终于有大神讲清楚了!

    存储优化:能够定制查询引擎,但是对存储在Hologres数据查询性能会更优。4.3 基于Hologres的典型应用 下面给大家介绍一下,Hologres在阿里巴巴内部的一个典型应用。数据实时写入至Flink,经由Flink实时预处理,...
    文章 2020-05-14 1769浏览量
  • 数据仓库、数据湖崛起后,下一个应该是什么

    存储优化:能够定制查询引擎,但是对存储在Hologres数据查询性能会更优。4.3 基于Hologres的典型应用 下面给大家介绍一下,Hologres在阿里巴巴内部的一个典型应用。数据实时写入至Flink,经由Flink实时预处理,...
    文章 2020-05-14 16251浏览量
  • 首席工程师揭秘:LinkedIn大数据后台是如何运作的

    我已经注意到,传统的数据库管理人员非常喜欢这样的视图,因为它最终解释了这些不同的数据系统到底是做什么用的–它们只是不同的索引类型而已。不可否认这类数据系统现在大量的出现,但是事实上,这种复杂性一直都...
    文章 2017-05-02 1137浏览量
  • 性能测试脚本分析学习

    今天继续学习了查询入库_入库完全收货脚本录制。前提:入库收货页面存在大数据量,是几十万条数据,不输入查询条件默认是...去理解对应到系统的是做什么操作 最新内容请见作者的GitHub页:http://qaseven.github.io/
    文章 2017-07-03 949浏览量
  • 开源大数据的过去、现在及未来

    最后一个环节要说的是查询环节,查询环节目前是最大的一个环节,而且是最先进的一种数据查询。这种查询技术的目的就是为了快速,我们如何来利用查询技术呢?我们要输入一个查询的命令,然后把这个命令进行处理,把...
    文章 2017-07-05 1231浏览量
  • 数据的下一站是什么?服务/分析一体化(HSAP)

    HSAP 架构通过统一的实时存储,数据无需复制就能一站式提供简单查询、OLAP 分析、在线数据服务等多样化的数据查询和应用服务,满足数据应用方的访问和接入需求。这种新架构大大地降低了业务的复杂度,让我们能够快速...
    文章 2020-06-12 713浏览量
  • 从小数据分析到大数据平台,这十几年来大数据开源技术...

    最后一个环节要说的是查询环节,查询环节目前是最大的一个环节,而且是最先进的一种数据查询。这种查询技术的目的就是为了快速,我们如何来利用查询技术呢?我们要输入一个查询的命令,然后把这个命令进行处理,把...
    文章 2017-07-05 1197浏览量
  • 使用Elasticsearch,Kafka和Cassandra构建流式数据中心

    尽管Elasticsearch本身可以做一些日志和事件分析,我们仍然还需要一个处理引擎。因为: 我们需要一个统一的方式来访问事件和指标,包括实时或历史的数据。对于某些情况(监控、报警),当它发生时,我们需要实时处理...
    文章 2015-12-03 4065浏览量
  • 数据的下一站是什么?服务/分析一体化(HSAP)

    HSAP 架构通过统一的实时存储,数据无需复制就能一站式提供简单查询、OLAP 分析、在线数据服务等多样化的数据查询和应用服务,满足数据应用方的访问和接入需求。这种新架构大大地降低了业务的复杂度,让我们能够快速...
    文章 2020-06-12 7877浏览量
  • 实时数仓入门训练营:实时数仓助力互联网实时决策和...

    所以这种情况下,全部提前预计算的方式肯定是不适合的,需要有更多的明细数据能够存下来,我们可以做更多的交互式分析、关联分析、探索式分析,所以说这两套系统背后的需求是不一样的。相对来说,我觉得绝大部分公司...
    文章 2021-07-14 1410浏览量
  • 什么是列式存储,一文秒懂

    因为数据,大数据数据分析,也就是 OLAP(Online Analytical Processing)在线分析系统的需求增多了,数据写入的事务和按记录查询数据都不是它的关注点,它关注的是数据过滤,统计。列存储 同样是上面的示例数据,...
    文章 2020-04-09 1084浏览量
  • 数据的下一站是什么?服务/分析一体化(HSAP)

    HSAP 架构通过统一的实时存储,数据无需复制就能一站式提供简单查询、OLAP 分析、在线数据服务等多样化的数据查询和应用服务,满足数据应用方的访问和接入需求。这种新架构大大地降低了业务的复杂度,让我们能够快速...
    文章 2020-06-30 3203浏览量
  • EMR Druid 探索(一)

    这些场景的特点都是拥有大量的数据,且对数据查询的时延要求非常高。例如在广告程序化交易中,广告平台的出价策略来源于广告流量数据的分析,整个过程要求实时,因为市场变动很快,根据第一天的流量计算第二天的出价...
    文章 2018-06-01 3557浏览量
  • How to beat the CAP theorem

    这个方程里面有两个关键概念:数据查询。这两个完全不同的概念经常被混为一谈,所以下面来看看这两个概念究竟是什么意思。数据 关于“数据”有两个关键的性质。首先,数据是跟时间相关的,一个真实的数据一定是在...
    文章 2017-05-02 1652浏览量
  • 数据库实例性能调优利器-Performance Insights最佳...

    因此,我们可以用RDS数据系统中,平均活跃会话(AAS)数与MaxVcores数的量化对比,做为判定系统是否存在瓶颈的重要依据。Performance Insights能做什么 阿里云RDS Performance Insights能够帮助我们的用户快速方便...
    文章 2019-09-10 4085浏览量
  • 一目了然|数据库实例性能调优利器:Performance ...

    因此,我们可以用RDS数据系统中,平均活跃会话(AAS)数与MaxVcores数的量化对比,做为判定系统是否存在瓶颈的重要依据。Performance Insights能做什么 阿里云RDS Performance Insights能够帮助我们的用户快速方便...
    文章 2019-09-25 7401浏览量
  • DB 与 Elasticsearch 混合之应用系统场景分析探讨

    分库分表解决了数据的存储问题,但需要合并查询却是个很麻烦的事,业务系统查询条件一般是动态的,无法固定,更加不可能在分库分表时按照所有动态条件设计,这似乎代价太大。一般会选择更强大的查询数据库,比如...
    文章 2020-05-28 5138浏览量
  • [喵咪BELK实战(1)]浅谈日志的重要性以及介绍BELK

    当我们了解了日志系统可以帮我们解决什么问题之后,接着就是需要搭建一个日志系统了,我们今天的主角登场了: 大家通过如上图可以明确的了解BELK分别是做什么的它们是怎么协同工作的,让我们来研究它们分别是什么?2.1 ...
    文章 2020-08-11 142浏览量
  • 火车票订票系统的几点优化思考

    做主从库,将非关键性数据查询放到从库上 提取计算规则比较复杂的逻辑放到timesten这类内存数据库上进行处理 根据业务系统拆分数据库,尽量不要将所有业务放到一个库中 2、cache层次 使用memcache之类的分布式cache...
    文章 2012-01-09 996浏览量
  • RDS CloudDBA-Performance Insights最佳实践

    因此,我们可以用RDS数据系统中,平均活跃会话(AAS)数与MaxVcores数的量化对比,做为判定系统是否存在瓶颈的重要依据。Performance Insights能做什么 阿里云RDS Performance Insights能够帮助我们的用户快速方便...
    文章 2019-07-08 910浏览量
  • 基于资源的权限系统-设计思路

    通用权限管理的主要的功能就是 授权 和 鉴权,其本质都是对权限数据(什么人对什么资源可以做什么动作)的管理。授权的难点在于给某人授与某个数据的权限之后,组织中其他关联人员可以计算出自己对这个数据的权限...
    文章 2017-10-18 1216浏览量
  • 基于”有限状态机模型“的链路分析设计

    笔者在做系统设计的时候,觉得事件+有限状态机,能够解决大部分的业务单据不同状态流转的问题,遂在原先系统设计的基础上做了抽象,如果你也遇到类似的问题,可以参考,基于这个可以做很多事情 已有的模型有哪些,...
    文章 2016-03-24 3999浏览量
  • Hologres+MaxCompute数据仓库服务化详解

    再另一侧,蓝色和黄色交界的部分也有一个场景,分析和服务也可以做成一个系统,也有它的适用场景: 统一实时、离线存储引擎 没有事务需求,减少针对事务场景的开销(锁、同步) 埋点数据、机器数据,比TP高数量级 为...
    文章 2020-11-26 9839浏览量
  • 关于一个系统应用是否使用多个数据源(连接池)的探讨

    答:查询系统的账号有可能有查询权限,也有可能有其他权限,这个东西视情况而定,比如在数据交换系统中,通常不会使用生产系统的数据库用户来做数据交换,通常会另外创建只有查询权限的用户,但是没有绝对的情况。...
    文章 2011-12-25 950浏览量
  • 数据中台】数据中台的由来

    如果需要对某个信息进行深度挖掘,但在系统中无法查询,需要用另一个系统去查,也就是说数据在各系统之间无法共享,导致效率低下。各系统之间还会有功能和数据的冲突,服务和应用的冲突。数据中台 为了解决这些问题...
    文章 2019-04-25 4941浏览量
  • DB2数据库应用系统性能优化深入探究

    4、选择数据类型 对每一属性选择什么样的数据类型很大程度上依据表的要求,但是在不违背表要求的前提下,选择适当的数据类型可以提高系统性能。比如有text列存放一本书的信息,用BLOB而不是character(1024),BLOB...
    文章 2017-07-03 1422浏览量
  • PreparedStatement与Statement

    如果还是用 PreparedStatement 同样的查询,哪怕参数值不一样,比如:”Standard Chated”或者”HSBC”作为参数值,数据系统还是会去调用之前编译器编译好的执行语句(系统系统初次会对查询语句最大的性能...
    文章 2015-06-09 1857浏览量
  • 灵活运用数据库主外键

    联机分析强调的是数据查询和整合分析,数据修改较少,而联机事务则强调数据修改较多,对数据一致性要求较高。这就对应着两个系统,一个系统对查询的性能要求很高,方便数据的可移植,一个系统对数据完整性和一致性...
    文章 2017-07-10 830浏览量
  • 高并发系统数据幂等的技术尝试

    还是拿插入数据的例子,如果是分布是系统,构建唯一索引比较困难,例如唯一性的字段没法确定,这时候可以引入分布式锁,通过第三方的系统,在业务系统插入数据或者更新数据,获取分布式锁,然后操作,之后释放锁,...
    文章 2016-03-24 3471浏览量
  • 用 Prometheus 来监控你的 Kubernetes 集群

    然后要考虑怎么存这些数据是最高效的,最后当我拿到了这些数据之后,我们需要用这些数据绘制监控图,那这个时候监控系统还是要提供一个查询的接口。这是我认为监控系统需要定义的一些东西。回到我们今天的主题,我们...
    文章 2018-12-14 1740浏览量
1 2 3 4 ... 248 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化