• DB 与 Elasticsearch 混合之应用系统场景分析探讨

    2)一个大中型业务系统,不同的业务场景会采用不同的数据存储系统;3)关系型数据库多样化,如 A 项目采用 MySQL,B 项目采用 PostgreSQL,C 项目选用 SQLServer,业务系统通用型的查询几乎不能实现;4)非关系型...
    文章 2020-05-28 5395浏览量
  • Hadoop 集群搭建之机器选购

    硬盘容量敏感型业务 这类业务对读写延迟以及吞吐量都没有很大的要求,唯一的需要就是硬盘容量。比如大多数离线读写分析业务,上层应用一般每隔一段时间批量写入大量数据,然后读取也是定期批量读取大量数据。特点:...
    文章 2017-08-07 1101浏览量
  • 消息队列事务消息原理浅析

    在分布式系统架构中,尤其是金融级业务应用的解决方案设计中,消息队列提供“事务消息”特性是必不可少的,“数据一致性”是金融级分布式架构的基本要求,本文通过实例逐步说明消息队列产品支持“事务消息”的...
    文章 2019-08-03 568浏览量
  • 30亿日志,检索+分页+后台展示,你是否遇到过更奇葩的...

    二、检索问题日志格式固定,检索条件固定,如果用关系数据库或者Hive存储,可以在相关字段上建立索引,来满足查询需求。如果用ES来存储,其内部用倒排表实现,天然支持检索。三、扩展性问题 数据量扩展不管用...
    文章 2020-02-06 325浏览量
  • 1万属性,100亿数据,每秒10万吞吐,架构如何设计?

    画外音:这里说的是平台型业务。如何将不同品类,异构的数据统一存储起来呢?(1)全品类通用属性统一存储;(2)单品类特有属性,品类类型与通用属性json来进行存储;更具体的: tiezi(tid,uid,time,title,cate,...
    文章 2020-02-05 963浏览量
  • 探究|Elasticsearch 与传统数据库界限

    什么 Elasticsearch/Lucene 检索可以比 mysql 快&xff1f;Mysq 的分词词典&xff08;term dictionary&xff09;是以 b-tree 排序的方式存储在磁盘上的。检索一个 term 需要若干次的随机访问磁盘操作。而 Lucene 在分词词典...
    文章 2021-11-10 16浏览量
  • 蚂蚁金服:消息队列事务消息原理浅析

    在分布式系统架构中,尤其是金融级业务应用的解决方案设计中,消息队列提供“事务消息”特性是必不可少的,“数据一致性”是金融级分布式架构的基本要求,本文通过实例逐步说明消息队列产品支持“事务消息”的...
    文章 2018-05-23 4904浏览量
  • 阿里巴巴淘系开源首个多模态直播服饰检索数据集

    为了保证选手算法既能快速迭代又能有效赋能线上真实业务,我们在初赛、复赛和决赛的赛题中逐步引导选手从技术贴近业务,其中,初赛为万级视频片段的检索问题,复赛则加入了真实场景中存在的商品缺失问题,决赛则是将...
    文章 2020-09-16 771浏览量
  • 干货|Elasticsearch多表关联设计指南

    对应于官方文档中的“Data denormalization”,官方直接翻译为:“非规范化你的数据”,总感觉规范化是什么鬼,不好理解。通俗解释就是:冗余存储,对每个文档保持一定数量的冗余数据可以在需要访问时避免进行关联。...
    文章 2019-07-02 1668浏览量
  • 智能推荐:“相关性搜索”只给你最想要的

    相关性需求多种多样,有时候用户甚至有可能还没有意识到自己的需求是什么,但是开发者却必须通过各种方法,挖掘出其真实需求,迎接业务带来的挑战。信息检索与相关性 那么,搜索的相关性有系统性的基础和通用的工程...
    文章 2017-10-27 2522浏览量
  • Elasticsearch 场景化检索及全观测运维介绍

    下面我们从电商零售行业的订单检索出发,来看下检索方面客户的技术和业务什么问题。在电商、零售行业,交易订单作为整个系统的“纽带”贯穿了整个系统的关键流程,承载着所有购买信息与支付信息。随着电商新零售...
    文章 2020-08-18 1090浏览量
  • 日志收集的“DNA”

    检索型业务日志是建设的重点,需要对日志输出组件进行二次开发和定制,配合完成。以下是一个可能的外观接口。输出携带参数的日志,参数为偶数,将会对其进行key,value配对。LogMe.out("title","remark aa",...
    文章 2020-04-13 393浏览量
  • 何做一次Elasticsearch技术分享?

    3、Elasticsearch 是什么?展示的过程中:可以通过kibana的dsl进行展开的讲解。注意例子:可以提前准备好,规划好时间,不用现场敲代码.此时可以借助head插件或者kibama-dev讲解: 3.1 Elasticsearch的组成 如果是...
    文章 2019-07-01 1228浏览量
  • 【客户案例】用户点击率提升57%?...

    基于对大量客户的真实分析,从客户IT背景出发基于案例分析,来给大家分享为什么我们选择智能推荐和开放搜索作为服务于企业技术架构的核心层,并介绍在集成过程中,这两个服务的定位是什么。(图一) 图一是我们服务...
    文章 2019-11-15 3213浏览量
  • 关于大型网站数据库的讨论

    他所描述的,实际上是关系数据库,数据量恶性增长,并且新业务不断添加之后造成的恶果。关系数据库,顾名思义,主要存储关系,换而言之,它是作为通用性数据库推出的,因此,设计时,面面俱到,功能很完善,但...
    文章 2017-11-24 980浏览量
  • Elasticsearch 既是搜索引擎又是数据库?...

    Elasticsearch 是什么,不同的人有不同的理解定位,之前写过 Elasticsearch 对比其它数据产品的文章《Elasticsearch 对垒8大竞品技术,孰优孰劣?看了文章下面的评论,很多人定位它是搜索引擎,我觉得也很片面,下面...
    文章 2020-08-24 5217浏览量
  • 独家下载|《Elasticsearch 八大经典应用》独享大咖...

    如何通过向量检索,玩转29大业务场景?通过阅读本书,读者可以深入了解其中的原理。Elasticsearch,不仅是目前最流行的开源搜索引擎,同时在2020 DB-engine 流行数据库排名中,排第七。其中实时的大数据检索/分析...
    文章 2020-08-26 38543浏览量
  • 干货|Elasticsearch多表关联设计指南

    总感觉规范化是什么鬼&xff0c;不好理解。通俗解释就是&xff1a;冗余存储&xff0c;对每个文档保持一定数量的冗余数据可以在需要访问时避免进行关联。这点通过logstash 同步关联数据到ES时&xff0c;通常会建议&xff1a;先通过...
    文章 2021-11-10 8浏览量
  • 什么是阿里云智能媒体管理

    为云上文档、图片数据,提供一站式数据处理、分析、检索等管控体验。针对不同的业务场景,封装整合完整的处理能力,让数据快速流转。目前支持如下场景实例: 文档标准。把文档相关的格式转换、预览整合,让你快速...
    文章 2020-05-18 549浏览量
  • 死磕 Elasticsearch 方法论:普通程序员高效精进的 10...

    小结通过以上的介绍,我们对 ELK Stack 中的核心成员:Elasticsearch、Logstash、Kibana、Beats 是什么以及能干什么有了相对一致的认知。海量的版本中,告诉你明确的选择ELK 历史版本更迭Elasticsearch 于2010年提交...
    文章 2018-12-14 3643浏览量
  • 数据中台模型设计系列(一):维度建模初探

    操作型业务系统对于这个概念大家都不陌生。企业业务赖以运转的交易系统就属于操作型业务系统。因此它是为了保障业务正常运转,能够更快的处理事务。但是因为它是针对某一特定的意图(例如满足交易业务),它不需要...
    文章 2020-06-29 2020浏览量
  • “搜索”的原理,架构,实现,实践,面试不用再怕了...

    检索的过程是什么样的?假设搜索词是“我爱”: (1)分词,“我爱”会分词为{我,爱},时间复杂度为O(1);(2)每个分词后的item,从倒排索引查询包含这个item的网页list,时间复杂度也是O(1): 我->{url1,url2}...
    文章 2019-08-08 941浏览量
  • 人类河流文明-数据的流动与生态的重要性

    例如业务有多个OLTP数据库(例如本文提到的PostgreSQL、MySQL等),通过本文提到的方法,可以将数据实时的写入到分析的数据库(例如RDS PostgreSQL,HybridDB for PostgreSQL)。分析人员可以在分析库中看到延迟较...
    文章 2017-07-06 2339浏览量
  • 100亿数据1万属性数据架构设计

    每个业务有多少属性,这些属性是什么含义,值的约束等揉不到帖子服务里,怎么办呢?58同城的先贤们抽象出一个统一的类目、属性服务,单独来管理这些信息,而帖子库ext字段里json的key,统一由数字来表示,减少存储...
    文章 2019-08-14 933浏览量
  • “搜索”的原理,架构,实现,实践,面试不用再怕了...

    检索的过程是什么样的?假设搜索词是“我爱”: (1)分词,“我爱”会分词为{我,爱},时间复杂度为O(1);(2)每个分词后的item,从倒排索引查询包含这个item的网页list,时间复杂度也是O(1): 我->{url1,url2}...
    文章 2020-02-05 805浏览量
  • 论 mysql 主键

    ②自动编号主键 这种方法也是很多朋友在使用的,就是新建一个ID字段,自动增长,非常方便也满足主键的原则,优点是:数据库自动编号,速度快,而且是增量增长,聚集主键按顺序存放,对于检索非常有利;数字的,...
    文章 2013-01-09 944浏览量
  • 如何做一次Elasticsearch技术分享?

    3、Elasticsearch 是什么&xff1f;展示的过程中&xff1a;可以通过kibana的dsl进行展开的讲解。注意例子&xff1a;可以提前准备好&xff0c;规划好时间&xff0c;不用现场敲代码.此时可以借助head插件或者kibama-dev讲解&xff1a;3.1...
    文章 2021-11-10 23浏览量
  • 基于Lindorm的大数据用户画像解决方案

    经实际场景验证,新的压缩优化下,压缩比相对于LZO有非常显著的提高,存储节省可以达到50%~100%,对于存储型业务,这就意味着最高可以达到50%的成本减少。冷热分离Lindorm具备在单一个存储架构下的“一张表”内实现...
    文章 2020-10-26 3748浏览量
  • SOA在美国和中国的差异

    那么,在SCA/SDO规范出台之后,SOA的中国路线图应该是什么样的?对于中国的电信、金融等IT建设领先的领域,已经有了一些老应用系统,我们认为: 1.对于功能容易切分的老系统,例如可能是采购了SAP/Oracle的套装软件...
    文章 2017-11-15 1002浏览量
  • HBase最佳实践-集群规划

    因此一个集群理论上资源利用率比较高效的配置为:硬盘敏感型业务+带宽敏感型业务+IO敏感型业务。另外,集群业务规划的时候除了考虑资源使用率最大化这个问题之外,还需要考虑实际运维的需求。建议将核心业务和非...
    文章 2017-08-01 1853浏览量
1 2 3 4 ... 28 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化