实时信息检索系统有什么用

  • Flink: 快速构建统一的实时日志平台

    本文围绕一个中型电商/互联网公司涉及到日志的复杂系统运维、业务运营问题,使用Flink+Kafka+HBase+ES四套系统,告诉读者如何在一家中型互联网公司里面快速构建一套实时日志平台。 背景 最近在维护一个日志的项目,这个项目是负责收集、处理、存储、查询商家相关操作的日志,我们这里就叫...

    文章 jasonli4 2018-09-05 6143浏览量

  • 何做一次Elasticsearch技术分享?

    1、可视化展示ELK效果 如果条件允许:demo的内容是:通过logstash 同步日志或数据库(oracle、mysql)表的数据到 Elasticsearch,然后通过kibana进行可视化。 通过Canvas对数据进行可视化布局与展现,可以实现非常酷炫的大屏展示效果 展示实时数据的数据量...

    文章 开发者社区 2019-07-01 1041浏览量

  • 阿里云安骑士性能特点与使用场景!

    阿里云安骑士是什么?有什么作用?对阿里云云盾产品有一定了解的运维都知道,阿里云安骑士是一款服务器安全运维的管理产品。主要作用可以实时感知云服务器ECS防御和入侵事件,达到实时保障服务器的安全。 什么是安骑士? 安骑士是一款经受百万级主机稳定性考验的主机安全加固产品,拥有自动化实时入侵威胁检测、...

    文章 Zhoukaiyu 2020-10-05 247浏览量

  • 阿里云试用中心,为您提供0门槛上云实践机会!

    0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

    广告

  • 阿里云安骑士性能特点与使用场景!

    阿里云安骑士是什么?有什么作用?对阿里云云盾产品有一定了解的运维都知道,阿里云安骑士是一款服务器安全运维的管理产品。主要作用可以实时感知云服务器ECS防御和入侵事件,达到实时保障服务器的安全。 什么是安骑士? 安骑士是一款经受百万级主机稳定性考验的主机安全加固产品,拥有自动化实时入侵威胁检测、...

    文章 YunqiQi 2020-09-29 61浏览量

  • 阿里云安骑士性能特点与使用场景!

    阿里云安骑士是什么?有什么作用?对阿里云云盾产品有一定了解的运维都知道,阿里云安骑士是一款服务器安全运维的管理产品。主要作用可以实时感知云服务器ECS防御和入侵事件,达到实时保障服务器的安全。 什么是安骑士? 安骑士是一款经受百万级主机稳定性考验的主机安全加固产品,拥有自动化实时入侵威胁检测、...

    文章 YunqiQi 2020-09-18 51浏览量

  • 阿里云安骑士性能特点与使用场景!

    阿里云安骑士是什么?有什么作用?对阿里云云盾产品有一定了解的运维都知道,阿里云安骑士是一款服务器安全运维的管理产品。主要作用可以实时感知云服务器ECS防御和入侵事件,达到实时保障服务器的安全。 什么是安骑士? 安骑士是一款经受百万级主机稳定性考验的主机安全加固产品,拥有自动化实时入侵威胁检测、...

    文章 Yunzixun 2020-09-26 41浏览量

  • 基于 Flink 的超大规模在线实时反欺诈系统的建设与实践

    作者:关贺宇 在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中,某些中介机构会搜集大量的号并进行“养号”工作,即在一年周期里让这些号形成正常的消费、通讯记录,目的是将这些号“培养”得非常健康,然后卖给有欺诈意向的用户。这类用户通过网上信息提交审核,骗到贷款后就“...

    文章 阿里云实时计算Flink 2020-03-02 852浏览量

  • 基于 Flink 的超大规模在线实时反欺诈系统的建设与实践

    作者:关贺宇 在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中,某些中介机构会搜集大量的号并进行“养号”工作,即在一年周期里让这些号形成正常的消费、通讯记录,目的是将这些号“培养”得非常健康,然后卖给有欺诈意向的用户。这类用户通过网上信息提交审核,骗到贷款后就“...

    文章 阿里云实时计算Flink 2020-03-02 652浏览量

  • Hologres+MaxCompute数据仓库服务化详解

    点击免费下载《实时数仓技术入门一本通》>>> 也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 下载 一、传统数据库痛点  传统的数据仓库开发方式,比如在一些用户行为的分析,点击流的分析场景,一般来说是通过...

    文章 May-Hologres 2020-11-26 216浏览量

  • Facebook的实时流处理技术——Scuba是Facebook的一个非常快速、分布式的内存数据库,用于实时分析和查询

    Scuba,Facebook的一个非常快速、分布式的内存数据库,用于实时分析和查询。是Facebook的回归分析代码、错误报告监控、广告收入监控和性能调试的背后主力。 Facebook的实时流处理技术 随着云计算大数据的发展,有越来越多的场景需要借助于实时数据处理技术,为此有很多公司开发了自己...

    文章 桃子红了呐 2017-11-15 1289浏览量

  • Elasticsearch 场景化检索及全观测运维解决方案

    本课程讲师 : 沐泽 — 阿里巴巴 Elasticsearch 产品经理如果你想收看完整视频,请点击《飞天大数据产品价值解读 — 全文检索引擎 Elasticsearch》 一、关于 Elasticsearch Elasticsearch是一个开源的信息检索、分析引擎,它能够支持全文检索,结构化搜...

    文章 工程师甲 2020-08-18 430浏览量

  • 监控和日志

    为什么监控和日志很重要? 监控(Monitoring)和日志(Logging)是大型分布式系统中最关键的基础设施(infrastructure)之一,因为没有监控,就没办法知晓服务的运行情况,就没办法知道集群中有没有Down机,机器的CPU使用率、负载是否正常,网站的Traffic是否正常,服务的...

    文章 ali-frank 2014-05-14 1439浏览量

  • 《HBase企业应用开发实战》—— 1.5 HBase的使用场景和经典案例

    本节书摘来自华章出版社《HBase企业应用开发实战》一 书中的第1章,第1.5节,作者:马延辉 孟鑫 李立松 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.5 HBase的使用场景和经典案例 了解软件产品的最好方法是如何使用,解决什么问题以及如何适用于大型应用架构。接下来的内容将详...

    文章 华章计算机 2017-07-03 4187浏览量

  • 系列文章:Kubernetes日志方案设计思路

    上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入,会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。 需求驱动架构设计 技术架构,...

    文章 元乙 2019-11-13 1499浏览量

  • 大数据中心在医院的落地,需如何去做集成融合与利用

    大数据与AI时代的到来,近些年医院信息中心的工作人员非常关注一个问题:首先是医院有哪些数据应用已落地,其次是如果要想落地,医院信息中心应该怎么做融合和集成? 雷锋网了解到,通常情况下,医院信息系统应用可汇总为四大主线:服务患者系统、服务临床系统、服务医技系统、运营管理系统。 这四大主线可做很多数...

    文章 玄学酱 2017-10-25 1139浏览量

  • Facebook的实时流处理技术

    随着云计算大数据的发展,有越来越多的场景需要借助于实时数据处理技术,为此有很多公司开发了自己的实时处理系统,Facebook就是其中的一员,他们构建的实时数据处理生态系统每秒钟能够处理数百GB的数据。本文介绍了Facebook在设计该系统时从易用性、性能、容错、可伸缩性以及正确性等方面考虑所做的重...

    文章 玄学酱 2017-07-05 955浏览量

  • 一文看懂 K8s 日志系统设计和实践

    作者 | 元乙  阿里云存储服务技术专家 导读:上一篇文章《6 个 K8s 日志系统建设中的典型问题,你遇到过几个?》中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生背景下日志系统的建设难点,相信 DevOps、SRE、运维等同学看了之后深有体会。本篇文章单刀直入,会...

    文章 阿里巴巴云原生小助手 2019-11-20 2937浏览量

  • 如何快速实现高并发短文检索

    一、需求缘起 某并发量很大,数据量适中的业务线需要实现一个“标题检索”的功能: (1)并发量较大,每秒20w次 (2)数据量适中,大概200w数据 (3)是否需要分词:是 (4)数据是否实时更新:否 二、常见潜在解决方案及优劣 (1)数据库搜索法 具体方法:将标题数据存放在数据库中,使用like来...

    文章 初商 2019-08-12 372浏览量

  • “搜索”的原理,架构,实现,实践,面试不用再怕了(值得收藏)!!!

    可能99%的同学不做搜索引擎,但99%的同学一定实现过检索功能。搜索,检索,这里面到底包含哪些技术的东西,希望本文能够给大家一些启示。 全网搜索引擎架构与流程如何? 全网搜索引擎的宏观架构如上图,核心子系统主要分为三部分(粉色部分): (1)spider爬虫系统; (2)search&i...

    文章 初商 2019-08-08 799浏览量

  • 日志和实时流计算处理

    到目前为止,我还仅仅只是描述了一些把数据从一个地方拷贝到其他地方的多种的方法。然而,在存储系统间挪动字节并不是故事的结尾。实际上我们发现,“日志”是“流”的另外一种说法,而日志(的处理)是流计算处理的核心。 但是先等一下,到底什么是流计算处理? 如果你是上世纪九十年代末和二十一世纪初的数据库或者数...

    文章 小旋风柴进 2017-05-26 1337浏览量

  • 【ATF】钱正平:大规模实时计算及其在阿里的应用与创新

    2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献。阿里巴巴集团技术委员会主席王坚,阿里巴巴集团首席技术官(CTO)张建锋(花名:行癫),阿里巴巴集团首席风险官(CRO)刘振飞(花名:振飞),蚂蚁金服首席技术官(CTO)程立(花名:鲁肃)以及来自阿里巴巴集团...

    文章 云篆 2016-04-16 5964浏览量

  • LinkedIn前数据专家解读日志与实时流处理

    编者注:本内容来自Jay Kreps所著的《我喜爱日志:事件数据、流计算处理和数据集成》一书的第三章。Jay Kreps是Confluent的联合创始人和CEO。在此之前,Jay是领英的主要架构师之一,专注于数据基础架构和数据驱动的产品。他是多个可扩展的数据系统空间的开源项目的作者之一,包括Vol...

    文章 小旋风柴进 2017-05-02 1138浏览量

  • “搜索”的原理,架构,实现,实践,面试不用再怕了(值得收藏)!!!

    全网搜索引擎架构与流程如何? 全网搜索引擎的宏观架构如上图,核心子系统主要分为三部分(粉色部分): (1)spider爬虫系统; (2)search&index建立索引与查询索引系统,这个系统又主要分为两部分: 一部分用于生成索引数据build_index 一部分用于查询索引数据sear...

    文章 云起君 2020-02-05 358浏览量

  • 从 Storm 迁移到 Flink,美团外卖实时数仓建设实践

    作者:朱良 本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。 在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易于开发、易于...

    文章 阿里云实时计算Flink 2020-10-21 4576浏览量

  • 美团外卖实时数仓建设实践

    作者:朱良 本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。 在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易于开发、易于...

    文章 开发者小助手 2020-11-17 79浏览量

  • 一种基于Lucene的实时搜索服务

    因为本文篇幅有限,在这里我只会着重介绍:实时性、高可用性在我们产品中的一些技术实践。实时解决方案在介绍我们产品方案之前,首先介绍下业内常见的实时解决方案,见图1-1实时架构图:图1-1该方案一般是由: 内存索引(Ram-IndexA)负责数据更新。 内存索引(Ram-IndexA)...

    文章 柳明-洪震 2018-01-26 5121浏览量

  • 电商平台实战经验:电商中的Hadoop生态系统应用

    技术交流和面试其实有些共通性,比如经常会有类似问题: 如何做到高可用的? 访问峰值达到什么量级? 系统如何撑住的? 高并发下数据一致性如何保证? 如何进行性能优化? 使用了什么新技术? 等等。 实际上如果大家对高可用、高并发、高性能的系统设计有兴趣,从这方面有很多部分可以谈:从硬件到软件、从程序...

    文章 jurassic_1 2016-07-28 3621浏览量

  • Flink在美团的实践与应用

    作者: 刘迪珊导读:本文整理自8月11日在北京举行的Flink Meetup,分享嘉宾刘迪珊(2015年加入美团数据平台。致力于打造高效、易用的实时计算平台,探索不同场景下实时应用的企业级解决方案及统⼀化服务)。 美团实时计算平台现状和背景 实时平台架构 01.jpg 上图呈现的是当前美团实时计算...

    文章 赵慧 2018-10-15 981浏览量

  • Flink在美团的实践与应用

    作者: 刘迪珊导读:本文整理自8月11日在北京举行的Flink Meetup,分享嘉宾刘迪珊(2015年加入美团数据平台。致力于打造高效、易用的实时计算平台,探索不同场景下实时应用的企业级解决方案及统⼀化服务)。 美团实时计算平台现状和背景 实时平台架构 上图呈现的是当前美团实时计算平台的简要架...

    文章 赵慧 2018-10-15 2170浏览量

  • Flink在美团的实践与应用

    作者: 刘迪珊 本文整理自8月11日在北京举行的Flink Meetup,分享嘉宾刘迪珊(2015年加入美团数据平台。致力于打造高效、易用的实时计算平台,探索不同场景下实时应用的企业级解决方案及统⼀化服务)。 美团实时计算平台现状和背景 实时平台架构 上图呈现的是当前美团实时计算平台的简要架构。...

    文章 Ververica 2019-04-26 1003浏览量

1 2 3 4 ... 15 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板