• 网易云音乐基于 Flink+Kafka 的实时数仓建设实践

    针对上面两个问题,我们做了一个 Kafka 监控系统,其监控分为如下两个维度,这样在出现异常的时候就可以进行具体判断出现问题的详细情况: 集群概况的监控:可以看到不同集群对应的 Topic 数量以及运行任务数量,...
    文章 2020-11-02 11526浏览量
  • 作为互联网流量入口,CDN日志大数据你该怎么玩?

    那么针对于需要对CDN的日志进行实时分析、处理及归档等操作的用户来说,就会出现对于线上问题排查的不及时、CDN服务性能无法实时把握,遇到问题的灾备方案对客户端有感等问题。综上所述,更实时地、详细地关注和分析...
    文章 2018-12-19 1745浏览量
  • 大咖直播第五期问答整理:小咖秀张华伟讲解千万级用户...

    php代码放到内存中出现问题怎么解决 请问,你们说的读写分离是怎样实现的 系统设计:作为系统架构师,系统设计中最重要的一点 小咖秀没有大数据分析上的部署么 小咖秀后台是用PHP的?消息队列 服务化后模块之间的...
    文章 2016-05-06 2821浏览量
  • 让天下没有难用的搜索:阿里搜索如何成长为贴心“暖男...

    对于在线决策方面的问题,我们进行了策略空间的最优化探索,分别尝试了引入delay reward的强化学习技术,即在搜索中采用强化学习(ReinforcementLearning)方法对商品排序进行实时调控优化。我们把搜索引擎看作智能...
    文章 2018-11-16 2087浏览量
  • 云原生HSAP系统Hologres产品价值解读

    发现问题后需要排查数据合并、实时计算、离线层、甚至数据采集等环节是否出现问题,过程复杂,导致数据修订和补数周期长。同时,一份数据需要在离线层和实时层分别进行处理,并且处理链路较长。如果需要在链路尤其是...
    文章 2020-07-30 1275浏览量
  • 实时数仓入门训练营:基于Hologres的实时数仓新架构

    T+1数据接入多种数据源接入定时数据开发与应用1)数据提取/数据转换/数据加载2)ODS数据处理3)DWD标准数据场景4)MDM元数据5)数据集市应用...时间成本过高2)数据处理链路过长3)无法支持实时/近实时数据分析Lambda...
    文章 2021-07-14 1534浏览量
  • 美团点评 Flink 实时数仓应用经验分享

    于是,我们把实时数仓建设的目的定位为解决由于传统数据仓库数据时效性低解决不了的问题。由于这个特点,我们给定了两个原则: 传统数仓能解决问题实时数仓就不解决了。比如上个月的一些历史的统计,这些数据是...
    文章 2020-07-04 1251浏览量
  • ​春晚活动下快手实时链路保障实践

    快手春晚实时大屏为作战指挥官提供最核心的活动和公司大盘实时数据,总共承接了100多个实时指标的计算,包括在线、红包、互动等各项指标。主要的挑战表现在三个方面: 数据量大,QPS 在千万级别;实时性要求比较高,...
    文章 2020-06-29 490浏览量
  • 【云栖号案例|制造】海伦宝上云 开启家电产业集群数字...

    同时,实现项目首检、巡检、下线检验数据在线登记,出现不良项目时自动预警提示,生产过程人员班组,物料,设备等信息可回溯,基本实现了车间、仓库、供应链等环节的数据化、实时化。相关产品 阿里云数字工厂 阿里云...
    文章 2020-04-15 823浏览量
  • 解密!看蚂蚁金服智能调度技术如何优化客服中心资源...

    能够尽快捕获到现场出现的承接异常信息,帮助运营人员在最短的时间内定位问题,从而解放他们的生产力,让他们更多的关注如何优化整体的承接策略,更多的思考如何避免现场繁忙,而不是现场出现问题以后再考虑怎么来...
    文章 2018-03-01 3333浏览量
  • 批流融合实时平台在好未来的应用实践

    今年年初,随着疫情的爆发,互联网在线教育涌入了大量的流量,为了应对暴增的流量,春节期间我们采购了上千台机器进行紧急的部署和上线,后来疫情稳定住了之后,这些机器的利用率就比较低了,为了解决这个问题,我们...
    文章 2021-01-07 2688浏览量
  • 数据库智能管理助手-CloudDBA

    甚至说一位同学在当值班的时候遇到问题,知道怎么解决了,换另一位同学指班没有遇到问题,过了很长的时间再一次发生时大家可能都忘了如何解决这个问题。所以这时就需要将工作经验进行沉淀,产品化,服务化,再把它...
    文章 2018-05-22 5013浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    阿里巴巴目前正在进行的一个项目就是城市大脑,就是将杭州所有城区的道路摄像头的视频信息做实时分析,用不同路口的视频信息来检测人和车的行为,以此来帮助城市更好地管理和优化交通,为解决城市拥堵问题带来很大的...
    文章 2017-03-13 6071浏览量
  • 一个系统,高效解决复杂事件采集-计算-实时触达

    问题的定义是从解决的业务场景出发的,也是最难的一步,如果问题定义的不明白,后面的系统设计很容易出现偏差,甚至各方理解不一,无法落地。上面的这些业务场景有哪些共性呢,用一句话可以描述为:“用户的一系列...
    文章 2019-10-24 7336浏览量
  • 开源大数据周刊-第42期

    云HBase数据库及时上线,一站式解决客户的大数据存储问题。G7:如何用云计算链接30万车辆G7和阿里云,一个是国内最专业的物流数据服务公司,一个是全球3A云计算服务商。他们的强强联合,会创造出怎样的火花?云HBase的...
    文章 2017-02-24 1787浏览量
  • AI文案通过图灵测试!一秒生成2万条广告神器问世

    作为一项深度学习逻辑下的产品,阿里妈妈AI智能文案保持实时在线学习,通过不断增加的优秀文案样本量,来提升自身的文案产出能力,满足用户的需求。在这一点上,阿里妈妈AI智能文案优势尽显,其学习的样本来自于淘宝...
    文章 2018-06-21 4565浏览量
  • 双11数据大屏背后:大规模流式增量计算及应用(附资料...

    阿里巴巴目前正在进行的一个项目就是城市大脑,就是将杭州所有城区的道路摄像头的视频信息做实时分析,用不同路口的视频信息来检测人和车的行为,以此来帮助城市更好地管理和优化交通,为解决城市拥堵问题带来很大的...
    文章 2017-05-22 1647浏览量
  • Apache Flink 在快手的过去、现在和未来

    这部分数据的保存主要是为了解决 Ad hoc 分析,以及当实时流数据出现问题,进行的离线的数据修正。6.特征处理场景最后一个业务场景,介绍一个 AI 数据流案例,特征处理与索引生成流程。在快手,有大量的特征需要处理...
    文章 2021-02-26 1032浏览量
  • 远程办公一时爽,如何做到一直“在线”一直爽?

    在线协同办公下的通信、交互、管理的效率深刻影响着企业经营和发展,而基础的网络带宽远远跟不上企业传输数据增长的步伐,一旦网络出现瓶颈,远程办公则会面临跨区域跨运营商连通效果差、网络拥塞与波动影响传输效率...
    文章 2020-02-25 491浏览量
  • 我花10个小时,写出了小白也能看懂的阿里数据中台分析

    数据中台解决问题可以总结为如下三点: 效率:为什么应用开发增加一个报表,就要十几天时间?为什么不能实时获得用户推荐清单?当业务人员对数据产生一点疑问的时候,需要花费很长的时间,结果发现是数据源的数据...
    文章 2019-11-06 3813浏览量
  • 基于实时深度学习的推荐系统架构设计和技术演进

    有了这个实时特征以后,就能解决刚才那个随大流的问题。同样的,如果这里的特征是对某一个用户最近 3 分钟或者 5 分钟的行为采集的,就能够更加准确的追踪到这个用户当时当刻的意图,并且给这个用户去做更准确的推荐...
    文章 2021-07-02 978浏览量
  • 【阿里云MVP第五期】Elastic曾勇:Elasticsearch在...

    然后自动告诉你这个时间点这个数据是不对的,你可以去有这么一个警告,发现这个地方可能会出现问题,做进一步的处理,这个就是我们的Elastic机器它可以帮你做的事情。把序列化的指标特征化,模型化,可以让它24小时...
    文章 2018-01-30 5943浏览量
  • 开放计算架构:蚂蚁金服是如何用一套架构容纳所有计算...

    十几年来,蚂蚁金服一直在解决用技术重塑金融服务的问题,在解决这个问题的过程中涉及到两个方向的技术领域,第一就是解决怎么把钱从一个帐户移到另一个帐户,这个过程中出现海量、安全、可用性问题怎么解决,我们的...
    文章 2019-10-18 1436浏览量
  • Apache Flink在 bilibili 的多元化探索与实践

    同时,在整个 DAG 的链路上引入了 ConfigBroadcast 的模块来解决管道元数据实时更新、热加载的问题。此外,在整个链路当中,每分钟会进行一次 checkpoint,针对增量的实际数据进行 Append,这样就可以提供分钟级的...
    文章 2021-05-14 1477浏览量
  • AI时代的金融级大规模图分析

    这些问题都可通过图数据库解决,但并不能完全解决所有问题,比如机器学习图模型、分析型反欺诈模型等,在线查询局限在固定范围内读取数据,可保证低时延响应。但是,当计算需要全图迭代时,在线查询性能非常差,离线...
    文章 2018-10-19 1790浏览量
  • 唯品会:在 Flink 容器化与平台化上的建设实践

    以往指标计算通常采用 Storm 方式,这个方式需要通过 api 定制化开发,采用这样 Flink 方案以后,我们可以获得了以下成果:将计算逻辑切到 Flink SQL 上,降低计算任务口径变化快,解决修改上线周期慢等问题;...
    文章 2021-06-22 871浏览量
  • 玩转ECS第3讲|ECS自助服务之智能诊断和自动化修复

    告警生成后,进行宕机事实验证,如果出现问题了表明算法正确,如果没有出现问题则回到算法中进行更正。诊断决策树 此外,再给大家介绍一个例子:诊断决策树,这个例子很容易理解。诊断决策树有三个关键要素,首先是...
    文章 2020-10-28 2319浏览量
  • 转行做Linux运维工程师,简历的项目经验应该怎么写...

    整体而言linux运维工程师涉及到知识面非常广泛,基本工作职责大致可概括为,能安装基本的服务软件,并且能够实时监听这些软件正常的运行,并且出现问题能够配合研发一块分析解决问题,这是一个合格的运维工程师...
    文章 2018-10-17 22834浏览量
  • 阿里双11网络技术揭秘:百万级物理和虚拟网络设备的...

    在实际中我们经常会面临这样一个问题,某个地方丢包比较高或者两个点之间应用出现了严重的超时,究竟是怎么引起的?如果用人工的方式进行定位,首先要解决如何了解两个点之间端到端网络拓扑是怎样一种结构。拓扑上...
    文章 2018-01-05 4813浏览量
  • DTCC 2019|云时代数据库迁移&容灾技术新进展与应用

    而整体而言,数据库的问题和程序开发是类似的,按照墨菲定律来讲就是只要有出现问题的可能,那么问题就一定会出现。我们不能和墨菲定律赛跑,因此需要做好数据的迁移和容灾等工作。从业界的两个公开报告分析了数据库...
    文章 2019-05-24 3114浏览量
1 2 3 4 ... 21 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化