• 日均百亿级日志处理:微博基于 Flink 的实时计算平台...

    实时处理的日志我们会将未关联的原始日志输出到另外一个暂存地(Kafka),同时不断消费处理这个未关联的日志集合,设定超时重关联次数与超时重关联时间,超过所设定任意阈值后,便再进行重关联。离线部分,我们采用 ...
    文章 2019-10-30 6614浏览量
  • Android开发者指南(21)—— Handling Runtime Changes

    在很多时候,你不会确切地在乎这些配置是怎么改变的,并且可以简单地重新分配所有资源,提供您正在处理的配置的可替代资源。例如,因为这个Resources对象现在被更新,你可以通过setImageResource(int)方法重置任何...
    文章 2016-05-23 1116浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    改进后的数据平台无需重启即可动态增减数据处理规则,数据处理能力也提升了 10 倍以上,大大优化了平台的实时效果。Venus 3.0 – 实时数据生产平台 随着实时业务的大量增加,Venus 2.0 也带来了 Kafka 数据冗余、不...
    文章 2020-03-05 1921浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    改进后的数据平台无需重启即可动态增减数据处理规则,数据处理能力也提升了 10 倍以上,大大优化了平台的实时效果。Venus 3.0 – 实时数据生产平台 随着实时业务的大量增加,Venus 2.0 也带来了 Kafka 数据冗余、不...
    文章 2020-03-05 1649浏览量
  • 如何让快递更"快?菜鸟自研定时任务调度引擎首次公开

    而如果不是通过磁盘来实现,那就带来问题2-1:一台机器在重启之后怎么获取它重启之前的时间轮元数据呢?通过上面的解决定时任务存储问题,对于元数据的存储也可以借助专门的存储服务,但是由于集群的各个节点是无...
    文章 2018-04-12 3428浏览量
  • 唯品会:在 Flink 容器化与平台化上的建设实践

    3)维表关联 keyBy 优化 cache针对维表关联的情况,为了降低 IO 请求次数,降低维表数据库读压力,从而降低延迟,提高吞吐,有以下三种措施:下面是维表关联 KeyBy 优化 cache 的图:在优化之前的时候,维表关联 ...
    文章 2021-06-22 929浏览量
  • 【PostgreSQL 创新营】第二课:认识PostgreSQL中...

    可以理解为支持多种数据模型,关系模型,nosql模型,图谱模型,时序模型,流处理模型,机器学习模型等.同时支持模型扩展. 为什么要手动触发统计信息更新?PG做不到自动更新?支持自动,有后台analyze进程。但是需要等调度,...
    文章 2021-01-20 339浏览量
  • Oracle数据库重启后密码失效的问题(r12笔记第91天)

    前几天,我和系统运维的同事处理一个看似诡异的问题,他找到我说应用服务器启动的时候报了DB的Error,但是错误信息有限,他也没法完全定位到错误的原因,所以就希望我来帮忙看看这个问题是怎么回事,怎么解决。...
    文章 2017-06-10 1295浏览量
  • 年关将至,服务器被入侵了怎么办?

    将部分常用二进制文件修复后,发现异常进程被kill掉后仍重启了,于是安装杀毒软件clamav和rootkit hunter进行全盘扫描,从而确认了被感染的所有文件,将那些可以删除的文件删除后再次kill掉异常进程,则再没有重启的...
    文章 2017-05-15 2056浏览量
  • 数据库无响应问题的紧急处理和分析

    赶紧把实例启动起来,因为有应用重连机制,所以问题的影响还在可控范围,火速调整shared_pool的大小,重启后,问题就得到了一定的缓解,当然问题的根本还是设计不当采用了大量的DB link的方式,把问题的影响放大。...
    文章 2016-10-04 736浏览量
  • 基于 Flink 的典型 ETL 场景实现

    对于实时数仓来说,怎么去解决数据重算问题?Kappa 架构在这一块的思路是:首先要准备好一个能够存储历史数据的消息队列,比如 Kafka,并且这个消息对列是可以支持你从某个历史的节点重新开始消费的。接着需要新起...
    文章 2020-08-26 2822浏览量
  • Win8、Win8.1与SQL2008之间的野战

    三、坑爹三部曲——1:不管怎么重启都让你重启计算机(参考1,参考2) 怎么办?删注册表就行了!在键盘上按下组合键Win+R,调出运行窗口,输入regedit 在注册表左侧目录栏中找到如下位置:“HKEY_LOCAL_MACHINE\...
    文章 2016-05-09 1767浏览量
  • 快手基于 Flink 构建实时数仓场景化实践

    2.3 延迟计算方案遇到上面这种有乱序的情况下,我们要怎么处理?我们总共有三种处理方案:第一种解决方案是用“did+维度+分钟”进行去重,Value 设为“是否来过”。比如同一个 did,04:01 来了一条,它会进行结果...
    文章 2021-08-20 1119浏览量
  • java多用户商城系统架构之第一篇——总的介绍

    我看到有的公司使用的是memcache,这个10年前,就这样,功能非常的简陋不说,主要一个问题是会有死缓存,就是缓存怎么也清空不了,这个你想想就知道多悲剧了,商家修改了价格,怎么也改不了,最后只能关闭机器重启。...
    文章 2019-08-15 1543浏览量
  • Windows Azure HandBook(1)IaaS相关技术

    微软在给Azure Virtual Machine做维护的时候,发现这2台Azure Virtual Machine没有关联,就会同时重启这2台Azure Virtual Machine,造成服务off-line。6.什么是可用性集?这里有两个非常重要的概念:故障域(Fault ...
    文章 2017-10-04 835浏览量
  • 在 Reddit 中代码部署的演进

    为了处理顺序重启的问题,我们在部署前打乱了主机列表的顺序。因为它把所有服务器池的部署顺序都打乱了,这让我们可以在更快的速度下安全的切换版本,从而部署地更快。这个最初的实现只是每次都随机的打乱顺序,但是...
    文章 2017-10-17 813浏览量
  • HDFS DataNode启动异常:/opt/jdk1.8.0_151/bin/java:...

    这个异常是在在ambari里启动DataNode产生的,其实这个问题很久就发现了,只是没时间去处理,所以之前把发生问题的slave1节点给移除了,现在有时间处理,就又把slave1加上了,所以就有了ambari 异常总结及解决办法...
    文章 2018-08-03 940浏览量
  • Redis性能问题排查解决手册(七)

    阅读目录: 性能相关的数据指标 内存使用率used_memory 命令处理总数total_commands_processed ...分析解决Redis性能问题,通常需要把延迟时间的数据变化与其他性能指标的变化相关联起来。命令处理总数...
    文章 2016-09-14 1668浏览量
  • Ubuntu性能调优:故障排查

    别忘了使用我们的老朋友:'top'命令,看看到底哪些进程在运行,这会帮助你把当前运行的进程与你在我们的演练期间发现的那种类型的性能度量标准关联起来。轻松搞定锁定问题 有时候,尤其是在排查故障时,你会发现自己...
    文章 2017-05-02 1207浏览量
  • Flink 1.13,面向流批一体的运行时与 DataStream API ...

    1.3 数据处理过程下面简单介绍 Flink 是怎么抽象流批一体的,Flink 把作业拆成了两种:第一种类型的作业是处理无限数据的无限流的作业这种作业就是我们平时所认知的流作业,对于这种作业,Flink 采用一个标准流的...
    文章 2021-06-30 1199浏览量
  • 【中亦安图】清算/报表/日终跑批程序之性能优化案例...

    针对这个问题,客户通过并且重新收集统计信息或重启数据库均无法解决问题。幸运的是,小y及时调整回到了学院派模式,最终在一个小时内找到了问题的原因,问题的解决也就是顺其自然了。 环境介绍: 操作系统 Redhat ...
    文章 2016-04-18 941浏览量
  • DoraCMS V1.0.9 更新,Node.JS 内容管理系统

    7、优化了文档,文档类别,文档模板,系统公告等关联对象,提高查询效率 8、抽取了重量级的js树,便于复用 9、优化了注册,对注册邮箱进行可用性校验 10、修复了管理员登录了,进入/admin 任然需要登录的bug 11、...
    文章 2017-06-02 1893浏览量
  • 专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验...

    批次实际上是一个更不常见的场景,有些时候可能会发生数据重导,它跟重启不太一样,重启作业可能就是改一改,然后接着上一次消费的位置启动。而重导的话,数据消费的位置会发生变化。比如,今天的数据算错了,领导很...
    文章 2020-07-04 1405浏览量
  • Linux信号专题FAQ

    ​   这个问题可能大多数人都只是知道要怎么处理,但是却不知道为什么会发生中断?如果一个系统调用在执行的时候,一个信号到来,这个时候需要切换到信号处理函数中执行,但是系统调用是在内核态中执行的,如果...
    文章 2018-04-11 1347浏览量
  • spring面试题

    Spring的事务提供了统一的事务处理机制,包含了JDBC,Hibernate,IBatis等事务实现,而Hibernate只处理自己事务 f-sp-25.Struts2与Spring整合先启动那个容器。先启动监听器,因为先要初始化容器,初始化容器了以后Action...
    文章 2016-11-08 993浏览量
  • RabbitMQ之RPC实现

    如果发生了这种情况,重启RPC服务器将会重新处理该请求。这就是为什么在客户端必须很好的处理重复响应,RPC应该是幂等的。Summary RPC的处理流程: 当客户端启动时,创建一个匿名的回调队列。客户端为RPC请求设置2个...
    文章 2017-02-15 969浏览量
  • Flink 在有赞的实践和应用

    JobManager Pod 如果挂掉,借助于 k8s Deployment 能力,JobManager 会根据 yaml 文件重启,状态可能会丢失。而如果 yaml 配置 Savepoint 恢复,则消息可能大量重复。我们希望后续借助于 ZK 或者 etcd 支持 ...
    文章 2021-05-26 1665浏览量
  • 一则数据库无法重启的案例分析

    说有个问题想咨询一下我,突然想起他昨天让我帮他处理一个工单,他这么一问我才想起来还没做,结果他说是另外一件事,说有个开发测试的环境,数据库报04031的错误,想让我帮忙看看是怎么回事,这种问题刚好就找对了...
    文章 2016-05-11 833浏览量
  • windows中查看开机时间

    IF 执行批处理程序中的条件性处理。LABEL 创建、更改或删除磁盘的卷标。MD 创建目录。MKDIR 创建目录。MODE 配置系统设备。MORE 一次显示一个结果屏幕。MOVE 将文件从一个目录移到另一个目录。PATH 显示或设置可执行...
    文章 2016-03-14 1297浏览量
  • 当当 Elastic-job 开源项目的十项特性

    Q4:针对简单和数据流,能够说说具体分片是怎么处理的吗?简单的作业就是未经过任何业务逻辑的封装,只是提供了一个execute方法,定时触发,但是增加了分布式分片功能。可以简单理解为quartz的分布式版本。quartz虽然...
    文章 2017-08-02 2072浏览量
1 2 3 4 ... 12 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化