• 从IDC到云端架构迁移之路(GITC2016)

    所以,我们最终的迁移方案,是DBA在旧机房的数据库设置一个read only,停止数据的写入,在秒级别,RDS同步完成之后,业务线修改数据库端口,重启连接新机房的数据库,完成数据层的切换。经过上述站点、服务、缓存、...
    文章 2019-08-11 590浏览量
  • 秋色园网站转移过程记录篇

    昨夜断网时,无聊中就看了下某网友的给的DLL里的关于数据层多数据库的实现,看到一个槽点,本来想写写。今天发现秋色园4号(明天)就要过期了,VPS商同时也要回收旧机器,所以必须转移VPS到另一台去。所以从下午2点...
    文章 2017-07-08 1185浏览量
  • 互联网架构,为啥要前后端分离?

    站点数据层,web-server,负责业务逻辑与json数据接口的提供,由Java工程师维护 这样的好处是: 复杂的业务逻辑与数据生成,只有在站点数据层处写了一次,没有代码拷贝 底层service接口发生变化,只有站点数据层一处...
    文章 2017-11-08 1088浏览量
  • 日均百亿级日志处理:微博基于 Flink 的实时计算平台...

    数据层,我们基于 Clickhouse 来作为我们数据仓库的计算和存储引擎,利用其支持多维 OLAP 计算的特性,来处理在多维多指标大数据量下的快速查询需求。在数据分层上,我们参考与借鉴离线数仓的经验与方法,构建多层...
    文章 2019-10-30 7010浏览量
  • 炸!亿级数据DB秒级平滑扩容!

    数据库上层都有一个微服务,服务记录“业务库”与“数据库实例配置”的映射关系,通过数据库连接池向数据库路由sql语句。如上图所示,服务配置用户库user对应的数据库实例ip。画外音:其实是一个内网域名。该...
    文章 2019-08-07 819浏览量
  • Apache Flink 进阶(一):Runtime 核心机制剖析

    另一方面,如图如果错误是由于读取上游结果出现问题,如网络连接中断、缓存上游输出数据的 TaskExecutor 异常退出等,那么还需要重启上游 Region 来重新产生相应的数据。在这种情况下,如果上游 Region 输出的数据...
    文章 2019-09-09 1900浏览量
  • 服务器RAID信息丢失怎么恢复数据

    客户服务器属于HP品牌DL380系列,存储是由6块73GB SAS硬盘组成的RAID5,操作系统是WINDOWS 2003 SERVER,主要作为企业部门内部的文件服务器来应用,主机(无UPS)故障前经历过几次意外断电,重启后RAID报错,提示...
    文章 2017-05-09 2330浏览量
  • 炸!亿级数据DB秒级平滑扩容!

    数据库上层都有一个微服务,服务记录“业务库”与“数据库实例配置”的映射关系,通过数据库连接池向数据库路由sql语句。如上图所示,服务配置用户库user对应的数据库实例ip。画外音:其实是一个内网域名。该...
    文章 2020-02-05 588浏览量
  • 2021-12-22面经摘录(字节飞书后端实习一面)

    6.持久性怎么实现的redo log叫重做日志,当事务提交的时候会把所有的修改信息存放在redo log中,并且会把redo log持久化到磁盘,当电脑重启后就会重新执行redo log的修改信息来恢复数据,这样就能够达到持久化的目的...
    文章 2021-12-23 40浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    RAP 帮用户屏蔽了这,无需考虑中间数据、结果数据存到哪里、怎么查询。2.开发成本高:用户需要写 Spark 或 Flink 代码进行实时流数据处理,并进行报表前端开发,流程冗长而复杂。在 RAP 实时分析平台上,用户无需...
    文章 2020-03-05 1788浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    RAP 帮用户屏蔽了这,无需考虑中间数据、结果数据存到哪里、怎么查询。2.开发成本高:用户需要写 Spark 或 Flink 代码进行实时流数据处理,并进行报表前端开发,流程冗长而复杂。在 RAP 实时分析平台上,用户无需...
    文章 2020-03-05 2244浏览量
  • Apache Flink 进阶(一):Runtime 核心机制剖析

    另一方面,如图如果错误是由于读取上游结果出现问题,如网络连接中断、缓存上游输出数据的 TaskExecutor 异常退出等,那么还需要重启上游 Region 来重新产生相应的数据。在这种情况下,如果上游 Region 输出的数据...
    文章 2019-09-11 25860浏览量
  • 唯品会:在 Flink 容器化与平台化上的建设实践

    使用 Flink SQL 做流式数据入仓是非常方便的,而且 1.12 版本已经支持了小文件的自动合并,解决了大数据层一个非常普遍的痛点。我们自定义分区提交策略,当前分区 ready 时候会调一下实时平台的分区提交 api,在离线...
    文章 2021-06-22 1116浏览量
  • 《MySQL排错指南》——1.5 追踪数据中的错误

    主服务器数据正常,因此问题的原因在于复制。然而,这是怎么发生的?复制看起来运行正常[3],因此我们猜想是主节点有逻辑错误。当发现了这个可能的原因的时候,你应该去分析存储过程并在主节点上调用以寻找修复...
    文章 2017-05-02 1754浏览量
  • 实录|互联网架构“高可用”在线技术交流

    问:服务层到数据层,如果写是通过冗余写入保证高可用,那么根据CAP,一致性很大可能上是不能保证的。如何能保证基本一致性的情况的下,保证数据层的高可用?答:根据CAP理论,一般来说,一致性和可用性取其一,其实...
    文章 2019-08-14 1008浏览量
  • 【云栖号案例|游戏&娱乐】PolarDB助力心动网络为千万...

    PolarDB特有的高性能读能力,有效支撑游戏服务的因变更、异常导致的服务端重启业务快速恢复。上云价值 PolarDB为千万级用户在线手游保驾护航。优良的游戏体验基于存储计算分离架构,所有实例都带有一主一只读节点...
    文章 2020-03-24 1141浏览量
  • 10道不得不会的Docker面试题

    Docker 容器经历以下阶段:创建容器运行容器暂停容器(可选)取消暂停容器(可选)启动容器停止容器重启容器杀死容器销毁容器docker容器之间怎么隔离?这是一道涉猎很广泛的题目,理解性阅读。Linux中的PID、IPC、...
    文章 2022-08-10 8浏览量
  • 每秒100W请求,12306秒杀业务,架构如何优化?

    传统秒杀系统之所以挂,是因为请求都压到了后端数据层,数据读写锁冲突严重,并发高响应慢,几乎所有请求都超时,访问流量大,下单成功的有效流量小。一趟火车2000张票,200w个人同时来买,没有人能买成功,请求有效...
    文章 2020-02-06 1755浏览量
  • 我在架构设计和代码开发中的一些常用原则

    譬如门面服务,绕过领域服务,直接调用DAO进行数据读写操作,一旦需要重构修改原有的DAO接口,就发现升级改造成本巨大,我不知道有多少个团队也面临过这种痛苦。单一职责原则该原则由罗伯特·C·马丁...
    文章 2021-03-18 1317浏览量
  • 基于Apache doris怎么构建数据中台(四)-数据接入系统

    基于Apache doris怎么构建数据中台(四)-数据接入系统上一次我们讲解了数据资产&xff0c;元数据管理&xff0c;血缘关系等&xff0c;这次我们开始将数据接入&xff0c;怎么实现快速的数据接入在开发数据模型时&xff0c;我们必须有...
    文章 2022-05-13 69浏览量
  • 【云中沙箱】云上RDS数据的本地同步

    但是这种根据binlog文件和位点来同步RDS的数据到本地的方式非常容易导致同步中断,因为当RDS发生了主备切换(主备切换,重启,跨机迁移),本地数据库所指向RDS的binlog 位点则会发生变化(RDS主库与备库的binlog...
    文章 2017-02-09 4212浏览量
  • Docker不适合部署数据库的7大原因

    但是容器的 Volumes 设计是围绕 Union FS 镜像提供持久存储,数据安全缺乏保证。如果容器突然崩溃,数据库未正常关闭,可能会损坏数据。另外,容器里共享数据卷组,对物理机硬件损伤也比较大。即使你要把 Docker ...
    文章 2020-07-09 836浏览量
  • Delta Lake-数据湖的数据可靠性

    如果发现代码存在 bug 或者存在一些未曾发觉的新需求,需要加入到分析系统,我们需要做的就是清理表的数据、清理掉 Checkpoint 并重启 Streaming。广告时间 直接看,没有什么补充的。如何使用 Delta Lake 这一块内容...
    文章 2020-03-05 2953浏览量
  • 解Bug之路-串包Bug

    因为在调用Redis出错后,业务系统有一拦截器会拦截到业务的出错,同时给这个JedisClient的错误个数+1,当错误个数>3的时候,会将其从池中踢掉。这样这种串了的连接会越来越少,导致Bug原来越难以出现。在每次...
    文章 2018-08-22 1548浏览量
  • 日访问量百亿级的应用如何做缓存架构设计

    读的可能有上百亿、上千亿这种总的数据需要判断,怎么来存储是个很大的问题,而且这里面很多存在性就是0,还是前面说的,0要不要存,如果存了,每天就存上千亿的记录,如果不存,那大量的请求最终会穿透Cache到DB...
    文章 2018-05-07 3165浏览量
  • 专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验...

    批次实际上是一个更不常见的场景,有些时候可能会发生数据重导,它跟重启不太一样,重启作业可能就是改一改,然后接着上一次消费的位置启动。而重导的话,数据消费的位置会发生变化。比如,今天的数据算错了,领导很...
    文章 2020-07-04 2149浏览量
  • SCOM2012R2 APM

    举个例子来说,有一个人力资源管理系统,下面有Web,中间数据,现在我想要了解整个人力资源系统的可用性,我们应该怎么做?一种方式是通过web应用程序可用性监视,另外一种,就是针对于组进行监视,我们在...
    文章 2017-11-12 1418浏览量
  • 解Bug之路-串包Bug

    因为在调用Redis出错后,业务系统有一拦截器会拦截到业务的出错,同时给这个JedisClient的错误个数+1,当错误个数>3的时候,会将其从池中踢掉。这样这种串了的连接会越来越少,导致Bug原来越难以出现。在每次...
    文章 2020-09-08 173浏览量
  • 快手基于 Flink 构建实时数仓场景化实践

    在公共基础分为两个不同的层次,一个是 DWD ,做明细数据,另一个是 DWS ,做公共聚合数据,DIM 是我们常说的维度。我们有一个基于离线数仓的主题预分层,这个主题预分层可能包括流量、用户、设备、视频的生产...
    文章 2021-08-20 1639浏览量
  • 【转】构建需求响应式亿级商品详情页

    重启应用秒级化,使用Nginx+Lua架构,重启速度快,重启不丢共享字典缓存数据;需求上线速度化,因为我们使用了Nginx+Lua架构,可以快速上线和重启应用,不会产生抖动;另外Lua本身是一种脚本语言,我们也在尝试把...
    文章 2017-07-03 2385浏览量
1 2 3 4 ... 44 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化