产品
解决方案
文档与社区
权益中心
定价
云市场
合作伙伴
支持与服务
了解阿里云
AI 助理
备案
控制台
开发者社区
首页
探索云世界
探索云世界
云上快速入门,热门云上应用快速查找
了解更多
问产品
动手实践
官方博客
考认证
TIANCHI大赛
活动广场
活动广场
丰富的线上&线下活动,深入探索云世界
任务中心
做任务,得社区积分和周边
高校计划
让每位学生受益于普惠算力
训练营
资深技术专家手把手带教
话题
畅聊无限,分享你的技术见解
开发者评测
最真实的开发者用云体验
乘风者计划
让创作激发创新
阿里云MVP
遇见技术追梦人
直播
技术交流,直击现场
下载
下载
海量开发者使用工具、手册,免费下载
镜像站
极速、全面、稳定、安全的开源镜像
技术资料
开发手册、白皮书、案例集等实战精华
插件
为开发者定制的Chrome浏览器插件
探索云世界
新手上云
云上应用构建
云上数据管理
云上探索人工智能
云计算
弹性计算
无影
存储
网络
倚天
云原生
容器
serverless
中间件
微服务
可观测
消息队列
数据库
关系型数据库
NoSQL数据库
数据仓库
数据管理工具
PolarDB开源
向量数据库
热门
百炼大模型
Modelscope模型即服务
弹性计算
云原生
数据库
云效DevOps
龙蜥操作系统
平头哥
钉钉开放平台
物联网
大数据
大数据计算
实时数仓Hologres
实时计算Flink
E-MapReduce
DataWorks
Elasticsearch
机器学习平台PAI
智能搜索推荐
数据可视化DataV
人工智能
机器学习平台PAI
视觉智能开放平台
智能语音交互
自然语言处理
多模态模型
pythonsdk
通用模型
开发与运维
云效DevOps
钉钉宜搭
支持服务
镜像站
码上公益
呆呆宝_个人页
呆呆宝
文章
152
问答
892
视频
0
个人介绍
暂无个人介绍
擅长的技术
获得更多能力
通用技术能力:
暂时未有相关通用技术能力~
云产品技术能力:
暂时未有相关云产品技术能力~
阿里云技能认证
详细说明
高分内容
最新动态
文章
问答
视频
暂无更多信息
2024年07月
07.24
21:49:38
发表了文章
2024-07-24 21:49:38
云计算自旋锁问题之在线程安全地删除链表节点时,需要频繁加锁会影响性能如何解决
云计算自旋锁问题之在线程安全地删除链表节点时,需要频繁加锁会影响性能如何解决
07.24
21:47:12
发表了文章
2024-07-24 21:47:12
云计算自旋锁问题之在LogFileProfiler::AddProfilingData函数中使用锁如何解决
云计算自旋锁问题之在LogFileProfiler::AddProfilingData函数中使用锁如何解决
07.24
21:43:28
发表了文章
2024-07-24 21:43:28
云计算自旋锁问题之在ConfigManager的FindAllMatch函数中自旋锁被使用如何解决
云计算自旋锁问题之在ConfigManager的FindAllMatch函数中自旋锁被使用如何解决
07.24
21:40:44
发表了文章
2024-07-24 21:40:44
云计算自旋锁问题之使用std::recursive_mutex如何解决
云计算自旋锁问题之使用std::recursive_mutex如何解决
07.24
21:37:37
发表了文章
2024-07-24 21:37:37
开发与运维编译问题之在C++中在使用std::mutex后能自动释放锁如何解决
开发与运维编译问题之在C++中在使用std::mutex后能自动释放锁如何解决
07.24
21:35:05
发表了文章
2024-07-24 21:35:05
开发与运维编译问题之volatile和atomic帮助抑制编译器优化如何解决
开发与运维编译问题之volatile和atomic帮助抑制编译器优化如何解决
07.24
21:18:58
发表了文章
2024-07-24 21:18:58
开发与运维编译问题之在C++中创建一个简单的自旋锁如何解决
开发与运维编译问题之在C++中创建一个简单的自旋锁如何解决
07.24
21:16:27
发表了文章
2024-07-24 21:16:27
开发与运维线程问题之在C++的原子操作中memory_order如何解决
开发与运维线程问题之在C++的原子操作中memory_order如何解决
07.24
21:13:57
发表了文章
2024-07-24 21:13:57
开发与运维线程问题之Go语言的goroutine基于线程模型实现如何解决
开发与运维线程问题之Go语言的goroutine基于线程模型实现如何解决
07.24
21:10:21
发表了文章
2024-07-24 21:10:21
人工智能线程问题之无锁化编程如何解决
人工智能线程问题之无锁化编程如何解决
07.24
21:07:11
发表了文章
2024-07-24 21:07:11
开发与运维命令问题之使用jstack命令查看Java进程的线程栈如何解决
开发与运维命令问题之使用jstack命令查看Java进程的线程栈如何解决
07.24
21:03:33
发表了文章
2024-07-24 21:03:33
开发与运维内存问题之文件句柄泄漏如何解决
开发与运维内存问题之文件句柄泄漏如何解决
07.24
20:56:51
发表了文章
2024-07-24 20:56:51
开发与运维内存问题之线上遇到故障,使用jstat命令发现Old区持续增长如何解决
开发与运维内存问题之线上遇到故障,使用jstat命令发现Old区持续增长如何解决
07.24
20:54:00
发表了文章
2024-07-24 20:54:00
开发与运维资源问题之接口A的阻塞情况比接口B更明显,尽管接口B的响应时间更长如何解决
开发与运维资源问题之接口A的阻塞情况比接口B更明显,尽管接口B的响应时间更长如何解决
07.24
20:49:29
发表了文章
2024-07-24 20:49:29
开发与运维配置问题之升级机器配置后出现频繁的GC问题和超长的GC时间如何解决
开发与运维配置问题之升级机器配置后出现频繁的GC问题和超长的GC时间如何解决
07.24
19:38:51
发表了文章
2024-07-24 19:38:51
数据库问题之使用jmap命令获取Java堆信息如何解决
数据库问题之使用jmap命令获取Java堆信息如何解决
07.24
19:35:49
发表了文章
2024-07-24 19:35:49
开发与运维内存问题之dmesg,它在故障排查中的作用如何解决
开发与运维内存问题之dmesg,它在故障排查中的作用如何解决
07.24
19:33:16
发表了文章
2024-07-24 19:33:16
云计算网络问题之通过查看网络连接状态来排查问题如何解决
云计算网络问题之通过查看网络连接状态来排查问题如何解决
07.24
19:30:59
发表了文章
2024-07-24 19:30:59
开发与运维命令问题之ss命令和netstat命令区别如何解决
开发与运维命令问题之ss命令和netstat命令区别如何解决
07.24
19:28:09
发表了文章
2024-07-24 19:28:09
开发与运维特性问题之jmap命令功能如何解决
开发与运维特性问题之jmap命令功能如何解决
07.24
19:25:30
发表了文章
2024-07-24 19:25:30
开发与运维收集问题之jstat命令查看JVM垃圾回收情况如何解决
开发与运维收集问题之jstat命令查看JVM垃圾回收情况如何解决
07.24
19:21:41
发表了文章
2024-07-24 19:21:41
开发与运维收集问题之G1收集器避免全区域垃圾收集如何解决
开发与运维收集问题之G1收集器避免全区域垃圾收集如何解决
07.24
19:19:22
发表了文章
2024-07-24 19:19:22
开发与运维内存问题之Serial Old收集器用途如何解决
开发与运维内存问题之Serial Old收集器用途如何解决
07.24
19:17:09
发表了文章
2024-07-24 19:17:09
开发与运维内存问题之动态对象年龄判定的意义如何解决
开发与运维内存问题之动态对象年龄判定的意义如何解决
07.24
19:15:11
发表了文章
2024-07-24 19:15:11
开发与运维内存问题之长期存活的对象最终会进入哪个内存区域如何解决
开发与运维内存问题之长期存活的对象最终会进入哪个内存区域如何解决
07.24
19:13:10
发表了文章
2024-07-24 19:13:10
人工智能算法问题之复制算法工作如何解决
人工智能算法问题之复制算法工作如何解决
07.24
17:24:12
发表了文章
2024-07-24 17:24:12
开发与运维机制问题之在Tomcat的类加载机制中,如果BootstrapClassLoader没有加载成功类,Tomca如何解决
开发与运维机制问题之在Tomcat的类加载机制中,如果BootstrapClassLoader没有加载成功类,Tomca如何解决
07.24
17:22:10
发表了文章
2024-07-24 17:22:10
开发与运维机制问题之Tomcat要打破双亲委派机制如何解决
开发与运维机制问题之Tomcat要打破双亲委派机制如何解决
07.24
17:20:20
发表了文章
2024-07-24 17:20:20
开发与运维引用问题之JVM类加载过程如何解决
开发与运维引用问题之JVM类加载过程如何解决
07.24
17:17:45
发表了文章
2024-07-24 17:17:45
开发与运维引用问题之软引用又在Java特点如何解决
开发与运维引用问题之软引用又在Java特点如何解决
07.24
17:12:30
发表了文章
2024-07-24 17:12:30
开发与运维内存问题之触发Full GC,类加载检查如何解决
开发与运维内存问题之触发Full GC,类加载检查如何解决
07.24
00:57:31
发表了文章
2024-07-24 00:57:31
开发与运维内存问题之在堆内存中新创建的对象通常首先分配如何解决
开发与运维内存问题之在堆内存中新创建的对象通常首先分配如何解决
07.24
00:55:33
发表了文章
2024-07-24 00:55:33
云计算问题之线程请求的栈深度大于虚拟机所允许的深度如何解决
云计算问题之线程请求的栈深度大于虚拟机所允许的深度如何解决
07.24
00:53:22
发表了文章
2024-07-24 00:53:22
开发与运维测试问题之在JVM中方法区也被称之为什么如何解决
开发与运维测试问题之在JVM中方法区也被称之为什么如何解决
07.24
00:50:51
发表了文章
2024-07-24 00:50:51
开发与运维测试问题之OpenJDK官方还未正式发布Compact Object Headers如何解决
开发与运维测试问题之OpenJDK官方还未正式发布Compact Object Headers如何解决
07.24
00:46:52
发表了文章
2024-07-24 00:46:52
开发与运维测试问题之UseCompactObjectHeaders在SPECjbb2015基准测试中的表现如何解决
开发与运维测试问题之UseCompactObjectHeaders在SPECjbb2015基准测试中的表现如何解决
07.24
00:42:10
发表了文章
2024-07-24 00:42:10
开发与运维技术问题之ava对象头压缩技术支持所有的Java垃圾回收器如何解决
开发与运维技术问题之ava对象头压缩技术支持所有的Java垃圾回收器如何解决
07.24
00:35:20
发表了文章
2024-07-24 00:35:20
开发与运维技术问题之“化整为零”策略在项目风险管理中的作用如何解决
开发与运维技术问题之“化整为零”策略在项目风险管理中的作用如何解决
07.24
00:33:14
发表了文章
2024-07-24 00:33:14
开发与运维技术问题之技术PM如何协调业务诉求与技术能力之间的关系如何解决
开发与运维技术问题之技术PM如何协调业务诉求与技术能力之间的关系如何解决
07.24
00:30:35
发表了文章
2024-07-24 00:30:35
开发与运维函数问题之mapConcurrent实现与Pekko-Stream的mapAsync相似之处如何解决
开发与运维函数问题之mapConcurrent实现与Pekko-Stream的mapAsync相似之处如何解决
07.24
00:27:57
发表了文章
2024-07-24 00:27:57
开发与运维函数问题之filter操作符在Gather API中的实现方式如何解决
开发与运维函数问题之filter操作符在Gather API中的实现方式如何解决
07.24
00:25:45
发表了文章
2024-07-24 00:25:45
开发与运维函数问题之Gather API与Stream Collector的区别如何解决
开发与运维函数问题之Gather API与Stream Collector的区别如何解决
07.24
00:23:10
发表了文章
2024-07-24 00:23:10
云原生应用问题之将文档中的代码部署在函数计算平台上会提升用户体验如何解决
云原生应用问题之将文档中的代码部署在函数计算平台上会提升用户体验如何解决
07.24
00:20:54
发表了文章
2024-07-24 00:20:54
云原生应用问题之用std::function封装一个普通函数如何解决
云原生应用问题之用std::function封装一个普通函数如何解决
07.24
00:18:18
发表了文章
2024-07-24 00:18:18
云原生应用问题之使用std::unique_ptr和std::shared_ptr如何解决
云原生应用问题之使用std::unique_ptr和std::shared_ptr如何解决
07.23
23:55:46
发表了文章
2024-07-23 23:55:46
开发与运维函数问题之C++中有哪些继承方式如何解决
开发与运维函数问题之C++中有哪些继承方式如何解决
07.23
23:53:15
发表了文章
2024-07-23 23:53:15
云计算函数问题之在类中声明一个友元函数如何解决
云计算函数问题之在类中声明一个友元函数如何解决
07.23
23:50:49
发表了文章
2024-07-23 23:50:49
开发与运维函数问题之移动赋值运算符在这个代码中实现如何解决
开发与运维函数问题之移动赋值运算符在这个代码中实现如何解决
07.23
23:48:38
发表了文章
2024-07-23 23:48:38
开发与运维函数问题之自定义拷贝构造函数和拷贝赋值运算符如何解决
开发与运维函数问题之自定义拷贝构造函数和拷贝赋值运算符如何解决
07.23
23:45:25
发表了文章
2024-07-23 23:45:25
开发与运维函数问题之析构函数在C++类中起什么作用如何解决
开发与运维函数问题之析构函数在C++类中起什么作用如何解决
1
...
6
7
8
...
22
跳转至:
发表了文章
2024-08-15
仓储设计实现问题之采用仓储实体转移模式可以被视为非阻塞悲观锁如何解决
发表了文章
2024-08-15
仓储设计实现问题之这种仓储下的聚合实体看起来更加像资源Resource如何解决
发表了文章
2024-08-15
仓储设计实现问题之仓储应该是一个集合实例,并且无法对仓储进行重复的放置如何解决
发表了文章
2024-08-15
仓储设计实现问题之提出仓储的建模时要从问题空间角度看待如何解决
发表了文章
2024-08-15
仓储设计实现问题之仓储生成聚合实体的唯一标识如何解决
发表了文章
2024-08-15
仓储设计实现问题之仓储设计时考虑放置实体的问题如何解决
发表了文章
2024-08-15
仓储设计实现问题之聚合实体在DDD中定义如何解决
发表了文章
2024-08-15
流计算引擎数据问题之Apache Kafka Streams 没有采用低水印方案如何解决
发表了文章
2024-08-15
流计算引擎数据问题之MillWheel 和 Flink 实现数据流的同步处理如何解决
发表了文章
2024-08-15
流计算引擎数据问题之Apache Flink 的完整性推理方案设计如何解决
发表了文章
2024-08-15
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
发表了文章
2024-08-15
流计算引擎数据问题之完整性信号Signal计算如何解决
发表了文章
2024-08-15
流计算引擎数据问题之低水印(Low Watermark)方案工作如何解决
发表了文章
2024-08-15
流计算引擎数据问题之MillWheel/Cloud DataFlow 实现完整性推理如何解决
发表了文章
2024-08-15
流计算引擎数据问题之传播模块工作如何解决
发表了文章
2024-08-15
流计算引擎数据问题之保证流计算的正确性如何解决
发表了文章
2024-08-15
阿里云块存储问题之在编码和提交代码时确保代码提交的原子性如何解决
发表了文章
2024-08-15
阿里云块存储问题之poison发布阻塞机制实现如何解决
发表了文章
2024-08-15
阿里云块存储问题之处理信用分低的测试用例(即不稳定Case)如何解决
发表了文章
2024-08-15
阿里云块存储问题之块存储选择了主干开发模式,发布模式有哪些种类如何解决
正在加载, 请稍后...
滑动查看更多
回答了问题
2024-07-30
Checkpoint 文件中是如何包含对 exclusive 文件和 shared 文件的引用的?
Checkpoint 文件中通过 metadata 文件包含了对 exclusive 文件和 shared 文件的引用。metadata 文件记录了恢复一个 Checkpoint 所需的所有文件的路径和相关信息,从而能够定位到这些文件。
赞2
踩0
评论0
回答了问题
2024-07-30
为什么 Checkpoint 不是 self-contained 的?
Checkpoint 不是 self-contained 的,因为在一些情况下,一个 Checkpoint 的 metadata 文件可能会引用其他作业实例的 Checkpoint 的 shared 文件。这通常发生在同一个作业代码多次部署并相互恢复 Checkpoint 的情况下,形成了一个长长的引用链。
赞1
踩0
评论0
回答了问题
2024-07-30
Checkpoint 难以被清理的原因是什么?
Checkpoint 难以被清理的原因在于,清理时需要确保 Checkpoint 中的文件不再被其他 Checkpoint 引用。由于存在跨作业实例的引用,作业管理平台需要维护 Checkpoint 中文件的引用计数,这增加了平台管理的复杂度。
赞1
踩0
评论0
回答了问题
2024-07-30
跨存储系统的 Checkpoint 副本为什么会不可用?
跨存储系统的 Checkpoint 副本不可用的原因是,当 Checkpoint 从一个存储系统复制到另一个存储系统时,由于跨 job 实例引用的文件在新存储系统上并不存在,导致复制过去的 Checkpoint 不可用。
赞1
踩0
评论0
回答了问题
2024-07-30
如何避免跨存储系统 Checkpoint 副本不可用的问题?
要避免跨存储系统 Checkpoint 副本不可用的问题,可以将所有被直接和间接引用的文件都复制到新的存储系统上。但这会极大增加副本制作的复杂度。
赞6
踩0
评论0
回答了问题
2024-07-30
RocksDBStateBackend 的增量 Checkpoint 是如何制作的?
RocksDBStateBackend 制作增量 Checkpoint 时,会先将数据刷盘,然后将 DB 实例中所有文件上传到指定的 Checkpoint storage 中(如 HDFS)。对于增量 Checkpoint,只需上传新增的文件和 metadata 文件,已存在的 shared 文件只需在 metadata 中记录引用,无需重复上传。
赞1
踩0
评论0
回答了问题
2024-07-30
RocksDB 数据文件(SST 文件)的特点是什么?
RocksDB 的数据文件(SST 文件)一旦产生就不会再被修改,只会随着数据的不断写入和 compaction 而不断地产生和删除。这些 SST 文件包含了数据内容、索引等,是 RocksDB 持久化数据的关键部分。
赞5
踩0
评论0
回答了问题
2024-07-30
为什么在制作 Checkpoint 时,有些 SST 文件会被放到 shared 目录下?
在制作 Checkpoint 时,如果 DB 实例中的某些 SST 文件在后续的增量 Checkpoint 中可能会被直接使用,这些文件就会被放到 shared 目录下,以避免重复上传,节省存储空间和传输时间。
赞1
踩0
评论0
回答了问题
2024-07-30
Checkpoint 序号为什么不连续?
Checkpoint 序号不连续(如从 Checkpoint3 直接到 Checkpoint5)的原因可能是期间插入了 Savepoint,而 Savepoint 会占用 Checkpoint 序号。Savepoint 通常用于更持久化的状态保存,其制作和恢复过程与普通的 Checkpoint 有所不同。
赞1
踩0
评论0
回答了问题
2024-07-30
制作 Checkpoint5 时如何知道 02.sst 和 03.sst 已经上传过了?
制作 Checkpoint5 时,通过 previous-sst-list 来记录上次成功的 Checkpoint 中所有 SST 文件信息,从而知道 02.sst 和 03.sst 已经上传过了。这个列表帮助实现增量 Checkpoint 的制作。
赞0
踩0
评论0
回答了问题
2024-07-30
为什么新启动作业的Checkpoint可能会引用它所restore的Checkpoint中的文件?
新启动作业的 Checkpoint 可能会引用它所 restore 的 Checkpoint 中的文件,因为即使作业重启,也会尝试基于之前恢复的 Checkpoint 进行增量制作,如果恢复的是跨作业实例的 Checkpoint,就会导致文件引用跨作业。
赞0
踩0
评论0
回答了问题
2024-07-30
如何避免新启动作业的 Checkpoint 跨作业文件引用的问题?
在恢复 previous-sst-list 之前,判断 restore Checkpoint 所属的作业是否是当前作业。如果不是,则不恢复 previous-sst-list,这样作业启动后的第一个 Checkpoint 就会上传所有文件,之后的 Checkpoint 再基于前面的 Checkpoint 进行增量制作,从而避免跨作业文件引用。
赞4
踩0
评论0
回答了问题
2024-07-30
Checkpoint metadata 中如何获取到作业 ID?
Checkpoint metadata 中本身不包含作业 ID,但可以通过修改 IncrementalRemoteKeyedStateHandle 的实现,增加一个 jobID 字段,并在制作 Checkpoint 时将 ID 字段序列化到 meta 文件中。这样在 restore 时就可以通过解析 meta 文件来获取 Checkpoint 所属的作业 ID。
赞3
踩0
评论0
回答了问题
2024-07-30
Checkpoint metadata 中文件路径的问题是什么?如何解决?
Checkpoint metadata 中记录的文件路径是绝对路径,当 Checkpoint 被复制到其他目录时,这些引用会失效。解决方法是将绝对路径换成相对路径,根据 Checkpoint 的 exclusive 目录和文件的相对路径计算出文件的具体位置,从而实现 Checkpoint 的 relocatable。
赞1
踩0
评论0
回答了问题
2024-07-30
为什么使用 distcp 跨机房复制 Checkpoint 不是一个好的选择?
使用 distcp 跨机房复制 Checkpoint 不是一个好的选择,因为 distcp 会为每个复制任务启动一个重的 mapreduce 作业,而 Checkpoint 比 Savepoint 频繁得多,且复制过程中作业可能还在运行,文件可能被删除,导致复杂性和潜在问题增加。
赞1
踩0
评论0
回答了问题
2024-07-30
最终选择什么方式来实现 Checkpoint 跨机房副本制作?
最终选择编写一个 Checkpoint Replicate Service,该服务连接多个 HDFS 集群,专门用于 Checkpoint 的副本制作。这种方式更加灵活和高效,适合频繁且动态的 Checkpoint 跨机房复制需求。
赞3
踩0
评论0
回答了问题
2024-07-30
为什么直接在 Flink 引擎中双写到两个 HDFS 集群不是一个好的选择?
直接在 Flink 引擎中双写到两个 HDFS 集群会增加引擎的不稳定因素,可能影响到作业运行的稳定性和效率,因此这种方式不适合用来应对小概率的机房故障。
赞0
踩0
评论0
回答了问题
2024-07-30
Checkpoint coordinator 触发 distcp 的方式存在什么问题,为什么被放弃?
Checkpoint coordinator 触发 distcp 的方式虽然可以避免 distcp 复制过程中文件变动的问题,但由于 distcp 效率较低,可能导致 Checkpoint 制作流程阻塞,影响作业性能,因此这种方式被放弃。
赞5
踩0
评论0
回答了问题
2024-07-30
Checkpoint Replicate Service 是如何实现跨 HDFS 集群的副本制作的?
Checkpoint Replicate Service 通过在每个节点上持有多个 HDFS client,分别连接源 HDFS 集群和目标 HDFS 集群,读取源集群的文件并通过目标集群的 client 写入,实现跨集群的副本制作。
赞1
踩0
评论0
回答了问题
2024-07-30
如何根据已存在的 Checkpoint 副本进行增量的副本制作?
进行增量的副本制作时,首先解析出新 Checkpoint 和旧 Checkpoint 的文件列表,通过集合运算找出新增的文件(只存在于新 Checkpoint 中的文件)和需要删除的文件(只存在于旧 Checkpoint 中的文件),然后只复制新增的文件到目标集群,并删除目标集群中旧的文件。
赞1
踩0
评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息