</div>《数据采集：日志数据上传》电子版地址
2023-01-14
91
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
数据采集：日志数据上传
目录
相关文章
|
6天前
|
数据采集
运维
监控
不重启、不重写、不停机：SLS 软删除如何实现真正的“无感数据急救”？
SLS 全新推出的「软删除」功能，以接近索引查询的性能，解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
77
4
4
|
1月前
|
存储
缓存
Apache
StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台，致力于通过埋点、采集、计算构建流量数据闭环，助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战，平台采用Flink+Paimon+StarRocks技术方案，实现高吞吐写入与秒级查询，优化存储成本与扩展性，提升日志分析效率。
264
1
1
|
4月前
|
存储
缓存
Apache
StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案，针对万亿级日志数据的写入与查询挑战，提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据，结合StarRocks高效计算能力，实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施，解决高并发、大数据量下的查询效率问题。最终，日志查询耗时从分钟级降至秒级，显著提升业务响应速度，并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
401
0
0
|
1月前
|
存储
关系型数据库
数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL（预写日志）是保证数据完整性的关键技术。在数据修改前，系统会先将日志写入WAL，确保宕机时可通过日志恢复数据。它减少了磁盘I/O，提升了性能，并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下，采用16进制命名规则。此外，PostgreSQL提供pg_waldump工具解析日志内容。
155
0
0
|
1月前
|
数据采集
运维
监控
|
5月前
|
SQL
监控
数据挖掘
SLS 重磅升级：超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式，通过“限”与“换”的策略切换，在快速分析与精确计算之间实现平衡，满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
489
117
119
|
3月前
|
存储
NoSQL
MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在，你有了一个运行在Docker中的MongoDB，它拥有自己的小空间，对高楼大厦的崩塌视而不见（会话丢失和数据不持久化的问题）。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方，天旋地转，它也不会失去一丁点儿宝贵的记忆（即使在容器重启后）。
397
4
4
|
6月前
|
数据采集
运维
监控
数据采集监控与告警：错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失，而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性，反方则担忧复杂化带来的成本与安全风险。未来，结合AI与大数据技术，数据采集将向智能化、全自动方向发展，实现动态调整与智能识别反爬策略，降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
297
7
8
|
10月前
|
存储
Oracle
关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件，用于存放InnoDB数据和索引。重做日志文件（redo log）确保数据的可靠性和事务的持久性，其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
339
11
11
热门文章
最新文章
1
基于docker搭建监控系统&日志收集
2
搭建ELK日志收集，保姆级教程
3
Spring Boot配置优化：Tomcat+数据库+缓存+日志，全场景教程
4
运维日志里的“读心术”：深度学习能看出啥？
5
生成更智能，调试更轻松，SLS SQL Copilot 焕新登场！
6
日志收集和Spring 微服务监控的最佳实践
7
不重启、不重写、不停机：SLS 软删除如何实现真正的“无感数据急救”？
8
生成更智能，调试更轻松，SLS SQL Copilot 焕新登场！
9
无需复杂正则：SLS 新脱敏函数让隐私保护更简单高效
10
在Ubuntu系统上设置syslog日志轮替与大小限制
1
不重启、不重写、不停机：SLS 软删除如何实现真正的“无感数据急救”？
77
2
用 C++ 红黑树给公司电脑监控软件的日志快速排序的方法
23
3
使用EventLog Analyzer进行日志取证分析
47
4
生成更智能，调试更轻松，SLS SQL Copilot 焕新登场！
122
5
无需复杂正则：SLS 新脱敏函数让隐私保护更简单高效
69
6
生成更智能，调试更轻松，SLS SQL Copilot 焕新登场！
70
7
运维日志里的“读心术”：深度学习能看出啥？
133
8
深入探讨MySQL的二进制日志（binlog）选项
46
9
在Ubuntu系统上设置syslog日志轮替与大小限制
58
10
Spring Boot配置优化：Tomcat+数据库+缓存+日志，全场景教程
188