新网银行:银行核心业务系统日志监控平台建设实践

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志分析平台,帮助新网银行更好的成长~

一、日志分析,驱动银行创新进化

“互联网金融正在冲击传统的物理银行概念,商业银行将成为21世纪灭绝的恐龙,互联网金融出现之后,物理概念上的银行将会被颠覆。此外,现有金融格局也将受到冲击,产生互联网时代的金融巨无霸。”

——中国人民银行调查统计司副司长徐诺金

四川新网银行是全国三家互联网银行之一,由新希望集团、小米、红旗连锁等股东发起,于2016年12月28日正式开业,是银监会批准成立的全国第七家民营银行,也是四川省首家民营银行。

新网银行业务运维部门负责人认为,日志数据是一座有待开发的金矿。日常中运维故障排查中也需要通过查询日志定位问题,所以他希望可以对日志进行统一的监控和管理,更好的服务业务部门,但是随着业务体量增大,需要查看的服务器越来越多,如何准确获取运维需要的信息是一个难题。

首先,新网银行对业内比较火的开源日志系统ELK进行了深入的研究,但新网银行的需求是基于业务层面对日志进行分析,对日志分析的功能需求比较个性化,如果使用开源产品,后续就必定需要经常会对其进行一系列的开发和整合,这样就会消耗很多时间和精力,所以新网银行更希望有一套成熟的日志分析解决方案来协助他们对业务进行统一监控和运维。

通过寻找对比市面上的一些日志分析解决方案厂家,新网银行了解到袋鼠云日志团队拥有多年PB级日志数据处理和分析的经验,对业务日志分析也有丰富的实践案例积累,双方一拍即合,希望通过打造一套完整的日志分析解决方案,通过对日志数据进行集中采集、分析、展示,实现对业务系统的实时监控报警、故障分析定位,打造数据驱动的智能运维平台体系。

1

通过日志分析平台的建设,新网银行取得了以下成果:

  • 将日志数据统一收集、存储,满足监管合规需求
  • 银行日志数据有严格的存储时间要求,新网银行实现了将行内各应用业务系统、网络设备等的日志数据进行统一采集、集中存储和长期保存备份。

2

根据流水号
查询交易日志了解业务详情

  • 通过对日志数据进行解析,实现对主要业务系统的运维监控
  • 通过将新网银行各业务系统运行中交易异常、耗时异常,接口错误等关键指标进行聚合统计后,配置相应告警规则,对接行内短信通道及统一告警管理平台,并在故障产生的第一时间告警给负责人员,大大缩短了运维人员的排障时间,降低故障带来的损失。

3

通过对各交易流水日志进行解析
监控各应用请求的耗时

  • 业务监控数据用可视化报表呈现,让数据价值看得见,真正实现数据驱动
  • 通过仪表盘将行内各业务监控指标进行可视化展示,让业务人员和运维人员都能直观地查看异常信息,了解交易详情。

707046c8381f6b3d359b25e220135aa8471b4a29e2b4c0d65f8f39266a78018aa96f7eb04b6328be

将监控指标用可视化图表展示
异常信息一目了然

  • 权限设置,实现分系统分权限查看日志
  • 为了减少和防止人为误操作,保障生产环境的稳定运行,日志平台根据业务系统数据及功能需求严格控制研发、运维及管理人员的权限,故障排查再也无需登录生产环境。

6

二、新网银行和袋鼠云合作探索数据驱动:数据—技术—业务

总结新网银行和袋鼠云的整个合作过程,不得不提到袋鼠云CEO陈吉平经常讲到的三角形架构:“数据——技术——业务”。所谓数据驱动,底层一定是技术来支撑,在具体的业务场景里,挖掘数据的价值,驱动业务创新发展。

新网银行一期计划接入行内20多个业务系统,工作量繁重且艰巨。而且银行业务系统的复杂性,以及外包开发人员打印日志的不规范性,给接下来的日志分析带来了极大的挑战。

作为中国互联网银行业务的创新标杆,新网银行理所当然最了解自身的银行和金融业务。

所以袋鼠云工程师和新网银行的专家们进行紧密合作,深入了解新网银行的业务场景,计划按照业务的优先级将一期20多个业务系统分批接入。首先确定接入的是行内关键的3个业务系统,基于每个业务系统的特殊日志分析需求,双方合作对新网银行的特定业务日志进行了定制化的场景分析。

在和新网银行一起进行日志场景化分析的过程中,袋鼠云日志产品将这些需求沉淀、产品化,袋鼠云日志产品的场景分析功能迅速迭代,配合新网银行内部业务日志的改造工程,一同完善整体日志分析方案。

一个月的时间内,袋鼠云和新网银行共同努力,三大关键业务系统的日志分析功能上线,新网银行的日志分析平台建设初显成果。

在和新网银行建设日志分析平台的过程中,袋鼠云日志实现了和行内大数据平台ES的完全兼容。

也就是说,经由袋鼠云日志平台采集存储加工处理的日志数据可无缝对接到很多银行企业原有的大数据平台中,解决银行企业数据集中难的痛点和难点。

7


新网银行 X 袋鼠云合作打造的日志监控平台
(注:图中数据为演示数据)

三、回到新网银行 X 袋鼠云 合作的起点

2017年6月6日,2017年全国高考开始的前一夜。

当天,还在新网银行做POC测试的袋鼠云日志团队收到一个艰巨的“考题”:

2017年6月9日,新网银行的投资方之一小米科技的创始人雷军将要到新网银行视察。为了更直观、形象地展示行内业务发展情况和科技应用成果,新网银行计划采用当前比较流行的数据可视化的形式。

从需求承接到设计,数据研发,部署一共只有三天时间,听起来是一个完全不可能完成的任务。但是不试一下怎么知道不行?

袋鼠云了解到这一需求,迅速抽调内部设计和前端、后端资源,全力配合:新网银行的工程师们迅速抽取、处理和分析数据,袋鼠云的工程师们则负责大屏展示的设计和前端开发。

3天,72小时,加班加点的努力终于开花结果。

8


最终,在2017年6月9日,领导来视察前,一起完成了这项艰巨项目,并获得了领导的肯定和赞扬。

袋鼠云用了三天三夜定义了自己倡导的价值观:客户第一、团队协作、专业、担当。

9

四、没有技术,是行不通的;只有技术,也还是行不通

作为一家技术驱动的创新型公司,技术实力和经验是袋鼠云的生产资料,是立足之本。

但是只有技术,袋鼠云根本无法为客户提供最好的服务。在和新网银行合作的过程中,客户的大规模量的数据、多元创新的业务让袋鼠云的技术有了发挥余地,客户对自身业务的专业积累帮助袋鼠云更快理解银行日志大数据的应用场景,更高效地探索所谓的“数据驱动”。

而对于袋鼠云,除了专业的技术能力外,更重要的,是在和客户的合作中,真正践行“客户第一”的服务理念。探索“数据驱动”,袋鼠云期待和更多的伙伴一起合作,实践。

目前袋鼠云旗下产品均入驻阿里云企业服务第一平台—云市场,共同帮助更多的企业共同完成转型第一步!目前袋鼠云已经服云市场近万人用户群体,同时云市场也为用户提供“不满意退款”、“全程担保交易”、“软件交付全程监管”、“6道关卡筛选优质商家与商品”等四个100%承诺,让用户消费无忧,也是我们给予客户的承诺。

进入店铺,寻找您所需要的商品。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
11天前
|
Rust 前端开发 JavaScript
Tauri 开发实践 — Tauri 日志记录功能开发
本文介绍了如何为 Tauri 应用配置日志记录。Tauri 是一个利用 Web 技术构建桌面应用的框架。文章详细说明了如何在 Rust 和 JavaScript 代码中设置和集成日志记录,并控制日志输出。通过添加 `log` crate 和 Tauri 日志插件,可以轻松实现多平台日志记录,包括控制台输出、Webview 控制台和日志文件。文章还展示了如何调整日志级别以优化输出内容。配置完成后,日志记录功能将显著提升开发体验和程序稳定性。
31 1
Tauri 开发实践 — Tauri 日志记录功能开发
|
9天前
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
44 6
|
1月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
9天前
|
Web App开发 存储 监控
iLogtail 开源两周年:UC 工程师分享日志查询服务建设实践案例
本文为 iLogtail 开源两周年的实践案例分享,讨论了 iLogtail 作为日志采集工具的优势,包括它在性能上超越 Filebeat 的能力,并通过一系列优化解决了在生产环境中替换 Filebeat 和 Logstash 时遇到的挑战。
|
5天前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
20 3
|
11天前
|
监控 应用服务中间件 网络安全
#637481#基于django和neo4j的日志分析系统
#637481#基于django和neo4j的日志分析系统
27 4
|
17天前
|
存储 监控 固态存储
如何监控和优化 WAL 日志文件的存储空间使用?
如何监控和优化 WAL 日志文件的存储空间使用?
|
1月前
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
35 2
|
13天前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
17天前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控总结
Linux系统命令与网络,磁盘和日志监控总结
40 0