新网银行:银行核心业务系统日志监控平台建设实践

简介: 日志分析平台,帮助新网银行更好的成长~

一、日志分析,驱动银行创新进化

“互联网金融正在冲击传统的物理银行概念,商业银行将成为21世纪灭绝的恐龙,互联网金融出现之后,物理概念上的银行将会被颠覆。此外,现有金融格局也将受到冲击,产生互联网时代的金融巨无霸。”

——中国人民银行调查统计司副司长徐诺金

四川新网银行是全国三家互联网银行之一,由新希望集团、小米、红旗连锁等股东发起,于2016年12月28日正式开业,是银监会批准成立的全国第七家民营银行,也是四川省首家民营银行。

新网银行业务运维部门负责人认为,日志数据是一座有待开发的金矿。日常中运维故障排查中也需要通过查询日志定位问题,所以他希望可以对日志进行统一的监控和管理,更好的服务业务部门,但是随着业务体量增大,需要查看的服务器越来越多,如何准确获取运维需要的信息是一个难题。

首先,新网银行对业内比较火的开源日志系统ELK进行了深入的研究,但新网银行的需求是基于业务层面对日志进行分析,对日志分析的功能需求比较个性化,如果使用开源产品,后续就必定需要经常会对其进行一系列的开发和整合,这样就会消耗很多时间和精力,所以新网银行更希望有一套成熟的日志分析解决方案来协助他们对业务进行统一监控和运维。

通过寻找对比市面上的一些日志分析解决方案厂家,新网银行了解到袋鼠云日志团队拥有多年PB级日志数据处理和分析的经验,对业务日志分析也有丰富的实践案例积累,双方一拍即合,希望通过打造一套完整的日志分析解决方案,通过对日志数据进行集中采集、分析、展示,实现对业务系统的实时监控报警、故障分析定位,打造数据驱动的智能运维平台体系。

1

通过日志分析平台的建设,新网银行取得了以下成果:

  • 将日志数据统一收集、存储,满足监管合规需求
  • 银行日志数据有严格的存储时间要求,新网银行实现了将行内各应用业务系统、网络设备等的日志数据进行统一采集、集中存储和长期保存备份。

2

根据流水号
查询交易日志了解业务详情

  • 通过对日志数据进行解析,实现对主要业务系统的运维监控
  • 通过将新网银行各业务系统运行中交易异常、耗时异常,接口错误等关键指标进行聚合统计后,配置相应告警规则,对接行内短信通道及统一告警管理平台,并在故障产生的第一时间告警给负责人员,大大缩短了运维人员的排障时间,降低故障带来的损失。

3

通过对各交易流水日志进行解析
监控各应用请求的耗时

  • 业务监控数据用可视化报表呈现,让数据价值看得见,真正实现数据驱动
  • 通过仪表盘将行内各业务监控指标进行可视化展示,让业务人员和运维人员都能直观地查看异常信息,了解交易详情。

707046c8381f6b3d359b25e220135aa8471b4a29e2b4c0d65f8f39266a78018aa96f7eb04b6328be

将监控指标用可视化图表展示
异常信息一目了然

  • 权限设置,实现分系统分权限查看日志
  • 为了减少和防止人为误操作,保障生产环境的稳定运行,日志平台根据业务系统数据及功能需求严格控制研发、运维及管理人员的权限,故障排查再也无需登录生产环境。

6

二、新网银行和袋鼠云合作探索数据驱动:数据—技术—业务

总结新网银行和袋鼠云的整个合作过程,不得不提到袋鼠云CEO陈吉平经常讲到的三角形架构:“数据——技术——业务”。所谓数据驱动,底层一定是技术来支撑,在具体的业务场景里,挖掘数据的价值,驱动业务创新发展。

新网银行一期计划接入行内20多个业务系统,工作量繁重且艰巨。而且银行业务系统的复杂性,以及外包开发人员打印日志的不规范性,给接下来的日志分析带来了极大的挑战。

作为中国互联网银行业务的创新标杆,新网银行理所当然最了解自身的银行和金融业务。

所以袋鼠云工程师和新网银行的专家们进行紧密合作,深入了解新网银行的业务场景,计划按照业务的优先级将一期20多个业务系统分批接入。首先确定接入的是行内关键的3个业务系统,基于每个业务系统的特殊日志分析需求,双方合作对新网银行的特定业务日志进行了定制化的场景分析。

在和新网银行一起进行日志场景化分析的过程中,袋鼠云日志产品将这些需求沉淀、产品化,袋鼠云日志产品的场景分析功能迅速迭代,配合新网银行内部业务日志的改造工程,一同完善整体日志分析方案。

一个月的时间内,袋鼠云和新网银行共同努力,三大关键业务系统的日志分析功能上线,新网银行的日志分析平台建设初显成果。

在和新网银行建设日志分析平台的过程中,袋鼠云日志实现了和行内大数据平台ES的完全兼容。

也就是说,经由袋鼠云日志平台采集存储加工处理的日志数据可无缝对接到很多银行企业原有的大数据平台中,解决银行企业数据集中难的痛点和难点。

7


新网银行 X 袋鼠云合作打造的日志监控平台
(注:图中数据为演示数据)

三、回到新网银行 X 袋鼠云 合作的起点

2017年6月6日,2017年全国高考开始的前一夜。

当天,还在新网银行做POC测试的袋鼠云日志团队收到一个艰巨的“考题”:

2017年6月9日,新网银行的投资方之一小米科技的创始人雷军将要到新网银行视察。为了更直观、形象地展示行内业务发展情况和科技应用成果,新网银行计划采用当前比较流行的数据可视化的形式。

从需求承接到设计,数据研发,部署一共只有三天时间,听起来是一个完全不可能完成的任务。但是不试一下怎么知道不行?

袋鼠云了解到这一需求,迅速抽调内部设计和前端、后端资源,全力配合:新网银行的工程师们迅速抽取、处理和分析数据,袋鼠云的工程师们则负责大屏展示的设计和前端开发。

3天,72小时,加班加点的努力终于开花结果。

8


最终,在2017年6月9日,领导来视察前,一起完成了这项艰巨项目,并获得了领导的肯定和赞扬。

袋鼠云用了三天三夜定义了自己倡导的价值观:客户第一、团队协作、专业、担当。

9

四、没有技术,是行不通的;只有技术,也还是行不通

作为一家技术驱动的创新型公司,技术实力和经验是袋鼠云的生产资料,是立足之本。

但是只有技术,袋鼠云根本无法为客户提供最好的服务。在和新网银行合作的过程中,客户的大规模量的数据、多元创新的业务让袋鼠云的技术有了发挥余地,客户对自身业务的专业积累帮助袋鼠云更快理解银行日志大数据的应用场景,更高效地探索所谓的“数据驱动”。

而对于袋鼠云,除了专业的技术能力外,更重要的,是在和客户的合作中,真正践行“客户第一”的服务理念。探索“数据驱动”,袋鼠云期待和更多的伙伴一起合作,实践。

目前袋鼠云旗下产品均入驻阿里云企业服务第一平台—云市场,共同帮助更多的企业共同完成转型第一步!目前袋鼠云已经服云市场近万人用户群体,同时云市场也为用户提供“不满意退款”、“全程担保交易”、“软件交付全程监管”、“6道关卡筛选优质商家与商品”等四个100%承诺,让用户消费无忧,也是我们给予客户的承诺。

进入店铺,寻找您所需要的商品。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
1月前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
29 0
|
2月前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
235 1
|
1月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群监控与日志管理实践
【2月更文挑战第29天】 在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。然而,随着集群规模的扩大和业务复杂度的提升,有效的监控和日志管理变得至关重要。本文将探讨构建高效 Kubernetes 集群监控系统的策略,以及实施日志聚合和分析的最佳实践。通过引入如 Prometheus 和 Fluentd 等开源工具,我们旨在为运维专家提供一套完整的解决方案,以保障系统的稳定性和可靠性。
|
6天前
|
JavaScript Java 测试技术
基于Java的公司员工工作日志办公系统的设计与实现(源码+lw+部署文档+讲解等)
基于Java的公司员工工作日志办公系统的设计与实现(源码+lw+部署文档+讲解等)
31 3
|
23天前
|
C++
QT实现一个简单的日志打印系统
QT实现一个简单的日志打印系统
|
1月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群的监控与日志管理实践
【2月更文挑战第31天】 在微服务架构日益普及的今天,容器编排工具如Kubernetes已成为部署、管理和扩展容器化应用的关键平台。然而,随着集群规模的扩大和业务复杂性的增加,如何有效监控集群状态、及时响应系统异常,以及管理海量日志信息成为了运维人员面临的重要挑战。本文将深入探讨 Kubernetes 集群监控的最佳实践和日志管理的高效策略,旨在为运维团队提供一套系统的解决思路和操作指南。
27 0
|
1月前
|
存储 消息中间件 监控
Zoom 基于Apache Hudi 的流式日志处理实践
Zoom 基于Apache Hudi 的流式日志处理实践
44 1
|
2月前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI问题之日志报错误如何解决
人工智能平台PAI是指阿里云提供的机器学习平台服务,支持建模、训练和部署机器学习模型;本合集将介绍机器学习PAI的功能和操作流程,以及在使用过程中遇到的问题和解决方案。
53 0
人工智能平台PAI问题之日志报错误如何解决
|
2月前
|
监控 Java API
JDK 9新特性深度探索:平台日志API和服务
本文将深入探讨JDK 9中引入的平台日志API和服务。这一新特性为Java应用程序提供了更强大、灵活的日志记录功能,帮助开发者更好地监控和诊断应用程序的运行状况。本文将详细介绍平台日志API和服务的特性和优势,以及如何在项目中应用这一新特性来提升应用程序的稳定性和可维护性。

热门文章

最新文章