新网银行:银行核心业务系统日志监控平台建设实践

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志分析平台,帮助新网银行更好的成长~

一、日志分析,驱动银行创新进化

“互联网金融正在冲击传统的物理银行概念,商业银行将成为21世纪灭绝的恐龙,互联网金融出现之后,物理概念上的银行将会被颠覆。此外,现有金融格局也将受到冲击,产生互联网时代的金融巨无霸。”

——中国人民银行调查统计司副司长徐诺金

四川新网银行是全国三家互联网银行之一,由新希望集团、小米、红旗连锁等股东发起,于2016年12月28日正式开业,是银监会批准成立的全国第七家民营银行,也是四川省首家民营银行。

新网银行业务运维部门负责人认为,日志数据是一座有待开发的金矿。日常中运维故障排查中也需要通过查询日志定位问题,所以他希望可以对日志进行统一的监控和管理,更好的服务业务部门,但是随着业务体量增大,需要查看的服务器越来越多,如何准确获取运维需要的信息是一个难题。

首先,新网银行对业内比较火的开源日志系统ELK进行了深入的研究,但新网银行的需求是基于业务层面对日志进行分析,对日志分析的功能需求比较个性化,如果使用开源产品,后续就必定需要经常会对其进行一系列的开发和整合,这样就会消耗很多时间和精力,所以新网银行更希望有一套成熟的日志分析解决方案来协助他们对业务进行统一监控和运维。

通过寻找对比市面上的一些日志分析解决方案厂家,新网银行了解到袋鼠云日志团队拥有多年PB级日志数据处理和分析的经验,对业务日志分析也有丰富的实践案例积累,双方一拍即合,希望通过打造一套完整的日志分析解决方案,通过对日志数据进行集中采集、分析、展示,实现对业务系统的实时监控报警、故障分析定位,打造数据驱动的智能运维平台体系。

1

通过日志分析平台的建设,新网银行取得了以下成果:

  • 将日志数据统一收集、存储,满足监管合规需求
  • 银行日志数据有严格的存储时间要求,新网银行实现了将行内各应用业务系统、网络设备等的日志数据进行统一采集、集中存储和长期保存备份。

2

根据流水号
查询交易日志了解业务详情

  • 通过对日志数据进行解析,实现对主要业务系统的运维监控
  • 通过将新网银行各业务系统运行中交易异常、耗时异常,接口错误等关键指标进行聚合统计后,配置相应告警规则,对接行内短信通道及统一告警管理平台,并在故障产生的第一时间告警给负责人员,大大缩短了运维人员的排障时间,降低故障带来的损失。

3

通过对各交易流水日志进行解析
监控各应用请求的耗时

  • 业务监控数据用可视化报表呈现,让数据价值看得见,真正实现数据驱动
  • 通过仪表盘将行内各业务监控指标进行可视化展示,让业务人员和运维人员都能直观地查看异常信息,了解交易详情。

707046c8381f6b3d359b25e220135aa8471b4a29e2b4c0d65f8f39266a78018aa96f7eb04b6328be

将监控指标用可视化图表展示
异常信息一目了然

  • 权限设置,实现分系统分权限查看日志
  • 为了减少和防止人为误操作,保障生产环境的稳定运行,日志平台根据业务系统数据及功能需求严格控制研发、运维及管理人员的权限,故障排查再也无需登录生产环境。

6

二、新网银行和袋鼠云合作探索数据驱动:数据—技术—业务

总结新网银行和袋鼠云的整个合作过程,不得不提到袋鼠云CEO陈吉平经常讲到的三角形架构:“数据——技术——业务”。所谓数据驱动,底层一定是技术来支撑,在具体的业务场景里,挖掘数据的价值,驱动业务创新发展。

新网银行一期计划接入行内20多个业务系统,工作量繁重且艰巨。而且银行业务系统的复杂性,以及外包开发人员打印日志的不规范性,给接下来的日志分析带来了极大的挑战。

作为中国互联网银行业务的创新标杆,新网银行理所当然最了解自身的银行和金融业务。

所以袋鼠云工程师和新网银行的专家们进行紧密合作,深入了解新网银行的业务场景,计划按照业务的优先级将一期20多个业务系统分批接入。首先确定接入的是行内关键的3个业务系统,基于每个业务系统的特殊日志分析需求,双方合作对新网银行的特定业务日志进行了定制化的场景分析。

在和新网银行一起进行日志场景化分析的过程中,袋鼠云日志产品将这些需求沉淀、产品化,袋鼠云日志产品的场景分析功能迅速迭代,配合新网银行内部业务日志的改造工程,一同完善整体日志分析方案。

一个月的时间内,袋鼠云和新网银行共同努力,三大关键业务系统的日志分析功能上线,新网银行的日志分析平台建设初显成果。

在和新网银行建设日志分析平台的过程中,袋鼠云日志实现了和行内大数据平台ES的完全兼容。

也就是说,经由袋鼠云日志平台采集存储加工处理的日志数据可无缝对接到很多银行企业原有的大数据平台中,解决银行企业数据集中难的痛点和难点。

7


新网银行 X 袋鼠云合作打造的日志监控平台
(注:图中数据为演示数据)

三、回到新网银行 X 袋鼠云 合作的起点

2017年6月6日,2017年全国高考开始的前一夜。

当天,还在新网银行做POC测试的袋鼠云日志团队收到一个艰巨的“考题”:

2017年6月9日,新网银行的投资方之一小米科技的创始人雷军将要到新网银行视察。为了更直观、形象地展示行内业务发展情况和科技应用成果,新网银行计划采用当前比较流行的数据可视化的形式。

从需求承接到设计,数据研发,部署一共只有三天时间,听起来是一个完全不可能完成的任务。但是不试一下怎么知道不行?

袋鼠云了解到这一需求,迅速抽调内部设计和前端、后端资源,全力配合:新网银行的工程师们迅速抽取、处理和分析数据,袋鼠云的工程师们则负责大屏展示的设计和前端开发。

3天,72小时,加班加点的努力终于开花结果。

8


最终,在2017年6月9日,领导来视察前,一起完成了这项艰巨项目,并获得了领导的肯定和赞扬。

袋鼠云用了三天三夜定义了自己倡导的价值观:客户第一、团队协作、专业、担当。

9

四、没有技术,是行不通的;只有技术,也还是行不通

作为一家技术驱动的创新型公司,技术实力和经验是袋鼠云的生产资料,是立足之本。

但是只有技术,袋鼠云根本无法为客户提供最好的服务。在和新网银行合作的过程中,客户的大规模量的数据、多元创新的业务让袋鼠云的技术有了发挥余地,客户对自身业务的专业积累帮助袋鼠云更快理解银行日志大数据的应用场景,更高效地探索所谓的“数据驱动”。

而对于袋鼠云,除了专业的技术能力外,更重要的,是在和客户的合作中,真正践行“客户第一”的服务理念。探索“数据驱动”,袋鼠云期待和更多的伙伴一起合作,实践。

目前袋鼠云旗下产品均入驻阿里云企业服务第一平台—云市场,共同帮助更多的企业共同完成转型第一步!目前袋鼠云已经服云市场近万人用户群体,同时云市场也为用户提供“不满意退款”、“全程担保交易”、“软件交付全程监管”、“6道关卡筛选优质商家与商品”等四个100%承诺,让用户消费无忧,也是我们给予客户的承诺。

进入店铺,寻找您所需要的商品。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
17天前
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
279 69
Grafana Loki,轻量级日志系统
|
28天前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
1月前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
147 11
|
1月前
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
84 8
|
2月前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
|
2月前
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
484 12
云上数据安全保护:敏感日志扫描与脱敏实践详解
|
2月前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
115 2
|
3月前
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
|
3月前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
330 2
|
4月前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
104 1