本文分CSDN博客IT小牛呕吐构建,个人经验。独家报道,第一视角礼物、保险公司决策分析系统的建设背景、为了实现其目的,它的项目计划,以及如何。绝对干燥,绝对超值。
科普知识:什么是决策分析系统
决策分析系统呈现的是数据页面,也就是俗称的报表。报表与报表间、数据与数据间都依照一定的逻辑设定。是业务人员查看、分析数据的平台。更是辅助领导们运营决策的平台。底层数据决定上层分析。所以建设决策分析系统一般包含数据层处理(数据仓库建设)。
开篇点题:项目背景是怎么样的
通常,保险公司信息化程度非常高。基本上都有业务处理系统(像集团业务处理系统、老业务处理系统、个人代理人系统等)、数据服务系统(通过ETL对各业务系统数据的集成)、数据分析查询系统(比方销售管理系统、业务查询系统)。
说下项目主角:某某保险公司。
话说该保险公司的业务在发展,时间再推移,上述三大系统在配合应用方面就显得很吃力,问题有:
一、数据量进入TB级
数据变化,多表关联查询,更新删除。受软硬件制约,比之前缓慢。传统写SQL做报表已跟不上节奏。还要保证数据的即时性,准确性,可靠性。
二、报表需求爆炸增长
公司经营体制改革,各业务渠道各部门对数据报表要求在深度,广度。精度越来越高。需求从不同的视角切分查看汇总数据。业务流程时效,处理过程预警。
三、报表开发时效性问题
公司部门人员往往今天提一个需求,明天就想要结果,传统的用存储过程,dtsx包先处理好数据,然后从结果表出数据,一个暂时表相应一张报表,很耗时。延误需求。开发者工作量也大。
四、统计口径不一致
没有统一的维度,统一的数据标准(业务数据录入出错),统一的业务逻辑,开发者不同,一个报表这个指标这样算,另外一个人员那样算。导致天天在核对数据。
五、数据权限
不同的用户看到不同的报表,同一张报表看到不同的内容。之前套路开发缓慢。
六、大量数据在沉睡
积累了大量的客户,销售人员和保单数据交易数据。未充分利用。数据深层次的关联。因为信息开发者工作时间被上面几项问题天天缠着,根本没有时间结合公司实际,去发现数据价值,活用数据。从而把数据转为生产力。帮助领导决策,指导销售人员跟单。
所以,高大上的决策分析系统呼之而出。光荣的历史使命便是:挖掘现有数据价值。用活数据。将数据转化为生产力,从而辅助领导进行决策。促进提高工作效率。提升公司效益。
剑指咽喉:项目建设的目的明细
一、公司数据达到总体统一。全部的分析数据均来源于一处。并且有明白的符合业务的数据粒度,实现数据及时、准确、可靠。
二、统一门户管理报表,统一管理原有系统的报表,以及新开发的报表。
不同的职位相应不同的报表查阅、打印、下载权限。对于公共的报表,直接放在站点上,供全部人查询浏览。无需用户登录。同一时候用户能够在移动端查看报表。
三、报表功能上方便。快捷,高效,展现方式丰富,能够轻松开发报表。
能实现定制式报表。用户自己定义分析报表,即不同人物角色进去看到的指标不同:有的关注总的,有的关注个人渠道的,且能够让他们自己选择关注的指标。
四、报表在性能方面达到要求,对大数据处理有好的方式,确保在查询5万+以上明细数据时能够高速出来。
五、为未来考虑,整个系统要方便扩展,且有新的技术和应用能够更新。
排兵布阵:项目建设的方案设计
一、数据仓库
1、处理TB级的数据,避免磁盘IO瓶颈。採取分库分表,数据压缩技术设计架构数据库中的表存储。
2、kimball维度设计法则。面向主题设计,分维度表,事实表,採用星形,雪花型结构设计表间关系结构。
主题大概有收付费主题,保单主题。新契约主题,核保主题。保全主题,理赔主题。客户主题,单证主题,人力主题等。清单类数据维度架构中直接SQL出。指标类数据从多维数集中通过MDX出。
3、用SSIS从业务系统提取、转换数据。载入到主题库表中。
二、报表开发
用FineReport报表工具依托数据仓库,开发 “经常使用指标式-固定报表”、“经常使用指标式-定制报表”、“很常使用指标式-数据分析报表”、“很常使用指标式-推送查询式报表”、“很常使用指标式-用户自己定义查询报表”等5类报表N多张报表模板。
三、权限管理
用FineReport报表工具基于角色控制报表与数据仓库中角色维度结合。同一时候与业务系统等集成,统一权限管理,实现单点登录。
四、后台支撑
APACHE+TOMCAT集群部暑FineReport,以满足5000人訪问
五、数据分析挖掘
基于数据仓库。採用多变量分析等方法,对数据进行分析。发现潜在关系。对下一步行为决策提供根据。
辛苦收官,IT小牛的心得总结
全部IT高手都是熬出来的,IT小牛也是。这个项目写出来感觉轻轻松松,实际上这个过程是相当不平。该项目的难度超出预期。特别是,数据仓库积木。上个月,项目延期,处理IT小牛队承接各种压力,作为项目经理,情绪的波动项目成员。品种督促公司和客户。最后生存,很多人觉得增长,首先评估小心处理工程。早期的研究项目一定要好好做的足够好;第二,生长心态,经过约去冷眼看世界。无论是悲伤和喜悦。
本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5042530.html,如需转载请自行联系原作者