助力工业物联网,工业大数据之费用事实指标分析及实现【二十四】

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 助力工业物联网,工业大数据之费用事实指标分析及实现【二十四】

1:费用事实指标分析及实现

  • 目标实现DWB层费用报销事实指标表的构建
  • 路径
  • step1:目标需求
  • step2:数据来源
  • step3:目标实现
  • 实施
  • 目标需求:基于费用报销数据统计费用报销金额等指标

  • 数据来源
  • ciss_service_expense_report:费用信息表
select
    id,--报销单id
    create_user_id,--创建人id
    submoney5, --报销金额
    create_org_id --创建部门id
from ciss_service_expense_report;
  • ciss_base_servicestation:服务网点信息表
select
    id,--服务网点id
    org_id --部门id
from ciss_base_servicestation;
  • ciss_service_exp_report_dtl:费用明细表
select
    exp_report_id,--报销单id
    submoney5,--项目报销实际金额
    item_id --费用项目id
from ciss_service_exp_report_dtl;
select
       dictid, --项目id
       dictname --项目名称
from one_make_dwb.tmp_dict where dicttypename = '费用报销项目';
  • 目标实现
  • 建表
drop table if exists one_make_dwb.fact_regular_exp;
create table if not exists one_make_dwb.fact_regular_exp(
      exp_id string comment '费用报销id'
    , ss_id string comment '服务网点id'
    , srv_user_id string comment '服务人员id'
    , actual_exp_money decimal(20,1) comment '费用实际报销金额'
    , exp_item string comment '费用项目id'
    , exp_item_name string comment '费用项目名称'
    , exp_item_money decimal(20,1) comment '费用项目实际金额'
)
partitioned by (dt string)
stored as orc
location '/data/dw/dwb/one_make/fact_regular_exp';
  • 抽取
insert overwrite table one_make_dwb.fact_regular_exp partition(dt = '20210101')
select
    /*+repartitions(1) */
    exp.id as exp_id                           --费用报销id
    , ss.id as ss_id                           --服务网点id
    , exp.create_user_id as srv_user_id        --创建人id
    , exp.submoney5 as actual_exp_money        --实际报销金额
    , dict.dictid as exp_item                  --费用项目id
    , dict.dictname as exp_item_name           --费用项目名称
    , exp_dtl.submoney5 as exp_item_money      --费用项目金额
from
--费用信息表
(
    select
      *
  from one_make_dwd.ciss_service_expense_report
    where dt = '20210101' and status = 9 --只取制证会计已审状态
) exp
--服务网点信息表
left join one_make_dwd.ciss_base_servicestation ss
on ss.dt = '20210101' and ss.org_id = exp.create_org_id
--报销明细表
left join one_make_dwd.ciss_service_exp_report_dtl exp_dtl
on exp_dtl.dt = '20210101' and exp.id = exp_dtl.exp_report_id
--数据字典表
left join one_make_dwb.tmp_dict dict
on dict.dicttypename = '费用报销项目' and dict.dictid = exp_dtl.item_id
;
  • 小结
  • 实现DWB层费用报销事实指标表的构建

2:差旅事实指标分析及实现

  • 目标实现DWB层差旅报销事实指标表的构建
  • 路径
  • step1:目标需求
  • step2:数据来源
  • step3:目标实现
  • 实施
  • 目标需求:基于差率报销信息统计交通费用、住宿费用、油费金额等报销费用指标

  • 数据来源
  • ciss_service_trvl_exp_sum:差旅报销汇总信息表
select
    id,--汇总报销单id
    user_id,--报销人id【工程师id】
    status,--汇总单状态:15表示审核通过
    submoney5 --应收报销总金额
from ciss_service_trvl_exp_sum;
  • ciss_s_exp_report_wo_payment:汇总报销单与工单费用单对照表
select
    exp_report_id,--汇总报销单id
    workorder_travel_exp_id --工单费用单id
from ciss_s_exp_report_wo_payment;
  • ciss_service_travel_expense:差旅报销单信息表
select
    id,--差旅报销单id
    work_order_id --工单id
from ciss_service_travel_expense;
  • ciss_service_workorder:工单信息表
select
    id,--工单id
    service_station_id --服务网点id
from ciss_service_workorder;
  • ciss_service_trvl_exp_dtl:差旅费用明细表
select
    travel_expense_id,--费用单id
    item,--费用项目名称
    submoney5 --费用金额
from ciss_service_trvl_exp_dtl;
  • 目标实现
  • 建表
drop table if exists one_make_dwb.fact_trvl_exp;
create table if not exists one_make_dwb.fact_trvl_exp(
      trvl_exp_id string comment '差旅报销单id'
    , ss_id string comment '服务网点id'
    , srv_user_id string comment '服务人员id'
    , biz_trip_money decimal(20,1) comment '外出差旅费用金额总计'
    , in_city_traffic_money decimal(20,1) comment '市内交通费用金额总计'
    , hotel_money decimal(20,1) comment '住宿费费用金额总计'
    , fars_money decimal(20,1) comment '车船费用金额总计'
    , subsidy_money decimal(20,1) comment '补助费用金额总计'
    , road_toll_money decimal(20,1) comment '过桥过路费用金额总计'
    , oil_money decimal(20,1) comment '油费金额总计'
    , secondary_money decimal(20,1) comment '二单补助费用总计'
    , third_money decimal(20,1) comment '三单补助费用总计'
    , actual_total_money decimal(20,1) comment '费用报销总计'
)
partitioned by (dt string)
stored as orc
location '/data/dw/dwb/one_make/fact_trvl_exp';
  • 抽取
insert overwrite table one_make_dwb.fact_trvl_exp partition(dt = '20210101')
select
  --差旅费汇总单id
    exp_sum.id as trvl_exp_id
  --服务网点id
    , wrk_odr.service_station_id as ss_id
  --服务人员id
    , exp_sum.user_id as srv_user_id
  --外出差旅费用金额总计
    , sum(case when trvl_dtl_sum.item = 1 then trvl_dtl_sum.item_money else 0 end) as biz_trip_money
    --市内交通费用金额总计
  , sum(case when trvl_dtl_sum.item = 2 then trvl_dtl_sum.item_money else 0 end) as in_city_traffic_money
    --住宿费费用金额总计
  , sum(case when trvl_dtl_sum.item = 3 then trvl_dtl_sum.item_money else 0 end) as hotel_money
    --车船费用金额总计
  , sum(case when trvl_dtl_sum.item = 4 then trvl_dtl_sum.item_money else 0 end) as fars_money
    --补助费用金额总计
  , sum(case when trvl_dtl_sum.item = 5 then trvl_dtl_sum.item_money else 0 end) as subsidy_money
    --过桥过路费用金额总计
  , sum(case when trvl_dtl_sum.item = 6 then trvl_dtl_sum.item_money else 0 end) as road_toll_money
    --油费金额总计
  , sum(case when trvl_dtl_sum.item = 7 then trvl_dtl_sum.item_money else 0 end) as oil_money
    --二单补助费用总计
  , sum(case when trvl_dtl_sum.item = 8 then trvl_dtl_sum.item_money else 0 end) as secondary_money
    --三单补助费用总计
  , sum(case when trvl_dtl_sum.item = 9 then trvl_dtl_sum.item_money else 0 end) as third_money
    --费用报销总计
  , max(exp_sum.submoney5) as actual_total_money
--差旅报销汇总单
from one_make_dwd.ciss_service_trvl_exp_sum exp_sum
--汇总报销单与工单费用单对照表
inner join one_make_dwd.ciss_s_exp_report_wo_payment r on exp_sum.dt = '20210101' and r.dt = '20210101' and exp_sum.id = r.exp_report_id and exp_sum.status = 15
--差旅报销单信息表
inner join one_make_dwd.ciss_service_travel_expense exp on exp.dt = '20210101' and exp.id = r.workorder_travel_exp_id
--工单信息表
inner join one_make_dwd.ciss_service_workorder wrk_odr on wrk_odr.dt = '20210101' and wrk_odr.id = exp.work_order_id
--获取每种费用项目总金额
inner join  (
        select
          travel_expense_id, item, sum(submoney5) as item_money
        from one_make_dwd.ciss_service_trvl_exp_dtl
        where dt = '20210101'
        group by travel_expense_id, item
    ) as trvl_dtl_sum
  on trvl_dtl_sum.travel_expense_id = exp.id
group by exp_sum.id, wrk_odr.service_station_id, exp_sum.user_id
;
  • 小结
  • 实现DWB层差旅报销事实指标表的构建

3:网点物料事实指标分析及实现

  • 目标实现DWB层网点物料事实指标表的构建
  • 路径
  • step1:目标需求
  • step2:数据来源
  • step3:目标实现
  • 差旅报销汇总信息表实施
  • 目标需求:基于物料申请单的信息统计物料申请数量、物料申请金额等指标

  • 数据来源
  • ciss_material_wdwl_sqd:物料申请信息表
select
    id,--申请单id
    code,--申请单编号
    service_station_code,--网点编号
    logistics_type,--物流公司类型
    logistics_company,--物流公司名称
    warehouse_code --仓库id
from ciss_material_wdwl_sqd;
  • ciss_base_servicestation:服务网点信息表
select
    id,--服务网点id
    code --服务网点编号
from ciss_base_servicestation;
  • ciss_material_wdwl_sqd_dtl:物料申请明细表
select
    wdwl_sqd_id,--申请单id
    application_reason,--申请理由
    count_approve,--审核数量
    price,--单价
    count --个数
from ciss_material_wdwl_sqd_dtl;
  • 目标实现
  • 建表
create table if not exists one_make_dwb.fact_srv_stn_ma(
      ma_id string comment '申请单id'
    , ma_code string comment '申请单编码'
    , ss_id string comment '服务网点id'
    , logi_id string comment '物流类型id'
    , logi_cmp_id string comment '物流公司id'
    , warehouse_id string comment '仓库id'
    , total_m_num decimal(10,0) comment '申请物料总数量'
    , total_m_money decimal(10,1) comment '申请物料总金额'
    , ma_form_num decimal(10,0) comment '申请单数量'
    , inst_m_num decimal(10,0) comment '安装申请物料数量'
    , inst_m_money decimal(10,1) comment '安装申请物料金额'
    , bn_m_num decimal(10,0) comment '保内申请物料数量'
    , bn_m_money decimal(10,1) comment '保内申请物料金额'
    , rmd_m_num decimal(10,0) comment '改造申请物料数量'
    , rmd_m_money decimal(10,1) comment '改造申请物料金额'
    , rpr_m_num decimal(10,0) comment '维修申请物料数量'
    , rpr_m_money decimal(10,1) comment '维修申请物料金额'
    , sales_m_num decimal(10,0) comment '销售申请物料数量'
    , sales_m_money decimal(10,1) comment '销售申请物料金额'
    , insp_m_num decimal(10,0) comment '巡检申请物料数量'
    , insp_m_money decimal(10,1) comment '巡检申请物料金额'
)
partitioned by (dt string)
stored as orc
location '/data/dw/dwb/one_make/fact_srv_stn_ma';
  • 抽取
insert overwrite table one_make_dwb.fact_srv_stn_ma partition(dt = '20210101')
select    
  /*+repartition(1) */ 
    ma.id as ma_id,                          --物料申请单id
  ma.code as ma_code,                        --申请单编号
  stn.id as ss_id,                           --服务网点id
  ma.logistics_type as logi_id,              --物流类型id
  ma.logistics_company as logi_cmp_id,       --物流公司id
    ma.warehouse_code as warehouse_id,         --仓库id
  sum(m_smry.cnt) as total_m_num ,           --申请物料总数量
  sum(m_smry.money) as total_m_money,        --申请物料总金额
    count(1) as ma_form_num,                   --申请单数量
  sum(case when m_smry.ma_rsn = 1 then m_smry.cnt else 0 end) as inst_m_num,        --安装申请物料数量   
    sum(case when m_smry.ma_rsn = 1 then m_smry.money else 0 end) as inst_m_money,    --安装申请物料金额
    sum(case when m_smry.ma_rsn = 2 then m_smry.cnt else 0 end) as bn_m_num,          --保内申请物料数量
    sum(case when m_smry.ma_rsn = 2 then m_smry.money else 0 end) as bn_m_money,      --保内申请物料金额
    sum(case when m_smry.ma_rsn = 3 then m_smry.cnt else 0 end) as rmd_m_num,         --改造申请物料数量
    sum(case when m_smry.ma_rsn = 3 then m_smry.money else 0 end) as rmd_m_money,     --改造申请物料金额
    sum(case when m_smry.ma_rsn = 4 then m_smry.cnt else 0 end) as rpr_m_num,         --维修申请物料数量
    sum(case when m_smry.ma_rsn = 4 then m_smry.money else 0 end) as rpr_m_money,     --维修申请物料金额
    sum(case when m_smry.ma_rsn = 5 then m_smry.cnt else 0 end) as sales_m_num,       --销售申请物料数量
    sum(case when m_smry.ma_rsn = 5 then m_smry.money else 0 end) as sales_m_money,   --销售申请物料金额
    sum(case when m_smry.ma_rsn = 6 then m_smry.cnt else 0 end) as insp_m_num,        --巡检申请物料数量
    sum(case when m_smry.ma_rsn = 6 then m_smry.money else 0 end) as insp_m_money     --巡检申请物料金额
--物料申请信息表:8为审核通过
from (
    select * 
    from one_make_dwd.ciss_material_wdwl_sqd 
    where dt = '20210101' and status = 8 
   ) ma
--关联站点信息表,获取站点id
left join one_make_dwd.ciss_base_servicestation stn 
  on stn.dt = '20210101' and ma.service_station_code = stn.code
--关联物料申请费用明细
left join (
       select 
        dtl.wdwl_sqd_id as wdwl_sqd_id, 
        dtl.application_reason as ma_rsn, 
        sum(dtl.count_approve) as cnt,
                sum(dtl.price * dtl.count) as money
             from one_make_dwd.ciss_material_wdwl_sqd_dtl dtl
       where dtl.dt = '20210101'
       group by dtl.wdwl_sqd_id, dtl.application_reason
          ) m_smry on m_smry.wdwl_sqd_id = ma.id
group by ma.id, ma.code, stn.id, ma.logistics_type, ma.logistics_company, ma.warehouse_code
;
  • 小结
  • 实现DWB层网点物料事实指标表的构建


目录
相关文章
|
9天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
37 2
|
11天前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
61 14
|
17天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
53 2
|
18天前
|
数据采集 机器学习/深度学习 搜索推荐
大数据与社交媒体:用户行为分析
【10月更文挑战第31天】在数字化时代,社交媒体成为人们生活的重要部分,大数据技术的发展使其用户行为分析成为企业理解用户需求、优化产品设计和提升用户体验的关键手段。本文探讨了大数据在社交媒体用户行为分析中的应用,包括用户画像构建、情感分析、行为路径分析和社交网络分析,以及面临的挑战与机遇。
|
18天前
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。
|
18天前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
132 0
|
21天前
|
人工智能 供应链 搜索推荐
大数据分析:解锁商业智能的秘密武器
【10月更文挑战第31天】在信息爆炸时代,大数据分析成为企业解锁商业智能的关键工具。本文探讨了大数据分析在客户洞察、风险管理、供应链优化、产品开发和决策支持等方面的应用,强调了明确分析目标、选择合适工具、培养专业人才和持续优化的重要性,并展望了未来的发展趋势。
|
19天前
|
SQL 监控 物联网
ClickHouse在物联网(IoT)中的应用:实时监控与分析
【10月更文挑战第27天】随着物联网(IoT)技术的快速发展,越来越多的设备被连接到互联网上,产生了海量的数据。这些数据不仅包含了设备的状态信息,还包括用户的使用习惯、环境参数等。如何高效地处理和分析这些数据,成为了一个重要的挑战。作为一位数据工程师,我在一个物联网项目中深入使用了ClickHouse,以下是我的经验和思考。
45 0
|
6天前
|
存储 安全 物联网
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用?
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用?
71 50
|
6天前
|
安全 物联网 物联网安全
制定统一的物联网技术标准和规范的难点有哪些?
制定统一的物联网技术标准和规范的难点有哪些?
20 2