偷税漏税行为检测:Keras库构建神经网络模型,scikit-learn库构建CART决策树模型

简介: 偷税漏税行为检测企业做假账偷税漏税的行为普遍存在,汽车行业通过“多开发票”、“做双份报表”、“减少支出”等方式进行偷漏税。本任务使用Keras库来构建神经网络模型,使用scikit-learn库构建CART决策树模型,并构建决策树模型预测企业是否漏税。

偷税漏税行为检测
企业做假账偷税漏税的行为普遍存在,汽车行业通过“多开发票”、“做双份报表”、“减少支出”等方式进行偷漏税。本任务使用Keras库来构建神经网络模型,使用scikit-learn库构建CART决策树模型,并构建决策树模型预测企业是否漏税。

通过本任务,您将掌握以下内容:

1、构建LM神经网络模型。

2、构建CART决策树模型,并构建决策树模型。

3、学会分析模型的好坏。

4、对比LM神经网络的ROC曲线比CART决策树的ROC曲线的好坏。

背景和挖掘目标
企业做假账偷税漏税的行为普遍存在,汽车行业通过“多开发票”、“做双份报表”、“减少支出”等方式进行偷漏税。随着企业偷漏税现在泛滥,也影响国家经济基础。通过数据挖掘能自动识别企业偷漏税行为,提高稽查效率减少经济损失。汽车销售行业在税收上存在少开发票金额、少记收入,上牌、按揭、保险不入账,不及时确认保修索赔款等情况,导致政府损失大量税收。汽车销售企业的部分经营指标数据能在一定程度上评估企业的偷漏税倾向。样本数据提供了汽车销售行业纳税人的各种属性和是否偷漏税标识,提取纳税人经营特征可以建立偷漏税行为识别模型。

分析方法和过程
在建立偷漏税识别模型前需要先整理流程(如下图),主要包含以下步骤:

从后台业务系统抽取企业经营指标静态数据,保证建模样本数据稳定性。

对样本数据进行探索性分析,查看指标分布情况。

对样本数据进行预处理,包括数据集清洗、缺失值处理和数据规则化。

选取特征建立样本集和测试集。

构建识别模型对样本数据进行模型训练,并对模型进行评价。

使用多种模型并挑选最优模型进行自动识别。

实验环境
Linux Ubuntu 14.04

Python3.6

实验步骤
1.首先在Linux上新建/data/python4目录,并切换到该目录下。

view plain copy
sudo mkdir -p /data/python4
view plain copy
cd /data/python4
修改/data/python4目录下的所有文件及子目录的所有者和所属的组为:zhangyu

view plain copy
sudo chown -R zhangyu.zhangyu /data/python4
2.使用wge命令,从网址 http://192.168.1.100:60000/allfiles/python4/目录下,将实验所需数据下载到linux本地/data/python4目录下。

view plain copy
sudo wget http://192.168.1.100:60000/allfiles/python4/carsales_data.xls
3.新建一个Python 项目,名为python4

4.在python4项目下,新建一个Python file文件

命名为explore_analyse。

数据探索分析
5.样本数据包含15个特征属性,分别为14个输入特征和1个输出特征,有纳税人基本信息和经营指标数据。数据探索性分析能及早发现样本数据是否存在较大差异和对数据的整体情况有基本的认识。具体代码如下:

view plain copy
import matplotlib
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm

fontPath ="/usr/share/fonts/truetype/wqy/wqy-microhei.ttc"
font = fm.FontProperties(fname=fontPath, size=10)
inputfile='/data/python4/carsales_data.xls'
data=pd.read_excel(inputfile,index_col='纳税人编号')

fig, axes = plt.subplots(1, 2)
fig.set_size_inches(12, 4, )
ax0, ax1 = axes.flat
a=data['销售类型'].value_counts().plot(kind='barh', ax=ax0, title='销售类型分布情况',)
a.xaxis.get_label().set_fontproperties(font)
a.yaxis.get_label().set_fontproperties(font)
a.legend(loc='upper right', prop=font)
for label in ([a.title] + a.get_xticklabels() + a.get_yticklabels()):

label.set_fontproperties(font)  

b=data['销售模式'].value_counts().plot(kind='barh',ax=ax1,title='销售模式分布情况')
b.xaxis.get_label().set_fontproperties(font)
b.yaxis.get_label().set_fontproperties(font)
b.legend(loc='upper right', prop=font)
for label in ([b.title]+b.get_xticklabels() + b.get_yticklabels()):

label.set_fontproperties(font)  

print(data.describe().T
plt.show()
6.运行结果如下图所示:

从数据的分布情况上看,销售类型主要集中在国产轿车和进口轿车,销售模式主要集中在4S店和一级代理商。

7.数值变量统计描述

统计结果显示各个数据指标均无缺失值,个别指标数据如(整体税负控制数、办牌率、单台办牌手续费收入等)最小值为零。

8.在python4下新建一个Python file文件

命名为data_analyse。

构建偷税漏税行为识别模型
抽取数据,对数据预处理,在得到预处理数据的样本数据,需要对数据进行划分训练集和测试集,随机选取20%的数据作为测试集,其余80%的数据作为训练集。使用分类预测模型来实现偷税漏税自动识别,比较常用的分类模型:LM神经网咯和CART决策树,两种模型都有优点,故采用两种模型进行训练从中选择最优的分类模型。

9.完整代码如下:

view plain copy
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib

inputfile='/data/python4/carsales_data.xls'
data=pd.read_excel(inputfile,index_col='纳税人编号')

print(data)

zhfont1 = matplotlib.font_manager.FontProperties(fname='/usr/share/fonts/truetype/wqy/wqy-microhei.ttc')
data['销售类型']=data['销售类型'].map({'国产轿车': 1, '进口轿车': 2, '大客车': 3, '卡车及轻卡': 4, '微型面包车': 5, '商用货车': 6,'工程车': 7, u'其它': 8})
data['销售模式']=data['销售模式'].map({'4S店':1, '一级代理商':2 ,'二级及二级以下代理商':3 ,'其它':5 ,'多品牌经营店':4})
data['输出']=data['输出'].map({'正常':1,'异常':0})

print(data[['销售模式','销售类型']])

from sklearn.cross_validation import train_test_split
p = 0.2
data= data.as_matrix()
train_x, test_x, train_y, test_y = train_test_split(data[:, :14], data[:, 14], test_size=p)
print(train_x)
print(train_y)

from cm_plot import cm_plot

构建CART决策树模型

from sklearn.tree import DecisionTreeClassifier # 导入决策树模型
from sklearn.externals import joblib
tree_file = 'tree.pkl' # 模型输出路径
tree = DecisionTreeClassifier(criterion='entropy', max_depth=3) # 建立决策树模型
tree.fit(train_x, train_y) # 训练模型
joblib.dump(tree, tree_file) # 保存模型
cm_plot(train_y, tree.predict(train_x)).show() # 显示混淆矩阵可视化图

from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(test_y, tree.predict_proba (test_x)[:,1], pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of CHAR') # 绘制ROC曲线
plt.xlabel('False Positve Rate') # 坐标轴标签
plt.ylabel('True Postive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果

构建LM神经网络模型

from keras.models import Sequential # 导入神经网络初始函数
from keras.layers.core import Dense, Activation # 导入神经网络网络层函数及激活函数
net_file = 'net.model' #构建的神经网络模型存储路径
net = Sequential() # 建立神经网络
net.add(Dense(10, input_shape=(14))) # 添加输入层(14节点)到隐藏层(10节点)的连接
net.add(Activation('relu')) # 隐藏层使用relu激活函数
net.add(Dense(1, input_shape=(10))) # 添加隐藏层(10节点) 到输出层(1节点)的连接
net.add(Activation('sigmoid')) # 输出层使用sigmoid激活函数
net.compile(loss='binary_crossentropy', optimizer='adam') # 编译模型,使用adam方法求解
net.fit(train_x, train_y, epochs=1000, batch_size=10) # 训练模型循环一千次
net.save_weights(net_file) # 保存模型
predict_result = net.predict_classes(train_x).reshape(len(train_x)) # 预测结果
from cm_plot import cm_plot # 导入 混淆矩阵可视化函数
cm_plot(train_y, predict_result).show() # 显示混淆矩阵可视化图

绘制LM神经网络模型的ROC曲线

from sklearn.metrics import roc_curve # 导入ROC曲线函数
predict_result = net.predict(test_x).reshape(len(test_x)) # 预测结果
fpr, tpr, thresholds = roc_curve(test_y, predict_result, pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of LM') # 绘制ROC曲线
plt.xlabel('False Positive Rate') # 坐标轴标签
plt.ylabel('True POstive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果
10.在python4项目下,新建一个Python file,

命名为cm_plot.

11.将以下用于构建混淆矩阵可视图的代码写入到cm_plot文件中

view plain copy
def cm_plot(y,yp):

from sklearn.metrics import confusion_matrix  
cm=confusion_matrix(y,yp)  
import matplotlib.pyplot as plt  
plt.matshow(cm,cmap=plt.cm.Greens)  
plt.colorbar()  
for x in range(len(cm)):  
    for y in range(len(cm)):  
        plt.annotate(cm[x,y],xy=(x,y),horizontalalignment='center',verticalalignment='center')  
plt.ylabel('True label')  
plt.xlabel('Predicted label')  
return plt  

12.在data_analyse文件下,右键点击Run "data_analyse",运行data_analyse.py程序,可以在下面对完整代码的分部描述中,查看运行结果(注意:当出来图片以后,必须点击关闭该图,才能执行后续代码)。

数据抽取
13.由于已经有现成的数据集可供使用,故这里省略从后台系统抽取数据集的过程。先用pandas库读取Excel文件的原始数据,具体代码如下:

view plain copy
import pandas as pd
inputfile='/data/python4/carsales_data.xls'
data=pd.read_excel(inputfile,index_col='纳税人编号')
print(data)
数据预处理
14.考虑建模的需要,前面样本数据中类别型特征需要进行转换成数值型特征,故对销售类型和销售模式进行重编码处理,输出特征进行二值化处理。由于数据中并无缺失值,则不需要进行缺失值处理。

view plain copy
data['销售类型']=data['销售类型'].map({'国产轿车': 1, '进口轿车': 2, '大客车': 3, '卡车及轻卡': 4, '微型面包车': 5, '商用货车': 6,'工程车': 7, u'其它': 8})
data['销售模式']=data['销售模式'].map({'4S店':1, '一级代理商':2 ,'二级及二级以下代理商':3 ,'其它':5 ,'多品牌经营店':4})
data['输出']=data['输出'].map({'正常':1,'异常':0})
数据划分
15.使用scikit_learn交叉验证随机将数据集划分为训练集与测试集。具体代码如下

view plain copy
from sklearn.cross_validation import train_test_split
p = 0.2
data= data.as_matrix()
train_x, test_x, train_y, test_y = train_test_split(data[:, :14], data[:, 14], test_size=p)
LM神经网络
16.使用Keras库可以来构建神经网络模型,设定LM神经网络的输入节点数为14,输出节点数为1,隐藏层节点数为10,使用Adam方法求解。在隐藏层使用Relu(x) = max(x, 0) 做为激活函数。构建LM神经网络模型的代码如下:

view plain copy

构建LM神经网络模型

from keras.models import Sequential # 导入神经网络初始函数
from keras.layers.core import Dense, Activation # 导入神经网络网络层函数及激活函数
net_file = 'net.model' #构建的神经网络模型存储路径
net = Sequential() # 建立神经网络
net.add(Dense(10, input_shape=(14))) # 添加输入层(14节点)到隐藏层(10节点)的连接
net.add(Activation('relu')) # 隐藏层使用relu激活函数
net.add(Dense(1, input_shape=(10))) # 添加隐藏层(10节点) 到输出层(1节点)的连接
net.add(Activation('sigmoid')) # 输出层使用sigmoid激活函数
net.compile(loss='binary_crossentropy', optimizer='adam', class_mode='binary') # 编译模型,使用adam方法求解
net.fit(train_x, train_y, nb_epoch=1000, batch_size=10) # 训练模型循环一千次
net.save_weights(net_file) # 保存模型
predict_result = net.predict_classes(train_x).reshape(len(train_x)) # 预测结果
from cm_plot import cm_plot # 导入 混淆矩阵可视化函数
cm_plot(train_y, predict_result).show() # 显示混淆矩阵可视化图
17.运行结果如下图所示

由上图的训练集建模混淆矩阵,算出分类准确率为(56+38) / (56+38+1+4) = 91.9%。

CART决策树
18.使用scikit-learn库构建CART决策树模型,并构建决策树模型,具体的代码如下:

view plain copy

构建CART决策树模型

from sklearn.tree import DecisionTreeClassifier # 导入决策树模型
from sklearn.externals import joblib
from cm_plot import cm_plot
tree_file = 'tree.pkl' # 模型输出路径
tree = DecisionTreeClassifier(criterion='entropy', max_depth=3) # 建立决策树模型
tree.fit(train_x, train_y) # 训练模型
joblib.dump(tree, tree_file) # 保存模型
cm_plot(train_y, tree.predict(train_x)).show() # 显示混淆矩阵可视化图
19.运行结果如下图所示:

训练模型后得到混淆矩阵如下图,分类的准确率为 (57+36) / (57+36+2+4) = 94.9%

模型评价
对于训练集,LM神经网络模型和CART决策树的分类准确率都比较好,分别为91.9%和94.9%。为了进一步评估模型分类的效果,需要使用测试集对两个模型进行评价,采用ROC线评价方法进行评估,优秀的分类器所对应的ROC曲线应该经历靠近左上角。分别画出LM神经网络和CART决策树在测试集下的ROC曲线。

20.LM神经网络对测试集数据的ROC曲线代码如下:

view plain copy

绘制LM神经网络模型的ROC曲线

from sklearn.metrics import roc_curve # 导入ROC曲线函数
predict_result = net.predict(test_x).reshape(len(test_x)) # 预测结果
fpr, tpr, thresholds = roc_curve(test_y, predict_result, pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of LM') # 绘制ROC曲线
plt.xlabel('False Positive Rate') # 坐标轴标签
plt.ylabel('True POstive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果
21.运行结果如下图所示:

22.CART决策树模型测试集数据的ROC曲线代码如下:

view plain copy

绘制决策树模型的ROC曲线

from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(test_y, tree.predict_proba (test_x)[:,1], pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of CHAR') # 绘制ROC曲线
plt.xlabel('False Positve Rate') # 坐标轴标签
plt.ylabel('True Postive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果
23.运行结果如下所示:

CART决策树模型ROC曲线图对比两个模型的ROC曲线可以发现LM神经网络的ROC曲线比CART决策树的ROC曲线更加靠近左上角,LM神经网络的ROC曲线下的面积更大,说明LM神经网络模型的分类性能更好,能用来识别偷漏税行为。

目录
相关文章
|
2月前
|
域名解析 网络协议 安全
计算机网络TCP/IP四层模型
本文介绍了TCP/IP模型的四层结构及其与OSI模型的对比。网络接口层负责物理网络接口,处理MAC地址和帧传输;网络层管理IP地址和路由选择,确保数据包准确送达;传输层提供端到端通信,支持可靠(TCP)或不可靠(UDP)传输;应用层直接面向用户,提供如HTTP、FTP等服务。此外,还详细描述了数据封装与解封装过程,以及两模型在层次划分上的差异。
406 13
|
2月前
|
网络协议 中间件 网络安全
计算机网络OSI七层模型
OSI模型分为七层,各层功能明确:物理层传输比特流,数据链路层负责帧传输,网络层处理数据包路由,传输层确保端到端可靠传输,会话层管理会话,表示层负责数据格式转换与加密,应用层提供网络服务。数据在传输中经过封装与解封装过程。OSI模型优点包括标准化、模块化和互操作性,但也存在复杂性高、效率较低及实用性不足的问题,在实际中TCP/IP模型更常用。
264 10
|
2月前
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现CTR模型DIN(Deep interest Netwok)网络
本文详细讲解了如何在昇腾平台上使用PyTorch训练推荐系统中的经典模型DIN(Deep Interest Network)。主要内容包括:DIN网络的创新点与架构剖析、Activation Unit和Attention模块的实现、Amazon-book数据集的介绍与预处理、模型训练过程定义及性能评估。通过实战演示,利用Amazon-book数据集训练DIN模型,最终评估其点击率预测性能。文中还提供了代码示例,帮助读者更好地理解每个步骤的实现细节。
|
5月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于GRU网络的MQAM调制信号检测算法matlab仿真,对比LSTM
本研究基于MATLAB 2022a,使用GRU网络对QAM调制信号进行检测。QAM是一种高效调制技术,广泛应用于现代通信系统。传统方法在复杂环境下性能下降,而GRU通过门控机制有效提取时间序列特征,实现16QAM、32QAM、64QAM、128QAM的准确检测。仿真结果显示,GRU在低SNR下表现优异,且训练速度快,参数少。核心程序包括模型预测、误检率和漏检率计算,并绘制准确率图。
147 65
基于GRU网络的MQAM调制信号检测算法matlab仿真,对比LSTM
|
3月前
|
SQL 数据采集 人工智能
“服务器老被黑?那是你没上AI哨兵!”——聊聊基于AI的网络攻击检测那些事儿
“服务器老被黑?那是你没上AI哨兵!”——聊聊基于AI的网络攻击检测那些事儿
163 12
|
3月前
|
机器学习/深度学习 人工智能 运维
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
77 8
|
4月前
|
机器学习/深度学习 存储 算法
基于MobileNet深度学习网络的活体人脸识别检测算法matlab仿真
本内容主要介绍一种基于MobileNet深度学习网络的活体人脸识别检测技术及MQAM调制类型识别方法。完整程序运行效果无水印,需使用Matlab2022a版本。核心代码包含详细中文注释与操作视频。理论概述中提到,传统人脸识别易受非活体攻击影响,而MobileNet通过轻量化的深度可分离卷积结构,在保证准确性的同时提升检测效率。活体人脸与非活体在纹理和光照上存在显著差异,MobileNet可有效提取人脸高级特征,为无线通信领域提供先进的调制类型识别方案。
|
5月前
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
145 2
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
|
5月前
|
人工智能 网络协议 IDE
使用通义灵码AI高效学习muduo网络库开发指南
Muduo 是一个基于 C++11 的高性能网络库,支持多线程和事件驱动,适用于构建高效的服务器和应用程序。它提供 TCP/IP 协议支持、异步非阻塞 I/O、定时器、异步日志等功能,并具备跨平台特性。通过 Git 克隆 muduo 仓库并切换至 C++17 分支可开始使用。借助 AI 工具如 Deepseak-v3,用户可以更便捷地学习和理解 Muduo 的核心模块及编写测试用例,提升开发效率。
|
4月前
|
机器学习/深度学习 数据采集 算法
基于yolov2和googlenet网络的疲劳驾驶检测算法matlab仿真
本内容展示了基于深度学习的疲劳驾驶检测算法,包括算法运行效果预览(无水印)、Matlab 2022a 软件版本说明、部分核心程序(完整版含中文注释与操作视频)。理论部分详细阐述了疲劳检测原理,通过对比疲劳与正常状态下的特征差异,结合深度学习模型提取驾驶员面部特征变化。具体流程包括数据收集、预处理、模型训练与评估,使用数学公式描述损失函数和推理过程。课题基于 YOLOv2 和 GoogleNet,先用 YOLOv2 定位驾驶员面部区域,再由 GoogleNet 分析特征判断疲劳状态,提供高准确率与鲁棒性的检测方法。

热门文章

最新文章