偷税漏税行为检测:Keras库构建神经网络模型,scikit-learn库构建CART决策树模型

简介: 偷税漏税行为检测企业做假账偷税漏税的行为普遍存在,汽车行业通过“多开发票”、“做双份报表”、“减少支出”等方式进行偷漏税。本任务使用Keras库来构建神经网络模型,使用scikit-learn库构建CART决策树模型,并构建决策树模型预测企业是否漏税。

偷税漏税行为检测
企业做假账偷税漏税的行为普遍存在,汽车行业通过“多开发票”、“做双份报表”、“减少支出”等方式进行偷漏税。本任务使用Keras库来构建神经网络模型,使用scikit-learn库构建CART决策树模型,并构建决策树模型预测企业是否漏税。

通过本任务,您将掌握以下内容:

1、构建LM神经网络模型。

2、构建CART决策树模型,并构建决策树模型。

3、学会分析模型的好坏。

4、对比LM神经网络的ROC曲线比CART决策树的ROC曲线的好坏。

背景和挖掘目标
企业做假账偷税漏税的行为普遍存在,汽车行业通过“多开发票”、“做双份报表”、“减少支出”等方式进行偷漏税。随着企业偷漏税现在泛滥,也影响国家经济基础。通过数据挖掘能自动识别企业偷漏税行为,提高稽查效率减少经济损失。汽车销售行业在税收上存在少开发票金额、少记收入,上牌、按揭、保险不入账,不及时确认保修索赔款等情况,导致政府损失大量税收。汽车销售企业的部分经营指标数据能在一定程度上评估企业的偷漏税倾向。样本数据提供了汽车销售行业纳税人的各种属性和是否偷漏税标识,提取纳税人经营特征可以建立偷漏税行为识别模型。

分析方法和过程
在建立偷漏税识别模型前需要先整理流程(如下图),主要包含以下步骤:

从后台业务系统抽取企业经营指标静态数据,保证建模样本数据稳定性。

对样本数据进行探索性分析,查看指标分布情况。

对样本数据进行预处理,包括数据集清洗、缺失值处理和数据规则化。

选取特征建立样本集和测试集。

构建识别模型对样本数据进行模型训练,并对模型进行评价。

使用多种模型并挑选最优模型进行自动识别。

实验环境
Linux Ubuntu 14.04

Python3.6

实验步骤
1.首先在Linux上新建/data/python4目录,并切换到该目录下。

view plain copy
sudo mkdir -p /data/python4
view plain copy
cd /data/python4
修改/data/python4目录下的所有文件及子目录的所有者和所属的组为:zhangyu

view plain copy
sudo chown -R zhangyu.zhangyu /data/python4
2.使用wge命令,从网址 http://192.168.1.100:60000/allfiles/python4/目录下,将实验所需数据下载到linux本地/data/python4目录下。

view plain copy
sudo wget http://192.168.1.100:60000/allfiles/python4/carsales_data.xls
3.新建一个Python 项目,名为python4

4.在python4项目下,新建一个Python file文件

命名为explore_analyse。

数据探索分析
5.样本数据包含15个特征属性,分别为14个输入特征和1个输出特征,有纳税人基本信息和经营指标数据。数据探索性分析能及早发现样本数据是否存在较大差异和对数据的整体情况有基本的认识。具体代码如下:

view plain copy
import matplotlib
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm

fontPath ="/usr/share/fonts/truetype/wqy/wqy-microhei.ttc"
font = fm.FontProperties(fname=fontPath, size=10)
inputfile='/data/python4/carsales_data.xls'
data=pd.read_excel(inputfile,index_col='纳税人编号')

fig, axes = plt.subplots(1, 2)
fig.set_size_inches(12, 4, )
ax0, ax1 = axes.flat
a=data['销售类型'].value_counts().plot(kind='barh', ax=ax0, title='销售类型分布情况',)
a.xaxis.get_label().set_fontproperties(font)
a.yaxis.get_label().set_fontproperties(font)
a.legend(loc='upper right', prop=font)
for label in ([a.title] + a.get_xticklabels() + a.get_yticklabels()):

label.set_fontproperties(font)  

b=data['销售模式'].value_counts().plot(kind='barh',ax=ax1,title='销售模式分布情况')
b.xaxis.get_label().set_fontproperties(font)
b.yaxis.get_label().set_fontproperties(font)
b.legend(loc='upper right', prop=font)
for label in ([b.title]+b.get_xticklabels() + b.get_yticklabels()):

label.set_fontproperties(font)  

print(data.describe().T
plt.show()
6.运行结果如下图所示:

从数据的分布情况上看,销售类型主要集中在国产轿车和进口轿车,销售模式主要集中在4S店和一级代理商。

7.数值变量统计描述

统计结果显示各个数据指标均无缺失值,个别指标数据如(整体税负控制数、办牌率、单台办牌手续费收入等)最小值为零。

8.在python4下新建一个Python file文件

命名为data_analyse。

构建偷税漏税行为识别模型
抽取数据,对数据预处理,在得到预处理数据的样本数据,需要对数据进行划分训练集和测试集,随机选取20%的数据作为测试集,其余80%的数据作为训练集。使用分类预测模型来实现偷税漏税自动识别,比较常用的分类模型:LM神经网咯和CART决策树,两种模型都有优点,故采用两种模型进行训练从中选择最优的分类模型。

9.完整代码如下:

view plain copy
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib

inputfile='/data/python4/carsales_data.xls'
data=pd.read_excel(inputfile,index_col='纳税人编号')

print(data)

zhfont1 = matplotlib.font_manager.FontProperties(fname='/usr/share/fonts/truetype/wqy/wqy-microhei.ttc')
data['销售类型']=data['销售类型'].map({'国产轿车': 1, '进口轿车': 2, '大客车': 3, '卡车及轻卡': 4, '微型面包车': 5, '商用货车': 6,'工程车': 7, u'其它': 8})
data['销售模式']=data['销售模式'].map({'4S店':1, '一级代理商':2 ,'二级及二级以下代理商':3 ,'其它':5 ,'多品牌经营店':4})
data['输出']=data['输出'].map({'正常':1,'异常':0})

print(data[['销售模式','销售类型']])

from sklearn.cross_validation import train_test_split
p = 0.2
data= data.as_matrix()
train_x, test_x, train_y, test_y = train_test_split(data[:, :14], data[:, 14], test_size=p)
print(train_x)
print(train_y)

from cm_plot import cm_plot

构建CART决策树模型

from sklearn.tree import DecisionTreeClassifier # 导入决策树模型
from sklearn.externals import joblib
tree_file = 'tree.pkl' # 模型输出路径
tree = DecisionTreeClassifier(criterion='entropy', max_depth=3) # 建立决策树模型
tree.fit(train_x, train_y) # 训练模型
joblib.dump(tree, tree_file) # 保存模型
cm_plot(train_y, tree.predict(train_x)).show() # 显示混淆矩阵可视化图

from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(test_y, tree.predict_proba (test_x)[:,1], pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of CHAR') # 绘制ROC曲线
plt.xlabel('False Positve Rate') # 坐标轴标签
plt.ylabel('True Postive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果

构建LM神经网络模型

from keras.models import Sequential # 导入神经网络初始函数
from keras.layers.core import Dense, Activation # 导入神经网络网络层函数及激活函数
net_file = 'net.model' #构建的神经网络模型存储路径
net = Sequential() # 建立神经网络
net.add(Dense(10, input_shape=(14))) # 添加输入层(14节点)到隐藏层(10节点)的连接
net.add(Activation('relu')) # 隐藏层使用relu激活函数
net.add(Dense(1, input_shape=(10))) # 添加隐藏层(10节点) 到输出层(1节点)的连接
net.add(Activation('sigmoid')) # 输出层使用sigmoid激活函数
net.compile(loss='binary_crossentropy', optimizer='adam') # 编译模型,使用adam方法求解
net.fit(train_x, train_y, epochs=1000, batch_size=10) # 训练模型循环一千次
net.save_weights(net_file) # 保存模型
predict_result = net.predict_classes(train_x).reshape(len(train_x)) # 预测结果
from cm_plot import cm_plot # 导入 混淆矩阵可视化函数
cm_plot(train_y, predict_result).show() # 显示混淆矩阵可视化图

绘制LM神经网络模型的ROC曲线

from sklearn.metrics import roc_curve # 导入ROC曲线函数
predict_result = net.predict(test_x).reshape(len(test_x)) # 预测结果
fpr, tpr, thresholds = roc_curve(test_y, predict_result, pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of LM') # 绘制ROC曲线
plt.xlabel('False Positive Rate') # 坐标轴标签
plt.ylabel('True POstive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果
10.在python4项目下,新建一个Python file,

命名为cm_plot.

11.将以下用于构建混淆矩阵可视图的代码写入到cm_plot文件中

view plain copy
def cm_plot(y,yp):

from sklearn.metrics import confusion_matrix  
cm=confusion_matrix(y,yp)  
import matplotlib.pyplot as plt  
plt.matshow(cm,cmap=plt.cm.Greens)  
plt.colorbar()  
for x in range(len(cm)):  
    for y in range(len(cm)):  
        plt.annotate(cm[x,y],xy=(x,y),horizontalalignment='center',verticalalignment='center')  
plt.ylabel('True label')  
plt.xlabel('Predicted label')  
return plt  

12.在data_analyse文件下,右键点击Run "data_analyse",运行data_analyse.py程序,可以在下面对完整代码的分部描述中,查看运行结果(注意:当出来图片以后,必须点击关闭该图,才能执行后续代码)。

数据抽取
13.由于已经有现成的数据集可供使用,故这里省略从后台系统抽取数据集的过程。先用pandas库读取Excel文件的原始数据,具体代码如下:

view plain copy
import pandas as pd
inputfile='/data/python4/carsales_data.xls'
data=pd.read_excel(inputfile,index_col='纳税人编号')
print(data)
数据预处理
14.考虑建模的需要,前面样本数据中类别型特征需要进行转换成数值型特征,故对销售类型和销售模式进行重编码处理,输出特征进行二值化处理。由于数据中并无缺失值,则不需要进行缺失值处理。

view plain copy
data['销售类型']=data['销售类型'].map({'国产轿车': 1, '进口轿车': 2, '大客车': 3, '卡车及轻卡': 4, '微型面包车': 5, '商用货车': 6,'工程车': 7, u'其它': 8})
data['销售模式']=data['销售模式'].map({'4S店':1, '一级代理商':2 ,'二级及二级以下代理商':3 ,'其它':5 ,'多品牌经营店':4})
data['输出']=data['输出'].map({'正常':1,'异常':0})
数据划分
15.使用scikit_learn交叉验证随机将数据集划分为训练集与测试集。具体代码如下

view plain copy
from sklearn.cross_validation import train_test_split
p = 0.2
data= data.as_matrix()
train_x, test_x, train_y, test_y = train_test_split(data[:, :14], data[:, 14], test_size=p)
LM神经网络
16.使用Keras库可以来构建神经网络模型,设定LM神经网络的输入节点数为14,输出节点数为1,隐藏层节点数为10,使用Adam方法求解。在隐藏层使用Relu(x) = max(x, 0) 做为激活函数。构建LM神经网络模型的代码如下:

view plain copy

构建LM神经网络模型

from keras.models import Sequential # 导入神经网络初始函数
from keras.layers.core import Dense, Activation # 导入神经网络网络层函数及激活函数
net_file = 'net.model' #构建的神经网络模型存储路径
net = Sequential() # 建立神经网络
net.add(Dense(10, input_shape=(14))) # 添加输入层(14节点)到隐藏层(10节点)的连接
net.add(Activation('relu')) # 隐藏层使用relu激活函数
net.add(Dense(1, input_shape=(10))) # 添加隐藏层(10节点) 到输出层(1节点)的连接
net.add(Activation('sigmoid')) # 输出层使用sigmoid激活函数
net.compile(loss='binary_crossentropy', optimizer='adam', class_mode='binary') # 编译模型,使用adam方法求解
net.fit(train_x, train_y, nb_epoch=1000, batch_size=10) # 训练模型循环一千次
net.save_weights(net_file) # 保存模型
predict_result = net.predict_classes(train_x).reshape(len(train_x)) # 预测结果
from cm_plot import cm_plot # 导入 混淆矩阵可视化函数
cm_plot(train_y, predict_result).show() # 显示混淆矩阵可视化图
17.运行结果如下图所示

由上图的训练集建模混淆矩阵,算出分类准确率为(56+38) / (56+38+1+4) = 91.9%。

CART决策树
18.使用scikit-learn库构建CART决策树模型,并构建决策树模型,具体的代码如下:

view plain copy

构建CART决策树模型

from sklearn.tree import DecisionTreeClassifier # 导入决策树模型
from sklearn.externals import joblib
from cm_plot import cm_plot
tree_file = 'tree.pkl' # 模型输出路径
tree = DecisionTreeClassifier(criterion='entropy', max_depth=3) # 建立决策树模型
tree.fit(train_x, train_y) # 训练模型
joblib.dump(tree, tree_file) # 保存模型
cm_plot(train_y, tree.predict(train_x)).show() # 显示混淆矩阵可视化图
19.运行结果如下图所示:

训练模型后得到混淆矩阵如下图,分类的准确率为 (57+36) / (57+36+2+4) = 94.9%

模型评价
对于训练集,LM神经网络模型和CART决策树的分类准确率都比较好,分别为91.9%和94.9%。为了进一步评估模型分类的效果,需要使用测试集对两个模型进行评价,采用ROC线评价方法进行评估,优秀的分类器所对应的ROC曲线应该经历靠近左上角。分别画出LM神经网络和CART决策树在测试集下的ROC曲线。

20.LM神经网络对测试集数据的ROC曲线代码如下:

view plain copy

绘制LM神经网络模型的ROC曲线

from sklearn.metrics import roc_curve # 导入ROC曲线函数
predict_result = net.predict(test_x).reshape(len(test_x)) # 预测结果
fpr, tpr, thresholds = roc_curve(test_y, predict_result, pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of LM') # 绘制ROC曲线
plt.xlabel('False Positive Rate') # 坐标轴标签
plt.ylabel('True POstive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果
21.运行结果如下图所示:

22.CART决策树模型测试集数据的ROC曲线代码如下:

view plain copy

绘制决策树模型的ROC曲线

from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(test_y, tree.predict_proba (test_x)[:,1], pos_label=1)
plt.plot(fpr, tpr, linewidth=2, label='ROC of CHAR') # 绘制ROC曲线
plt.xlabel('False Positve Rate') # 坐标轴标签
plt.ylabel('True Postive Rate')
plt.xlim(0, 1.05) # 设定边界范围
plt.ylim(0, 1.05)
plt.legend(loc=4) # 设定图例位置
plt.show() # 显示绘图结果
23.运行结果如下所示:

CART决策树模型ROC曲线图对比两个模型的ROC曲线可以发现LM神经网络的ROC曲线比CART决策树的ROC曲线更加靠近左上角,LM神经网络的ROC曲线下的面积更大,说明LM神经网络模型的分类性能更好,能用来识别偷漏税行为。

目录
相关文章
|
1天前
|
运维 供应链 安全
构建网络环境的铜墙铁壁:从微软蓝屏事件反思系统安全与稳定性
【7月更文第22天】近期,一起由软件更新引发的“微软蓝屏”事件震撼全球,凸显了现代IT基础设施在面对意外挑战时的脆弱性。此事件不仅影响了数百万台设备,还波及航空、医疗、传媒等多个关键领域,造成了难以估量的经济损失和社会影响。面对这样的挑战,如何构建更为稳固和安全的网络环境,成为了全球IT行业共同面临的紧迫任务。
19 3
|
13天前
|
存储 传感器 监控
智慧养殖的智慧网络:构建高效、可扩展的养殖生态
智慧养殖,在国家政策的大力扶持和农业数字化浪潮的推动下,正迅速发展。然而,许多人对它的价值仍持怀疑态度:认为智慧养殖只是昂贵的技术堆砌,短期内看不到经济回报,甚至怀疑其实用性。本文将挑战这些观点,展示智慧养殖如何通过技术整合提高效率、降低成本,并探讨如何克服网络稳定性和速度等技术障碍,引领养殖企业走向高效、经济的现代化转型。
|
4天前
|
计算机视觉 网络架构
【YOLOv8改进 - 卷积Conv】DWRSeg:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
YOLO目标检测专栏探讨了YOLO的创新改进,如多尺度特征提取的DWRSeg网络。该网络通过区域残差化和语义残差化提升效率,使用DWR和SIR模块优化高层和低层特征。DWRSeg在Cityscapes和CamVid数据集上表现优秀,速度与准确性兼备。论文和代码已公开。核心代码展示了一个包含DWR模块的卷积层。更多配置详情见相关链接。
|
10天前
|
网络协议 安全 Shell
`nmap`是一个开源的网络扫描工具,用于发现网络上的设备和服务。Python的`python-nmap`库允许我们在Python脚本中直接使用`nmap`的功能。
`nmap`是一个开源的网络扫描工具,用于发现网络上的设备和服务。Python的`python-nmap`库允许我们在Python脚本中直接使用`nmap`的功能。
|
16天前
|
前端开发 Java 数据处理
使用Netty构建高性能的网络应用
使用Netty构建高性能的网络应用
|
15天前
|
机器学习/深度学习 编解码 人工智能
一种基于YOLOv8改进的高精度表面缺陷检测网络, NEU-DET和GC10-DET涨点明显(原创自研)
【7月更文挑战第3天】一种基于YOLOv8改进的高精度表面缺陷检测, 在NEU-DET和GC10-DET任务中涨点明显;
37 1
|
2天前
|
机器学习/深度学习 算法 BI
基于深度学习网络的USB摄像头实时视频采集与手势检测识别matlab仿真
**摘要:** 本文介绍了使用MATLAB2022a实现的基于GoogLeNet的USB摄像头手势识别系统。系统通过摄像头捕获视频,利用深度学习的卷积神经网络进行手势检测与识别。GoogLeNet网络的Inception模块优化了计算效率,避免过拟合。手势检测涉及RPN生成候选框,送入网络进行分类。系统架构包括视频采集、手势检测与识别、以及决策反馈。通过GPU加速和模型优化保证实时性能,应用于智能家居等场景。
|
10天前
|
网络协议 安全 Python
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。
|
15天前
|
前端开发 Java 数据处理
使用Netty构建高性能的网络应用
使用Netty构建高性能的网络应用
|
16天前
|
缓存 Java 数据库连接
使用Java构建一个高并发的网络服务
使用Java构建一个高并发的网络服务

热门文章

最新文章