#-*-coding: utf-8-*-#用水事件划分importpandasaspdthreshold=pd.Timedelta('4 min') #阈值为分钟inputfile='data/water_heater.xls'#输入数据路径,需要使用Excel格式outputfile='tmp/dividsequence.xls'#输出数据路径,需要使用Excel格式data=pd.read_excel(inputfile)
data[u'发生时间'] =pd.to_datetime(data[u'发生时间'], format='%Y%m%d%H%M%S')
data=data[data[u'水流量'] >0] #只要流量大于0的记录d=data[u'发生时间'].diff() >threshold#相邻时间作差分，比较是否大于阈值data[u'事件编号'] =d.cumsum() +1#通过累积求和的方式为事件编号data.to_excel(outputfile)

#-*-coding: utf-8-*-#阈值寻优importnumpyasnpimportpandasaspdinputfile='data/water_heater.xls'#输入数据路径,需要使用Excel格式n=4#使用以后四个点的平均斜率threshold=pd.Timedelta(minutes=5)  #专家阈值data=pd.read_excel(inputfile)
data[u'发生时间'] =pd.to_datetime(data[u'发生时间'], format='%Y%m%d%H%M%S')
data=data[data[u'水流量'] >0]  #只要流量大于0的记录defevent_num(ts):
d=data[u'发生时间'].diff() >ts#相邻时间作差分，比较是否大于阈值returnd.sum() +1#这样直接返回事件数dt= [pd.Timedelta(minutes=i) foriinnp.arange(1, 9, 0.25)]
h=pd.DataFrame(dt, columns=[u'阈值'])  #定义阈值列h[u'事件数'] =h[u'阈值'].apply(event_num)  #计算每个阈值对应的事件数h[u'斜率'] =h[u'事件数'].diff() /0.25#计算每两个相邻点对应的斜率#df_test['col_name'].rolling(ma).mean()新版本---->pd.rolling_mean(df_test['col_name'], ma) 旧版本#pd.rolling_mean(h[u'斜率'].abs(), n)
h[u'斜率指标'] =h[u'斜率'].rolling(n).mean()  #采用后n个的斜率绝对值平均作为斜率指标ts=h[u'阈值'][h[u'斜率指标'].idxmin() -n]
#注：用idxmin返回最小值的Index，由于rolling_mean()自动计算的是前n个斜率的绝对值平均#所以结果要进行平移（-n）ifts>threshold:
ts=pd.Timedelta(minutes=4)
print(ts)

#-*-coding: utf-8-*-#建立、训练多层神经网络，并完成模型的检验from__future__importprint_functionimportpandasaspdinputfile1='../data/train_neural_network_data.xls'#训练数据inputfile2='../data/test_neural_network_data.xls'#测试数据testoutputfile='../tmp/test_output_data.xls'#测试数据模型输出文件data_train=pd.read_excel(inputfile1)  #读入训练数据(由日志标记事件是否为洗浴)
data_test=pd.read_excel(inputfile2)  #读入测试数据(由日志标记事件是否为洗浴)
y_train=data_train.iloc[:, 4].as_matrix()  #训练样本标签列x_train=data_train.iloc[:, 5:17].as_matrix()  #训练样本特征y_test=data_test.iloc[:, 4].as_matrix()  #测试样本标签列x_test=data_test.iloc[:, 5:17].as_matrix()  #测试样本特征fromkeras.modelsimportSequentialfromkeras.layers.coreimportDense, Dropout, Activationmodel=Sequential()  #建立模型model.add(Dense(11, 17))  #添加输入层、隐藏层的连接model.add(Activation('relu'))  #以Relu函数为激活函数model.add(Dense(17, 10))  #添加隐藏层、隐藏层的连接model.add(Activation('relu'))  #以Relu函数为激活函数model.add(Dense(10, 1))  #添加隐藏层、输出层的连接model.add(Activation('sigmoid'))  #以sigmoid函数为激活函数#编译模型，损失函数为binary_crossentropy，用adam法求解model.compile(loss='binary_crossentropy', optimizer='adam', class_mode="binary")
model.fit(x_train, y_train, nb_epoch=100, batch_size=1)  #训练模型model.save_weights('../tmp/net.model')  #保存模型参数r=pd.DataFrame(model.predict_classes(x_test), columns=[u'预测结果'])
pd.concat([data_test.iloc[:, :5], r], axis=1).to_excel(testoutputfile)
model.predict(x_test)