!unzip  -qoa  data/data166530/yt.zip

import pandas as pd
train=pd.read_csv("yt/train.csv",sep = '\t')
train.head()
.dataframe tbody tr th:only-of-type {         vertical-align: middle;     } .dataframe tbody tr th {     vertical-align: top; } .dataframe thead th {     text-align: right; }

train["text_a"]=train["text"]

train=train.drop('text',axis=1)

label_unique_list=train.label.unique()
label_list_id=[i for i in range(10)]
print(label_unique_list)
print(label_list_id)

['多问' '临床表现(病症表现)' '用法' '适用症' '定义' '病因' '治疗方法' '无法确定' '作用' '方法']
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

train=train[['label', 'text_a']]
train.head(10)
.dataframe tbody tr th:only-of-type {         vertical-align: middle;     } .dataframe tbody tr th {     vertical-align: top; } .dataframe thead th {     text-align: right; } 
label
text_a
0
多问
治痔疮会影响上班吗，医保有报吗？外痔。有无报销。会否影响工作
1
临床表现(病症表现)
本人今年16，最近感觉睾丸多长了一块肉，不痛不痒的，是睾丸癌吗
2
多问
痔疮手术几个月后，肛门周围有长了一个，吃辣的东西就会肿起来，怎么办？是术后复发了吗？
3
用法
你好，我宝宝8kg，吃美林要吃多少啊？你好，我宝宝8kg，吃美林要吃多少啊？
4
适用症
请问月经量多服用什么药？
5
定义
什么是心悸怔忡
6
病因
支气管扩张症是什么原因引起的?
7
病因
我最近总是感觉喘息不对，声音很粗重还很急促而且经常感觉胸闷咳嗽，有时甚至会呼吸困难，我很担心...
8
病因
请问尿失禁是怎么回事
9
病因
导致慢性支气管炎的原因是什么

%matplotlib inline
print(max(train['text_a'].str.len()))
print( train["label"].value_counts())
train.groupby(['label']).count().plot(kind='bar')

221
治疗方法          468
临床表现(病症表现)    313
多问            255
病因            233
适用症           223
无法确定          207
作用            124
定义            102
用法            100
方法             99
Name: label, dtype: int64
<matplotlib.axes._subplots.AxesSubplot at 0x7f2c5f0ea590>

!pip install -q nlpcda

from nlpcda import Similarword
smw = Similarword(create_num=1, change_rate=0.3)
new_train=train
for index, row in train.iterrows():
    results=smw.replace(row['text_a'])
    for result in results:
        new_train.loc[1]=[row['label'], result]

Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Simbert不能正常使用，除非你安装：bert4keras、tensorflow ，为了安装快捷，没有默认安装.... No module named 'bert4keras'
Loading model cost 0.737 seconds.
Prefix dict has been built successfully.
load :/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/nlpcda/data/同义词.txt done

from nlpcda import Homophone
smw = Homophone(create_num=1, change_rate=0.3)
for index, row in train.iterrows():
    results=smw.replace(row['text_a'])
    for result in results:
        new_train.loc[1]=[row['label'], result]

load :/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/nlpcda/data/同音意字.txt done

from nlpcda import EquivalentChar
smw = EquivalentChar(create_num=1, change_rate=0.3)
for index, row in train.iterrows():
    results=smw.replace(row['text_a'])
    for result in results:
        new_train.loc[1]=[row['label'], result]

load :/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/nlpcda/data/等价字.txt done

# 数据增强后回复给原train
train=new_train

train_df = train.sample(frac=0.7,random_state=0,axis=0)
validation_df = train[~train.index.isin(train_df.index)]

train_df.to_csv("yt/train_ok.csv", index=None,sep="\t")
validation_df.to_csv("yt/val_ok.csv", index=None,sep="\t")

!head yt/train_ok.csv

label text_a
无法确定  不知道自己怀孕啦，我以为是吃药把胃吃坏啦才知道怀孕啦
病因  前几天便秘夜间躺下是有那种绞痛感持续几秒时间就消失了今天解了大便晚上症状消失但肚脐下方按压痛请问这和便秘有关吗
多问  我53岁已经没有例假了，是更年期的年龄吗？乌灵胶囊：用于心肾不交所致的失眠、健忘、心悸心烦、神疲乏力。能喝这个吧？
无法确定  总胆固醇不高但颈椎，用什么药治疗对身体影响小一点啊
临床表现(病症表现)  小便时痛是怎么回事，这个情况已经有一个多星期了开始时没有注意
病因  宝宝打嗝是什么原因啊？
作用  维思通是起什么作用的
临床表现(病症表现)  男人小便出血是怎么回事
无法确定  请问阴道炎对月经有没有影响？