DataSet 去除重复的行

简介: 1 /// 2 /// 获取对固定列不重复的新DataTable 3 /// 4 /// 含有重复数据的DataTable 5 /// 需要验证重复的列名 6 /// 新的DataTabl...
 1 /// <summary>
 2         /// 获取对固定列不重复的新DataTable
 3         /// </summary>
 4         /// <param name="dt">含有重复数据的DataTable</param>
 5         /// <param name="colName">需要验证重复的列名</param>
 6         /// <returns>新的DataTable,colName列不重复,表格式保持不变</returns>
 7         private DataTable GetDistinctTable(DataTable dt, string colName)
 8         {
 9             DataView dv = dt.DefaultView;
10             DataTable dtCardNo = dv.ToTable(true, colName);
11             DataTable Pointdt = new DataTable();
12             Pointdt = dv.ToTable();
13             Pointdt.Clear();
14             for (int i = 0; i < dtCardNo.Rows.Count; i++)
15             {
16                 DataRow dr = dt.Select(colName + "='" + dtCardNo.Rows[i][0].ToString() + "'")[0];
17                 Pointdt.Rows.Add(dr.ItemArray);
18             }
19             return Pointdt;
20         }
View Code

 

目录
相关文章
|
8月前
数据的缺失值怎么去除
数据的缺失值怎么去除
|
5月前
|
数据挖掘 索引 Python
数据分析缺失值处理(Missing Values)——删除法、填充法、插值法
数据分析缺失值处理(Missing Values)——删除法、填充法、插值法
204 2
|
8月前
|
存储 SQL C#
C# 读取二维数组集合输出到Word预设表格
C# 读取二维数组集合输出到Word预设表格
去除“四”的避讳代码
去除“四”的避讳代码
59 0
|
机器学习/深度学习 自然语言处理 存储
我的文本数据和文本标签放在csv文件中的,如何将文本数据设置小批次和打乱,再传入RNN或者LSTM网络
在 TorchText 中,可以使用 TabularDataset 类来读取 CSV 文件中的数据,并使用 BucketIterator 来对数据进行小批次和打乱处理。假设我们的 CSV 文件中有以下内容。
355 1
|
PyTorch 算法框架/工具
如何将x_data和y_data利用torch转换成小批量数据,并要求打乱数据,以及将数据标准化或者归一化,如何处理?
以上代码中,在定义预处理操作transform时,只在Normalize函数的第一个参数中传入x_data的均值和标准差,而在第二个参数中传入空元组,表示不对y_data进行标准化。 接着,将标准化后的x_data和原始的y_data转换为张量格式,并将它们合并为一个TensorDataset对象。最后,定义dataloader对象,设置batch_size和shuffle参数,并使用上述数据集对象作为输入数据。
330 0
|
数据采集 Python
如何使用reduce(),filter()对数据进行求积,去除None,空字符串
如何使用reduce(),filter()对数据进行求积,去除None,空字符串
|
PyTorch 算法框架/工具
如何将x_data和y_data利用torch转换成小批量数据,并要求打乱数据,如何处理?
首先,使用TensorDataset将x_data和y_data合并到一个数据集中。然后,使用DataLoader创建一个迭代器,以便逐个处理每个小批量数据。在这里,batch_size设置为2,这意味着每个小批量将包含2个样本。shuffle参数设置为True,表示要对数据进行随机打乱。在遍历每个小批量数据时,可以在循环体内执行训练或评估操作。
186 0
|
SQL 数据挖掘 数据库
DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示
DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示
877 0
DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示