使用C#将几个Excel文件合并去重分类

简介: 使用C#将几个Excel文件合并去重分类

需要将几个Excel表格里面的数据去重,然后将每个站点的数据另存为一张Sheet上。

几个表格如下所示:

 

 

实现效果如下所示:

 

具体实现

需要使用EPPlus操作Excel

安装EPPlus如下所示:

 

为了更好的演示与说明,把步骤进行了拆分,先导入Excel数据,再去重,再进行数据分类,最后再导出为Excel数据,设计了一个窗体,如下所示:

 

导入Excel数据

首先定义一个类,用来保存相关数据,类的设计如下:

public class WaterData
 {
      public int Id { get; set; }
      public string? Name { get; set; }
      public string? WaterLevel { get; set; }
      public string? WaterChange { get; set; }
      public string? Source { get; set; }
     
 }

点击导入Excel数据按钮的代码如下:

OpenFileDialog openFileDialog = new OpenFileDialog();
openFileDialog.Filter = "Excel Files (*.xlsx; *.xls;*.csv)|*.xlsx; *.xls;*.csv";
openFileDialog.FilterIndex = 1;
openFileDialog.Multiselect = false;
   if (openFileDialog.ShowDialog() == DialogResult.OK)
      {
          filePath = openFileDialog.FileName;       
          ExcelPackage.LicenseContext = OfficeOpenXml.LicenseContext.NonCommercial;
          using (ExcelPackage package = new ExcelPackage(filePath))
           {
               ExcelWorksheet worksheet = package.Workbook.Worksheets[0];
                //获取表格的列数和行数
                int rowCount = worksheet.Dimension.Rows;
                int colCount = worksheet.Dimension.Columns;
                for (int i = 0; i < rowCount - 1; i++)
                {
                   //创建一个realData类保存数据
                   var data = new WaterData();
             data.Id = n;
             data.Name = (string)worksheet.Cells[i + 2, 3].Value;
             data.WaterLevel = Convert.ToString(worksheet.Cells[i + 2, 4].Value);
             data.WaterChange = Convert.ToString(worksheet.Cells[i + 2, 5].Value);
             data.Source = (string)worksheet.Cells[i + 2, 2].Value;
             waterList.Add(data);
                     n++;
                    }         
             package.Save();
                }
            }
            else
            {
                MessageBox.Show("您本次没有选择任何文件!!!");
            }
        }

上面的n是static int,初始值为0。

导入Excel数据的效果如下所示:

数据去重

执行数据去重,依据的是C#LINQ中的DistinctBy方法,本例中不使用id是因为每条数据id都不一样,即使是重复的数据但是id也不一样,本例依据的中Name属性和Soure属性,只要这两个数据一样,就认为是重复数据。

点击数据去重按钮的代码如下:

private void button2_Click(object sender, EventArgs e)
{    
    distinctList = waterList.DistinctBy(x => new { x.Name, x.Source }).ToList(); 
}

只需要一行代码:

distinctList = waterList.DistinctBy(x => new { x.Name, x.Source }).ToList();

执行去重的效果如下所示:

执行数据分类

本例中要求将同一个站点的数据放在同一张Sheet上,那么首先需要知道到底有多少个不同的站名,代码如下:

var Names = distinctList.Select(x => x.Name).Distinct().ToList(); 

实现效果如下:

由于这些数据是由图片文字识别而来的,因此可能识别有误,如果一个站名的数据不足50条,就不需要,代码如下:

 for (int i = 0; i < Names.Count; i++)
  {
     var nameList = distinctList.Where(x => x.Name == Names[i]).ToList();
     if (nameList.Count > 50) 
         {
               list.Add(nameList);
          }            
   }  

实现数据分类也只需要一行代码:

var nameList = distinctList.Where(x => x.Name == Names[i]).ToList();

实现效果如下所示:

导出为Excel文件

本例中导出为Excel文件的思路是先让用户选定一个文件夹,然后就将导出的Excel文件保存在这个文件夹下面,导出为Excel文件的代码如下:

private void button4_Click(object sender, EventArgs e)

实现效果如下所示:

导出为Excel文件

本例中导出为Excel文件的思路是先让用户选定一个文件夹,然后就将导出的Excel文件保存在这个文件夹下面,导出为Excel文件的代码如下:

private void button4_Click(object sender, EventArgs e)
        {
            // 创建一个FolderBrowserDialog对象
            FolderBrowserDialog folderBrowserDialog = new FolderBrowserDialog();
            // 设置对话框的标题
            folderBrowserDialog.Description = "选择保存各站点数据的文件夹";
            // 设置默认的根文件夹,如果需要的话
            // folderBrowserDialog.RootFolder = Environment.SpecialFolder.MyComputer;
            // 显示文件夹选择对话框
            DialogResult result = folderBrowserDialog.ShowDialog();
            if (result == DialogResult.OK)
            {
                // 用户选择了一个文件夹
                selectedFolderPath = folderBrowserDialog.SelectedPath;
                richTextBox1.Text += $"选择的Excel保存文件夹为:{selectedFolderPath}\r\n";
                richTextBox1.Text += "正在执行导出为Excel文件...";
                using (ExcelPackage excelPackage = new ExcelPackage())
                {                 
                    for(int i =0; i < list.Count; i++) 
                    {
                        ExcelWorksheet worksheet = excelPackage.Workbook.Worksheets.Add(list[i][0].Name);
                        for (int j = 0; j < list[i].Count; j++)
                        {
                            worksheet.Cells[j + 1, 1].Value = list[i][j].Id;
                            worksheet.Cells[j + 1, 2].Value = list[i][j].Name;
                            worksheet.Cells[j + 1, 3].Value = list[i][j].WaterLevel;
                            worksheet.Cells[j + 1, 4].Value = list[i][j].WaterChange;
                            worksheet.Cells[j + 1, 5].Value = list[i][j].Source;
                        }
                    }
                    // 保存 Excel 文件
                    FileInfo excelFile = new FileInfo($"{selectedFolderPath}\\各站点数据.xlsx");
                    excelPackage.SaveAs(excelFile);
                    richTextBox1.Text += "导出为Excel文件完成\r\n";
                }
            }
        }

实现效果如下所示:

 

最后

操作Excel大家一般使用VBA、Python比较多,本文通过一个实例演示了如何通过C#来简化我们的办公(处理Excel数据)。

本实例全部源代码如下:

using OfficeOpenXml;
using System.Collections;
using System.Collections.Generic;
namespace Excel数据处理
{
    public partial class Form1 : Form
    {
        string filePath;
        string selectedFolderPath;
        static int n = 0;
        List<WaterData> waterList = new List<WaterData>();
        List<WaterData> distinctList = new List<WaterData>();
        List<List<WaterData>> list = new List<List<WaterData>>();
        public class WaterData
        {
            public int Id { get; set; }
            public string? Name { get; set; }
            public string? WaterLevel { get; set; }
            public string? WaterChange { get; set; }
            public string? Source { get; set; }
        }
        public Form1()
        {
            InitializeComponent();
        }
        private void button1_Click(object sender, EventArgs e)
        {
            OpenFileDialog openFileDialog = new OpenFileDialog();
            openFileDialog.Filter = "Excel Files (*.xlsx; *.xls;*.csv)|*.xlsx; *.xls;*.csv";
            openFileDialog.FilterIndex = 1;
            openFileDialog.Multiselect = false;
            if (openFileDialog.ShowDialog() == DialogResult.OK)
            {
                filePath = openFileDialog.FileName;
                richTextBox1.Text += $"您选中的文件路径为:{filePath}\r\n";
                richTextBox1.Text += $"正在导入Excel数据...\r\n";
                ExcelPackage.LicenseContext = OfficeOpenXml.LicenseContext.NonCommercial;
                using (ExcelPackage package = new ExcelPackage(filePath))
                {
                    ExcelWorksheet worksheet = package.Workbook.Worksheets[0];
                    //获取表格的列数和行数
                    int rowCount = worksheet.Dimension.Rows;
                    int colCount = worksheet.Dimension.Columns;
                    for (int i = 0; i < rowCount - 1; i++)
                    {
                        //创建一个realData类保存数据
                        var data = new WaterData();
                        data.Id = n;
                        data.Name = (string)worksheet.Cells[i + 2, 3].Value;
                        data.WaterLevel = Convert.ToString(worksheet.Cells[i + 2, 4].Value);
                        data.WaterChange = Convert.ToString(worksheet.Cells[i + 2, 5].Value);
                        data.Source = (string)worksheet.Cells[i + 2, 2].Value;
                        waterList.Add(data);
                        n++;
                    }
                    richTextBox1.Text += $"导入Excel数据成功,数据量为:{rowCount - 1}\r\n";
                    package.Save();
                }
            }
            else
            {
                MessageBox.Show("您本次没有选择任何文件!!!");
            }
        }
        private void button2_Click(object sender, EventArgs e)
        {
            richTextBox1.Text += "正在执行数据去重...\r\n";
            distinctList = waterList.DistinctBy(x => new { x.Name, x.Source }).ToList();
            richTextBox1.Text += $"数据去重已完成,去重后数据量为:{distinctList.Count}\r\n";
        }
        private void button3_Click(object sender, EventArgs e)
        {
            richTextBox1.Text += "正在执行数据分类...\r\n";
            var Names = distinctList.Select(x => x.Name).Distinct().ToList();          
            for (int i = 0; i < Names.Count; i++)
            {
                var nameList = distinctList.Where(x => x.Name == Names[i]).ToList();
                if (nameList.Count > 50) 
                {
                    list.Add(nameList);
                }            
            }
            richTextBox1.Text += $"执行数据分类完成,类数为:{list.Count}\r\n";
        }
        private void button4_Click(object sender, EventArgs e)
        {
            // 创建一个FolderBrowserDialog对象
            FolderBrowserDialog folderBrowserDialog = new FolderBrowserDialog();
            // 设置对话框的标题
            folderBrowserDialog.Description = "选择保存各站点数据的文件夹";
            // 设置默认的根文件夹,如果需要的话
            // folderBrowserDialog.RootFolder = Environment.SpecialFolder.MyComputer;
            // 显示文件夹选择对话框
            DialogResult result = folderBrowserDialog.ShowDialog();
            if (result == DialogResult.OK)
            {
                // 用户选择了一个文件夹
                selectedFolderPath = folderBrowserDialog.SelectedPath;
                richTextBox1.Text += $"选择的Excel保存文件夹为:{selectedFolderPath}\r\n";
                richTextBox1.Text += "正在执行导出为Excel文件...";
                using (ExcelPackage excelPackage = new ExcelPackage())
                {                 
                    for(int i =0; i < list.Count; i++) 
                    {
                        ExcelWorksheet worksheet = excelPackage.Workbook.Worksheets.Add(list[i][0].Name);
                        for (int j = 0; j < list[i].Count; j++)
                        {
                            worksheet.Cells[j + 1, 1].Value = list[i][j].Id;
                            worksheet.Cells[j + 1, 2].Value = list[i][j].Name;
                            worksheet.Cells[j + 1, 3].Value = list[i][j].WaterLevel;
                            worksheet.Cells[j + 1, 4].Value = list[i][j].WaterChange;
                            worksheet.Cells[j + 1, 5].Value = list[i][j].Source;
                        }
                    }
                    // 保存 Excel 文件
                    FileInfo excelFile = new FileInfo($"{selectedFolderPath}\\各站点数据.xlsx");
                    excelPackage.SaveAs(excelFile);
                    richTextBox1.Text += "导出为Excel文件完成\r\n";
                }
            }
        }
    }
}

目录
相关文章
|
29天前
|
Python
Python办公自动化:xlwings对Excel进行分类汇总
Python办公自动化:xlwings对Excel进行分类汇总
47 1
|
12天前
|
easyexcel Java UED
SpringBoot中大量数据导出方案:使用EasyExcel并行导出多个excel文件并压缩zip后下载
在SpringBoot环境中,为了优化大量数据的Excel导出体验,可采用异步方式处理。具体做法是将数据拆分后利用`CompletableFuture`与`ThreadPoolTaskExecutor`并行导出,并使用EasyExcel生成多个Excel文件,最终将其压缩成ZIP文件供下载。此方案提升了导出效率,改善了用户体验。代码示例展示了如何实现这一过程,包括多线程处理、模板导出及资源清理等关键步骤。
|
1月前
|
SQL C# 数据库
EPPlus库的安装和使用 C# 中 Excel的导入和导出
本文介绍了如何使用EPPlus库在C#中实现Excel的导入和导出功能。首先,通过NuGet包管理器安装EPPlus库,然后提供了将DataGridView数据导出到Excel的步骤和代码示例,包括将DataGridView转换为DataTable和使用EPPlus将DataTable导出为Excel文件。接着,介绍了如何将Excel数据导入到数据库中,包括读取Excel文件、解析数据、执行SQL插入操作。
EPPlus库的安装和使用 C# 中 Excel的导入和导出
|
22天前
|
数据处理 Python
Python 高级技巧:深入解析读取 Excel 文件的多种方法
在数据分析中,从 Excel 文件读取数据是常见需求。本文介绍了使用 Python 的三个库:`pandas`、`openpyxl` 和 `xlrd` 来高效处理 Excel 文件的方法。`pandas` 提供了简洁的接口,而 `openpyxl` 和 `xlrd` 则针对不同版本的 Excel 文件格式提供了详细的数据读取和处理功能。此外,还介绍了如何处理复杂格式(如合并单元格)和进行性能优化(如分块读取)。通过这些技巧,可以轻松应对各种 Excel 数据处理任务。
54 16
|
14天前
|
存储 C#
【C#】大批量判断文件是否存在的两种方法效率对比
【C#】大批量判断文件是否存在的两种方法效率对比
23 1
|
16天前
|
JSON 数据格式
LangChain-20 Document Loader 文件加载 加载MD DOCX EXCEL PPT PDF HTML JSON 等多种文件格式 后续可通过FAISS向量化 增强检索
LangChain-20 Document Loader 文件加载 加载MD DOCX EXCEL PPT PDF HTML JSON 等多种文件格式 后续可通过FAISS向量化 增强检索
42 2
|
17天前
|
IDE 开发工具 数据安全/隐私保护
Python编程--实现用户注册信息写入excel文件
Python编程--实现用户注册信息写入excel文件
14 1
|
5天前
|
前端开发 JavaScript API
前端基于XLSX实现数据导出到Excel表格,以及提示“文件已经被损坏,无法打开”的解决方法
前端基于XLSX实现数据导出到Excel表格,以及提示“文件已经被损坏,无法打开”的解决方法
33 0
|
17天前
|
XML 存储 缓存
C#使用XML文件的详解及示例
C#使用XML文件的详解及示例
44 0
|
18天前
|
iOS开发 MacOS Python
Python编程-macOS系统数学符号快捷键录入并生成csv文件转换为excel文件
Python编程-macOS系统数学符号快捷键录入并生成csv文件转换为excel文件
23 0