c#扩展出MapReduce方法

简介: MapReduce方法主体: 1 public static IDictionary MapReduce(this IList inputList, 2 Func map, Func reduce) 3 { 4 o...

MapReduce方法主体:

 1 public static IDictionary<TKey, TResult> MapReduce<TInput, TKey, TValue, TResult>(this IList<TInput> inputList,
 2             Func<MapReduceData<TInput>, KeyValueClass<TKey, TValue>> map, Func<TKey, IList<TValue>, TResult> reduce)
 3         {
 4             object locker = new object();
 5             ConcurrentDictionary<TKey, TResult> result = new ConcurrentDictionary<TKey, TResult>();
 6             //保存map出来的结果
 7             ConcurrentDictionary<TKey, IList<TValue>> mapDic = new ConcurrentDictionary<TKey, IList<TValue>>();
 8             var parallelOptions = new ParallelOptions();
 9             parallelOptions.MaxDegreeOfParallelism = Environment.ProcessorCount;
10             //并行map
11             Parallel.For(0, inputList.Count(), parallelOptions, t =>
12             {
13                 MapReduceData<TInput> data = new MapReduceData<TInput>
14                 {
15                     Data = inputList[t],
16                     Index = t,
17                     List = inputList,
18                 };
19                 var pair = map(data);
20                 if (pair != null && pair.Valid)
21                 {
22                     //锁住防止并发操作list造成数据缺失
23                     lock (locker)
24                     {
25                         //将匹配出来的结果加入结果集放入字典
26                         IList<TValue> list = null;
27                         if (mapDic.ContainsKey(pair.Key))
28                         {
29                             list = mapDic[pair.Key];
30                         }
31                         else
32                         {
33                             list = new List<TValue>();
34                             mapDic[pair.Key] = list;
35                         }
36                         list.Add(pair.Value);
37                     }
38                 }
39             });
40 
41             //并行reduce
42             Parallel.For(0, mapDic.Keys.Count, parallelOptions, t =>
43             {
44                 KeyValuePair<TKey, IList<TValue>> pair = mapDic.ElementAt(t);
45                 result[pair.Key] = reduce(pair.Key, pair.Value);
46             });
47             return result;
48         }
View Code

KeyValueClass定义:

 1 public class KeyValueClass<K, V>
 2     {
 3         public KeyValueClass(K key, V value)
 4         {
 5             Key = key;
 6             Value = value;
 7         }
 8 
 9         public KeyValueClass()
10         {
11 
12         }
13 
14         public K Key { get; set; }
15 
16         public V Value { get; set; }
17     }
View Code

Console测试:

 1 List<TestClass> listTestClass = new List<TestClass>();
 2             listTestClass.Add(new TestClass { a = "a", g = 1 });
 3             listTestClass.Add(new TestClass { a = "b", g = 3 });
 4             listTestClass.Add(new TestClass { a = "c", g = 4 });
 5             listTestClass.Add(new TestClass { a = "d", g = 2 });
 6             listTestClass.Add(new TestClass { a = "e", g = 1 });
 7             listTestClass.Add(new TestClass { a = "f", g = 2 });
 8             listTestClass.Add(new TestClass { a = "g", g = 5 });
 9             listTestClass.Add(new TestClass { a = "h", g = 6 });
10             IDictionary<int, string> dic = listTestClass.MapReduce(t =>
11             {
12                 if (t.g < 5)
13                 {
14                     return new KeyValueClass<int, string>(t.g, t.a);
15                 }
16                 return null;
17             }, (key, values) =>
18            {
19                return string.Join(",", values);
20            });
View Code

TestClass定义:

 1 public class TestClass
 2     {
 3         public string a { get; set; }
 4         public string b { get; set; }
 5 
 6         public string d { get; set; }
 7 
 8         //public DateTime f { get; set; }
 9 
10         public int g { get; set; }
11 
12         public List<TestClass> test { get; set; }
13 
14         public Dictionary<string, string> dic { get; set; }
15     }
View Code

结果:

1:a,e

2:d,f

3:b

4:c

 

词频性能测试

相关文章
|
2月前
|
Java 调度 C#
C#学习系列相关之多线程(一)----常用多线程方法总结
C#学习系列相关之多线程(一)----常用多线程方法总结
|
2月前
|
C#
C#学习相关系列之数组---常用方法使用(二)
C#学习相关系列之数组---常用方法使用(二)
|
2月前
|
存储 C# 数据库
C# 生成唯一ID,有哪些方法?
【2月更文挑战第12天】
464 0
|
21天前
|
数据采集 数据可视化 测试技术
C#生成Selenium测试报告:实用方法与技巧
在C#中使用Selenium进行自动化测试时,结合代理IP和ExtentReports能增强测试安全性和报告质量。安装必备工具如Selenium WebDriver、NUnit和ExtentReports。在测试设置中,配置代理(如亿牛云爬虫代理)以隐藏IP,通过ChromeOptions定制UserAgent,并添加Cookie。测试代码示例展示了如何打开网页、执行搜索并生成详细的测试报告。使用ExtentReports可创建可视化测试结果,便于团队分析。
C#生成Selenium测试报告:实用方法与技巧
|
22天前
|
C#
技术经验分享:C#DUID的用法及取得整数的几个方法
技术经验分享:C#DUID的用法及取得整数的几个方法
18 1
|
26天前
|
C#
蓝易云 - C#将异步改成同步方法
注意:虽然这样可以将异步方法转为同步,但在实际开发中,我们通常推荐使用异步方法,因为它可以提高应用程序的响应性和并发性。将异步方法转为同步可能会导致死锁或性能问题。
14 2
|
21天前
|
安全 编译器 API
程序与技术分享:C#调用DLL的几种方法
程序与技术分享:C#调用DLL的几种方法
16 0
|
2月前
|
存储 数据采集 API
C# GetField 方法应用实例
C# GetField 方法应用实例
|
2月前
|
JSON 安全 API
C# GetMethod 方法应用实例
C# GetMethod 方法应用实例
|
2月前
|
数据采集 前端开发 数据挖掘
Fizzler库+C#:从微博抓取热点的最简单方法
本文介绍如何使用Fizzler库和C#构建微博热点信息爬虫。通过Fizzler的CSS选择器定位关键信息,提取热点标题和排名,实现微博内容的智能挖掘。示例代码展示单线程和多线程采集方法,并涉及代理IP使用。
Fizzler库+C#:从微博抓取热点的最简单方法