其他分享
首页 > 其他分享> > .NET Core3.1 并行LINQ

.NET Core3.1 并行LINQ

作者:互联网

书接上文:LINQ 标准查询操作符

概述

  PLINQ(Parallel LINQ,)并行LINQ。

  syetem.Linq名称空间中包含的类ParallelEnumerable可以分解查询的工作,使其分布在多个线程上。尽管Enumerable类给IEnumerable<T>接口定义了扩展方法,但ParallelEnumerable类的大多数扩展方法是ParallelQuery<TSource>类的扩展。一个重要的例外是AsParallel()方法,它扩展了IEnumerable<TSource>接口,返回ParallelQuery<TSource>类,所以正常的集合都可以以并行的方式查询。

并行查询

  需要一个大型集合。 对于可以放在CPU的缓存中的小集合,并行LINQ看不出效果。示例中,用随机值填充一个大型的int集合,然后使用LINQ筛选数据,进行一些计算,获取所筛选数据的平均值。和上一节的例子中的唯一区别就是调用了AsParallel()方法:

 1         private static void ParallelLinqQuery()
 2         {
 3             const int arraySize = 500000000;
 4             var r = new Random();
 5             var data = Enumerable.Range(0, arraySize).Select(x => r.Next(140)).ToList();
 6             var query = (from s in data.AsParallel()
 7                          where Math.Log(s) < 4
 8                          select s).Average();
 9             Console.WriteLine(query);
10         }

    运行结果:

    

 

     程序运行期间,我们看看CPU运行情况,可以看出所有的CPU都在忙碌:

    

 

分区器

   AsParallel()方法不仅扩展了IEnumerable<T>接口,还扩展了Partitioner类。通过他,可以影响要创建的分区。

  Partitioner类在名称空间System.Collection.Concurrent中定义,有多个不同的变体。Create()方法接受实现了IList<T>类的数组或对象。根据这一点,以及Boolean类型的参数loadBalance和该方法的一些重载版本,会返回一个不同的Partitioner类型。

  修改上述事例中的代码,手工创建一个分区器,而不是使用默认的分区器:

 1         private static void ParallelLinqQueryPartitioner()
 2         {
 3             const int arraySize = 500000000;
 4             var r = new Random();
 5             var data = Enumerable.Range(0, arraySize).Select(x => r.Next(140)).ToList();
 6             var query = (from s in Partitioner.Create(data, true).AsParallel()
 7                          where Math.Log(s) < 4
 8                          select s
 9                          ).Average();
10             Console.WriteLine(query);
11         }

  也可以调用WithExecutionMode()和WithDegreeOfParallelism()方法来影响并行机制。

  WithExecutionMode()方法,可以传递ParallelExecutionMode的一个Default值或者ForceParallelism值。

  默认情况下,PLINQ避免使用系统开销很高的并行机制。对于WithDegreeOfParallelism(),可以传递一个整数值,以指定应并行运行的最大任务数。查询不应使用全部CPU,这个方法会很有用。

取消

  要取消长时间运行的查询,可以给查询添加WithCancellation()方法,并传递一个CancellationToken令牌作为参数。CancellationToken令牌从CancellationTokenSource类中创建。该查询在单独的线程中运行,在该线程中,捕获一个OperationCancellationException类型的异常。如果取消了查询,就触发这个异常。在主线程中调用CancellationTokenSource累的Cancel()方法可以取消任务:

 1         private static void UseCancellation()
 2         {
 3             var cts = new CancellationTokenSource();
 4             Task.Run(() =>
 5             {
 6                 try
 7                 {
 8                     const int arraySize = 500000000;
 9                     var r = new Random();
10                     var data = Enumerable.Range(0, arraySize).Select(x => r.Next(140)).ToList();
11                     var res = (from s in data.AsParallel().WithCancellation(cts.Token)
12                                where Math.Log(s) < 4
13                                select s).Average();
14                     Console.WriteLine(res);
15                 }
16                 catch (OperationCanceledException ex)
17                 {
18                     Console.WriteLine(ex.Message);
19                 }
20             });
21             
22             Console.WriteLine("启动查询!");
23             Console.WriteLine("取消? 确定取消请输入Y/y");
24             
25             string input = Console.ReadLine();
26             if (input.ToLower().Equals("y"))
27             {
28                 cts.Cancel();
29             }
30         }

 

下面,我们将学习LINQ的表达式树

 

标签:Console,LINQ,查询,var,WriteLine,Core3.1,NET,AsParallel
来源: https://www.cnblogs.com/hiwuchong/p/14135500.html