C#.Net筑基-优雅LINQ的查询艺术

145 阅读15分钟

Linq(Language Integrated Query,集成查询语言),顾名思义就是用来查询数据的一种语言(可以看作是一组功能、框架特性的集合)。在.NETFramework3.5(大概2007年)引入C#,用统一的C#语言快速查询各种数据,如数据库、XML文档、对象集合等等。Linq的诞生对 C# 编程领域产生了深远而持久的影响,改变了开发人员对查询的思考方式。

  • 使用简单:统一语法(链式方法语法、类似SQL的查询语法),智能提示。
  • 类型安全:编译时强类型检查,减少运行时错误。
  • 延迟执行,查询本身只是构建了一个表达式,在真正使用的时候(foreach、ToList、查询数据库)才会执行。
  • 支持多种数据源:内存中的集合,以及各种外部数据库。

Linq支持查询任何实现了IEnumerable<T>接口的集合类型,基本上所有集合数据都支持Linq查询。如下示例:大于 5 的偶数,并倒叙排列取前三名

//方法链语法var query = arr.Where(n => n > 5 && n % 2 == 0).OrderByDescending(n => n).Take(3);

01、Linq 基础概括

1.1、Linq语法:链式方法、查询表达式

Linq 有两种语法风格,如下实例代码,一种是常规C#方法调用方式,另外一种是类似SQL的查询表达式。这两种语法其本质是一样的,编译后的中间语言(IL)是一样的,

确实仅仅只是语法形式不同而已

🔸链式方法:就是字面意思,函数式方法调用。这些方法都来自 IEnumerable 接口或 IQueryable 接口的扩展方法,这些方法提供了过滤、聚合、排序等多种查询功能。

🔸查询表达式:查询表达式由一组用类似于 SQL 的声明性语法所编写的子句组成。 每个子句依次包含一个或多个 C# 表达式,而这些表达式可能本身就是查询表达式,或者包含查询表达式。查询表达式必须以 from 子句开头,且必须以 selectgroup 子句结尾。

//方法链语法var query = arr.Where(n => n > 5 && n % 2 == 0).OrderByDescending(n => n).Take(3);//查询表达式语法,类似数据库SQL语言+C#的语法风格var query2 = (from n in arr				 where n > 5 && n % 2 == 0                  orderby n descending                  select n).Take(3);

比较

链式方法

查询表达式(SQL)

特点

链式方法调用,函数式编程

类似SQL语句,自然语言,容易掌握

语法形式

点点点链式方法调用,Where().Select().Order()

from开头:from...where...select

常用方法/语法

System.Linq

上提供的扩展方法或第三方扩展:Where、OrderBy、Select、Skip、Take、Union

仅支持编译器识别的关键字:from、where、orderby、group、join、let、select、into、in、on等

本质

System.Linq

提供的扩展方法调用

编译为标准查询运算符方法调用,

编译结果和链式方法一样

功能完整性

完整的Linq功能

有些能力没有对应语法(如Max),需要结合链式方法使用

📢 两种编写方式编译后生成的IL代码实际上是一样的,也可以混合使用,因此他们并没有性能差异。

查询表达式并不能实现获取前3个元素,此时就需要两者混合使用,

var query = from u in list    where u.Age>14    group u by u.Address into gu    orderby gu.Count() descending    select (gu.Key,gu.Count());query = query.Take(3);

1.2、Linq执行:本地查询、解释型查询

LINQ 提供了两种用途的架构:针对本地(内存)对象的本地查询,以及针对远程数据源(数据库)的解释性查询。两者的语法形式基本一样,都支持链式方法、查询表达式。

🔸本地查询

:实现了针对IEnumerable的内存集合(数组、List)的查询,其Linq的扩展方法都在 System.Linq.Enumerable 类中。查询只是构建了一个可枚举的迭代装饰器序列,延迟在使用(消费)数据时执行。

🔸解释查询:解释查询是描述性的,实现了针对IQueryable(Table、DbSet)的远程数据查询,对应扩展方法都在 System.Linq.Queryable 类中。他们在运行时生成表达式树,并进行解释为SQL语句,在数据库中执行该SQL语句并获取数据。

比较

本地查询 Enumerable

解释查询 Queryable

操作对象

内存中的集合(IEnumerable<T>

外部数据源的查询接口(IQueryable<T>

延迟执行

支持,真正使用(消费)数据时才执行,如 foreach、ToList

支持,消费数据时才翻译成SQL并在数据库中执行获取数据

执行原理

参数为委托方法,C#内部执行委托、迭代器

参数为表达式树,LINQ Provider 在运行时遍历该树转换为目标语言(如 SQL)

谁来执行

CLR本地执行,数据在内存中

数据库执行SQL,数据在数据库中

执行过程

本地逐个元素迭代调用委托

数据库中执行SQL,返回查询结果

使用场景

List、Array、普通内存数据

Entity Framework、LINQ to SQL、MongoDB 查询

语法

都支持链式方法、表达式查询

同样支持链式方法、表达式查询

Linq方法在哪里?

System.Linq.Enumerable 静态类

System.Linq.Queryable 类,方法和 Enumerable 大部分对应。有些方法并不能生成数据库兼容的SQL语法。

扩展性

内存查询支持任意C#方法,扩展性强

受限,只能使用数据库兼容的方法。如正则表达式SQLServer就不支持。

结合使用

本地数据只能用本地查询

远程数据可以结合本地查询混用。

IQueryable 继承自 IEnumerable,因此解释查询可以转换为本地查询,query.AsEnumerable(),不过需谨慎使用,会将数据库的相应数据都加载到内存中。

public interface IQueryable<out T> : IEnumerable<T>, IEnumerable, IQueryable{}

📢表达式树是一个微型的代码DOM结构,树中的节点是Expression类型的节点,涵盖各种语法形式,如参数、变量、常量、赋值、比较、循环等等。表达式树可以转换(Compile)为委托,反之则不能。

1.3、延迟执行的注意事项

延迟执行

是指查询代码不会立刻执行,而是在正真取数的时候才会执行。他是Linq最主要的特点,是优点,也不全是,有些需要注意的地方。

  • 并不是所有的Linq方法都是延迟的,如:First()、Last()、ToArray()、ToList(),及Count、Max等聚合计算方法会立即执行。

  • 如果数据源变了,结果也会变化。

    List list = [2,3,9,4,5];var query = list.Where(s=>s>5);Console.WriteLine(query.Sum()); //9list.Add(6);Console.WriteLine(query.Sum()); //15

  • 重复取数时,查询也会重复执行,可能会浪费性能,特别是复杂、耗时的查询。避免的方式就是query.ToList() 一次性立即获取数据。

  • Lambda变量捕获,变量的值在真正执行查询的时候才会获取,这是方法闭包的特点。

    List list = [2,3,9,4,5];int n = 5;var query = list.Where(s=>s>n);n = 4;Console.WriteLine(query.Sum()); //14 //使用的n=4

1.4、迭代装饰器序列

为了支持延迟执行,Linq内部封装了很多迭代装饰器,偷偷看了下源码,如 WhereIteratorSelectEnumerableIteratorReverseIteratorUnionIterator 等,都是Linq内部的迭代装饰器。迭代装饰器会保留输入序列的引用及其他相关参数,仅当枚举结果时才会执行。

迭代序列装饰器本身继承自IEnumerable,因此就支持装饰器之间的嵌套。下面为迭代装饰器序列基类的源码 Iterator.cs

internal abstract class Iterator<TSource> : IEnumerable<TSource>, IEnumerator<TSource> {    private readonly int _threadId;    internal int _state;    internal TSource _current = default!;}

2、Enumerable扩展方法汇总⭐

内存集合的Linq扩展方法,基本都来自Enumerable类,参考官方 Enumerable 类。用于数据库的解释性查询方法在 System.Linq.Queryable 类中,方法和 Enumerable 基本上都是对应的。基本上所有的Linq方法都在这里汇总:

方法

说明

Chunk(Int32)

分块拆分为多个固定大小的数组,返回IEnumerable<TSource[]>,内部每次迭代会构建一个数组new TSource[arraySize]

Append(T)

末尾追加一个元素,原理是内部构建了一个新的迭代器AppendPrepend1Iterator实现返回这个元素。

Prepend(T)

在前面追加一个元素,原理同上,是同一个AppendPrepend1Iterator

🔸聚合计算,立即执行

Count()

获取集合中元素的数量,可指定条件参数Func。arr.Count(),内部原理比较简单,如果集合是ICollection等,则直接获取Count,否则只能e.MoveNext()一个一个的数了。

TryGetNonEnumeratedCount

获取元素数量,在不真正遍历(不枚举)集合的情况下,尽量尝试快速拿到集合元素的数量

Max()

返回最大的那个元素。截止.NET8,整数类型用了Vector提升性,其他循环比较,性能一般😒。

Min()

返回最小的那个元素,性能原理同Max

Average()

计算平均值,对于数值类型,内部用到了

Vector

,性能还是不错的。var a = arr.Average()

Sum()

求和,arr1.Sum()

Aggregate(Func)

执行累加器函数,函数的的输出为作为下一轮迭代的输入,依次迭代执行。
示例,计算序列最大值:var max = arr.Aggregate((acc,n)=>acc>n?acc:n)

🔸条件判断

Contains(T)

判断是否包含指定元素,返回bool,可指定比较器。bool f = arr.Contains(6)

Any()

集合是否包含元素,判断集合是否不为空。if(arr.Any()){}

Any(Func)

集合是否包含指定条件的元素,示例:是否有人考试满分,bool flag = arr.All(n=>n==100)

All(Func)

所有元素是否满足条件,示例:是否所有同学都及格了,bool flag = arr.All(n=>n>=60)

SequenceEqual(IEnumerable)

序列相等比较,比较两个序列是否相同,长度相同、每个元素相等则返回True

🔸元素选择

First()

返回第一个元素,如果一个都没有抛出异常,arr1.First()

FirstOrDefault()

返回第一元素,如果一个都没有则返回默认值,arr1.FirstOrDefault()

Last()

返回最后一个元素,如果一个都没有抛出异常。如果不是常规集合,会foreach循环所有😒。

LastOrDefault()

同上,如果一个都木有则返回默认值

Single()SingleOrDefault()

获取唯一元素,如果元素数量大于1则抛出异常。这个方法在数据库按主键查询时比较有用。

ElementAt(Index)

返回指定索引Index位置的元素,arr.ElementAt(0)。还有个更安全的 ElementAtOrDefault

DefaultIfEmpty(defaultT)

如果集合为空(集合中没有元素)返回含一个默认值的IEnumerable,否则返回原序列。

🔸筛选查询

Where(Func)

条件查询,最常用的Linq函数了,arr1.Where(s=>s>5)

Select(selector)

返回指定Key(元素选择处理器结果)的集合,list.Select(s=>s.Name+s.Age)

SelectMany()

将每个元素的“内部集合”展开合并为一个大集合,list.SelectMany(s=>s.Name.Split('-'))

Distinct()

去重,arr.Distinct(),内部使用HashSet<TSource>来去重。DistinctBy>可指定键Key。

OfType()

根据类型T筛选集合,源码中用obj is TResult来筛选,不符合的丢弃。list.OfType<double>()

Skip(int count)

跳过指定数量的元素,返回剩余的元素,arr1.Skip(5)

SkipLast(int count)

忽略后面的元素,返回前面剩余的元素。arr1.SkipLast(3)

SkipWhile(Func)

从开头跳过符合条件的元素,直到遇到不符合条件时停下,返回剩下的元素。

Take(int count)

返回前n个元素,Skip的逆运算,Take(3)

TakeLast(int count)

返回最后n个元素,arr1.TakeLast(3)

TakeWhile(Func)

从开头返回符合条件的元素,直到遇到不符合条件时停下,与SkipWhile相反arr1.TakeWhile(s=>s<5)

🔸排序分组

Order()

升序排列集合,arr2.Order()

OrderBy(TKey)

指定Key键升序排列集合,list.OrderBy(s=>s.Age)

OrderByDescending(TKey)

指定Key键降序排列集合,list.OrderByDescending(s=>s.Age)

ThenByThenByDescending

二次排序,跟着OrderBy使用,设置第二排序键。list.OrderBy(s=>s.Grade).ThenBy(s=>s.Age)

Reverse()

反转序列中元素的顺序,arr2.Reverse()

。内部源码是创建了一个数组来实现翻转,性能不佳

😒

,数组推荐使用

Array.Reverse()

,原地翻转,不会创建额外对象。

GroupBy

按指定的Key分组,返回一个分组集合IGrouping<TKey, TSource>list.GroupBy(s=>s.Name)

GroupJoin

带分组的连接(Join)操作,类似Sql中的Left Join + 分组,每个「左边元素」对应到「右边的一组元素」

🔸多集合操作

Union(IEnumerable)

并集,合并两个集合并

去重

arr1.Union(arr2)

Intersect(IEnumerable)

交集(Intersect /ˌɪntəˈsekt/ 相交),返回两个集合都包含的元素。IntersectBy

可指定键Key。

Except(IEnumerable)

移除(Except /ɪkˈsept/ 除外)arr1.Except(arr2)

移除

arr2

中也存在的元素。

ExceptBy

可指定键Key。

Concat(IEnumerable)

“合并”两个序列集合(

),内部由私有的ConcatIterator实现的连接迭代,arr.Concat([3])

Join(arr2, k2,k1,Func)

两个“表”内连接,类似Sql中的 Inner Join,用于两个不同类型元素的的连接,两个表Key匹配的元素合并

Zip

就像拉链(zipper)一样,把两个序列一对一地配对合并成一个新序列,arr1.Zip(arr2,(n1,n2)=>n1+n2)

🔸转换,ToXX立即执行

谨慎使用,会创建新的集合对象

Cast()

强制类型转换,内部使用强制转换“(TResult)obj

ToArray()

从 IEnumerable 创建新数组,慎用。var narr = arr1.Order().ToArray()

ToList()

从 IEnumerable 创建新Listarr1.Take(3).ToList()

ToHashSet

从 IEnumerable 创建新HashSet(不可重复集合,

自动去重

),arr1.ToHashSet()

ToDictionary()

从 IEnumerable 创建新字典Dictionary<TK,TV>list.ToDictionary(s=>s.Name,s=>s.Age)

ToLookup()

从 IEnumerable 创建新 Lookup分组的字典),arr1.ToLookup(s=>s%2)

🔸其他

Range(start, end)

静态方法,创建一个连续的序列,可用来创建测试数据,Enumerable.Range(1,10).ToArray()

Repeat(T, count)

静态方法,创建一个重复值的序列,Enumerable.Repeat(18,10)

Empty()

静态方法,获得一个空的序列,Enumerable.Empty<int>().Any(); //false

AsEnumerable()

返回自己,什么也不干。在Linq to SQL中可以强制让后续操作在本地内存中进行,而不会翻译成SQL。

2.1、示例:构建动态查询

根据用户输入条件,构建动态查询条件,

使用

Skip

Take

实现分页

var query = list.AsEnumerable();if (!string.IsNullOrWhiteSpace(name))    query = query.Where(s => s.Name.Contains(name, StringComparison.OrdinalIgnoreCase));if (age.HasValue)    query = query.Where(s => s.Age == age);if (!string.IsNullOrWhiteSpace(address))    query = query.Where(s => s.Address.Contains(address));//使用 SkipTake 实现分页query = query    .Skip((pageNumber - 1) * pageSize)    .Take(pageSize);//执行查询,获取结果var result = query.ToArray();

2.2、自定义扩展

本地查询扩展是很容易的,基于IEnumerable<T>实现扩展方法即可。IQueryable扩展则要考虑数据库的支持和映射,一般无需自定义扩展。

//交替获取元素集合public static IEnumerable<T> AlternateElements<T>(this IEnumerable<T> source){    int index = 0;    foreach (T element in source)    {        if (index % 2 == 0)        {            yield return element;        }         index++;    }} //使用var query = list.AlternateElements();

参考资料

行业拓展

分享一个面向研发人群使用的前后端分离的低代码软件——JNPF

基于 Java Boot/.Net Core双引擎,它适配国产化,支持主流数据库和操作系统,提供五十几种高频预制组件,内置了常用的后台管理系统使用场景和实用模版,通过简单的拖拉拽操作,开发者能够高效完成软件开发,提高开发效率,减少代码编写工作。

JNPF基于SpringBoot+Vue.js,提供了一个适合所有水平用户的低代码学习平台,无论是有经验的开发者还是编程新手,都可以在这里找到适合自己的学习路径。

此外,JNPF支持全源码交付,完全支持根据公司、项目需求、业务需求进行二次改造开发或内网部署,具备多角色门户、登录认证、组织管理、角色授权、表单设计、流程设计、页面配置、报表设计、门户配置、代码生成工具等开箱即用的在线服务。