Linq(Language Integrated Query,集成查询语言),顾名思义就是用来查询数据的一种语言(可以看作是一组功能、框架特性的集合)。在.NETFramework3.5(大概2007年)引入C#,用统一的C#语言快速查询各种数据,如数据库、XML文档、对象集合等等。Linq的诞生对 C# 编程领域产生了深远而持久的影响,改变了开发人员对查询的思考方式。
- 使用简单:统一语法(链式方法语法、类似SQL的查询语法),智能提示。
- 类型安全:编译时强类型检查,减少运行时错误。
- 延迟执行,查询本身只是构建了一个表达式,在真正使用的时候(foreach、ToList、查询数据库)才会执行。
- 支持多种数据源:内存中的集合,以及各种外部数据库。
Linq支持查询任何实现了IEnumerable<T>接口的集合类型,基本上所有集合数据都支持Linq查询。如下示例:大于 5 的偶数,并倒叙排列取前三名
//方法链语法var query = arr.Where(n => n > 5 && n % 2 == 0).OrderByDescending(n => n).Take(3);
01、Linq 基础概括
1.1、Linq语法:链式方法、查询表达式
Linq 有两种语法风格,如下实例代码,一种是常规C#方法调用方式,另外一种是类似SQL的查询表达式。这两种语法其本质是一样的,编译后的中间语言(IL)是一样的,
确实仅仅只是语法形式不同而已
。
🔸链式方法:就是字面意思,函数式方法调用。这些方法都来自 IEnumerable 接口或 IQueryable 接口的扩展方法,这些方法提供了过滤、聚合、排序等多种查询功能。
🔸查询表达式:查询表达式由一组用类似于 SQL 的声明性语法所编写的子句组成。 每个子句依次包含一个或多个 C# 表达式,而这些表达式可能本身就是查询表达式,或者包含查询表达式。查询表达式必须以 from 子句开头,且必须以 select 或 group 子句结尾。
//方法链语法var query = arr.Where(n => n > 5 && n % 2 == 0).OrderByDescending(n => n).Take(3);//查询表达式语法,类似数据库SQL语言+C#的语法风格var query2 = (from n in arr where n > 5 && n % 2 == 0 orderby n descending select n).Take(3);
比较
链式方法
查询表达式(SQL)
特点
链式方法调用,函数式编程
类似SQL语句,自然语言,容易掌握
语法形式
点点点链式方法调用,Where().Select().Order()
以from开头:from...where...select
常用方法/语法
System.Linq
上提供的扩展方法或第三方扩展:Where、OrderBy、Select、Skip、Take、Union
仅支持编译器识别的关键字:from、where、orderby、group、join、let、select、into、in、on等
本质
System.Linq
提供的扩展方法调用
编译为标准查询运算符方法调用,
编译结果和链式方法一样
功能完整性
完整的Linq功能
有些能力没有对应语法(如Max),需要结合链式方法使用
📢 两种编写方式编译后生成的IL代码实际上是一样的,也可以混合使用,因此他们并没有性能差异。
查询表达式并不能实现获取前3个元素,此时就需要两者混合使用,
var query = from u in list where u.Age>14 group u by u.Address into gu orderby gu.Count() descending select (gu.Key,gu.Count());query = query.Take(3);
1.2、Linq执行:本地查询、解释型查询
LINQ 提供了两种用途的架构:针对本地(内存)对象的本地查询,以及针对远程数据源(数据库)的解释性查询。两者的语法形式基本一样,都支持链式方法、查询表达式。
🔸本地查询
:实现了针对IEnumerable的内存集合(数组、List)的查询,其Linq的扩展方法都在 System.Linq.Enumerable 类中。查询只是构建了一个可枚举的迭代装饰器序列,延迟在使用(消费)数据时执行。
🔸解释查询:解释查询是描述性的,实现了针对IQueryable(Table、DbSet)的远程数据查询,对应扩展方法都在 System.Linq.Queryable 类中。他们在运行时生成表达式树,并进行解释为SQL语句,在数据库中执行该SQL语句并获取数据。
比较
本地查询 Enumerable
解释查询 Queryable
操作对象
内存中的集合(IEnumerable<T>)
外部数据源的查询接口(IQueryable<T>)
延迟执行
支持,真正使用(消费)数据时才执行,如 foreach、ToList
支持,消费数据时才翻译成SQL并在数据库中执行获取数据
执行原理
参数为委托方法,C#内部执行委托、迭代器
参数为表达式树,LINQ Provider 在运行时遍历该树转换为目标语言(如 SQL)
谁来执行
CLR本地执行,数据在内存中
数据库执行SQL,数据在数据库中
执行过程
本地逐个元素迭代调用委托
数据库中执行SQL,返回查询结果
使用场景
List、Array、普通内存数据
Entity Framework、LINQ to SQL、MongoDB 查询
语法
都支持链式方法、表达式查询
同样支持链式方法、表达式查询
Linq方法在哪里?
System.Linq.Queryable 类,方法和 Enumerable 大部分对应。有些方法并不能生成数据库兼容的SQL语法。
扩展性
内存查询支持任意C#方法,扩展性强
受限,只能使用数据库兼容的方法。如正则表达式SQLServer就不支持。
结合使用
本地数据只能用本地查询
远程数据可以结合本地查询混用。
IQueryable 继承自 IEnumerable,因此解释查询可以转换为本地查询,query.AsEnumerable(),不过需谨慎使用,会将数据库的相应数据都加载到内存中。
public interface IQueryable<out T> : IEnumerable<T>, IEnumerable, IQueryable{}
📢表达式树是一个微型的代码DOM结构,树中的节点是Expression类型的节点,涵盖各种语法形式,如参数、变量、常量、赋值、比较、循环等等。表达式树可以转换(Compile)为委托,反之则不能。
1.3、延迟执行的注意事项
延迟执行
是指查询代码不会立刻执行,而是在正真取数的时候才会执行。他是Linq最主要的特点,是优点,也不全是,有些需要注意的地方。
-
并不是所有的Linq方法都是延迟的,如:First()、Last()、ToArray()、ToList(),及Count、Max等聚合计算方法会立即执行。
-
如果数据源变了,结果也会变化。
List list = [2,3,9,4,5];var query = list.Where(s=>s>5);Console.WriteLine(query.Sum()); //9list.Add(6);Console.WriteLine(query.Sum()); //15
-
重复取数时,查询也会重复执行,可能会浪费性能,特别是复杂、耗时的查询。避免的方式就是
query.ToList()一次性立即获取数据。 -
Lambda变量捕获,变量的值在真正执行查询的时候才会获取,这是方法闭包的特点。
List list = [2,3,9,4,5];int n = 5;var query = list.Where(s=>s>n);n = 4;Console.WriteLine(query.Sum()); //14 //使用的n=4
1.4、迭代装饰器序列
为了支持延迟执行,Linq内部封装了很多迭代装饰器,偷偷看了下源码,如 WhereIterator、SelectEnumerableIterator、ReverseIterator、UnionIterator 等,都是Linq内部的迭代装饰器。迭代装饰器会保留输入序列的引用及其他相关参数,仅当枚举结果时才会执行。
迭代序列装饰器本身继承自IEnumerable,因此就支持装饰器之间的嵌套。下面为迭代装饰器序列基类的源码 Iterator.cs。
internal abstract class Iterator<TSource> : IEnumerable<TSource>, IEnumerator<TSource> { private readonly int _threadId; internal int _state; internal TSource _current = default!;}
2、Enumerable扩展方法汇总⭐
内存集合的Linq扩展方法,基本都来自Enumerable类,参考官方 Enumerable 类。用于数据库的解释性查询方法在 System.Linq.Queryable 类中,方法和 Enumerable 基本上都是对应的。基本上所有的Linq方法都在这里汇总:
方法
说明
分块拆分为多个固定大小的数组,返回IEnumerable<TSource[]>,内部每次迭代会构建一个数组new TSource[arraySize]
末尾追加一个元素,原理是内部构建了一个新的迭代器AppendPrepend1Iterator实现返回这个元素。
在前面追加一个元素,原理同上,是同一个AppendPrepend1Iterator
🔸聚合计算,立即执行
获取集合中元素的数量,可指定条件参数Func。arr.Count(),内部原理比较简单,如果集合是ICollection等,则直接获取Count,否则只能e.MoveNext()一个一个的数了。
获取元素数量,在不真正遍历(不枚举)集合的情况下,尽量尝试快速拿到集合元素的数量
返回最大的那个元素。截止.NET8,整数类型用了Vector提升性,其他循环比较,性能一般😒。
返回最小的那个元素,性能原理同Max
计算平均值,对于数值类型,内部用到了
Vector
⭐
,性能还是不错的。var a = arr.Average()
求和,arr1.Sum()
执行累加器函数,函数的的输出为作为下一轮迭代的输入,依次迭代执行。
示例,计算序列最大值:var max = arr.Aggregate((acc,n)=>acc>n?acc:n)
🔸条件判断
判断是否包含指定元素,返回bool,可指定比较器。bool f = arr.Contains(6)
集合是否包含元素,判断集合是否不为空。if(arr.Any()){}
集合是否包含指定条件的元素,示例:是否有人考试满分,bool flag = arr.All(n=>n==100)
所有元素是否满足条件,示例:是否所有同学都及格了,bool flag = arr.All(n=>n>=60)
序列相等比较,比较两个序列是否相同,长度相同、每个元素相等则返回True
🔸元素选择
返回第一个元素,如果一个都没有抛出异常,arr1.First()
返回第一元素,如果一个都没有则返回默认值,arr1.FirstOrDefault()
返回最后一个元素,如果一个都没有抛出异常。如果不是常规集合,会foreach循环所有😒。
同上,如果一个都木有则返回默认值
获取唯一元素,如果元素数量大于1则抛出异常。这个方法在数据库按主键查询时比较有用。
返回指定索引Index位置的元素,arr.ElementAt(0)。还有个更安全的 ElementAtOrDefault
如果集合为空(集合中没有元素)返回含一个默认值的IEnumerable,否则返回原序列。
🔸筛选查询
条件查询,最常用的Linq函数了,arr1.Where(s=>s>5)
返回指定Key(元素选择处理器结果)的集合,list.Select(s=>s.Name+s.Age)
将每个元素的“内部集合”展开合并为一个大集合,list.SelectMany(s=>s.Name.Split('-'))
去重,arr.Distinct(),内部使用HashSet<TSource>来去重。DistinctBy>可指定键Key。
根据类型T筛选集合,源码中用obj is TResult来筛选,不符合的丢弃。list.OfType<double>()
跳过指定数量的元素,返回剩余的元素,arr1.Skip(5)
忽略后面的元素,返回前面剩余的元素。arr1.SkipLast(3)
从开头跳过符合条件的元素,直到遇到不符合条件时停下,返回剩下的元素。
返回前n个元素,Skip的逆运算,Take(3)
返回最后n个元素,arr1.TakeLast(3)
从开头返回符合条件的元素,直到遇到不符合条件时停下,与SkipWhile相反arr1.TakeWhile(s=>s<5)
🔸排序分组
升序排列集合,arr2.Order()
指定Key键升序排列集合,list.OrderBy(s=>s.Age)
指定Key键降序排列集合,list.OrderByDescending(s=>s.Age)
二次排序,跟着OrderBy使用,设置第二排序键。list.OrderBy(s=>s.Grade).ThenBy(s=>s.Age)
反转序列中元素的顺序,arr2.Reverse()
。内部源码是创建了一个数组来实现翻转,性能不佳
😒
,数组推荐使用
Array.Reverse()
,原地翻转,不会创建额外对象。
按指定的Key分组,返回一个分组集合IGrouping<TKey, TSource>,list.GroupBy(s=>s.Name)
带分组的连接(Join)操作,类似Sql中的Left Join + 分组,每个「左边元素」对应到「右边的一组元素」
🔸多集合操作
并集,合并两个集合并
去重
,arr1.Union(arr2)
交集(Intersect /ˌɪntəˈsekt/ 相交),返回两个集合都包含的元素。IntersectBy
可指定键Key。
移除(Except /ɪkˈsept/ 除外)arr1.Except(arr2)
移除
arr2
中也存在的元素。
可指定键Key。
“合并”两个序列集合(
),内部由私有的ConcatIterator实现的连接迭代,arr.Concat([3])
两个“表”内连接,类似Sql中的 Inner Join,用于两个不同类型元素的的连接,两个表Key匹配的元素合并
就像拉链(zipper)一样,把两个序列一对一地配对合并成一个新序列,arr1.Zip(arr2,(n1,n2)=>n1+n2)
🔸转换,ToXX立即执行
❗
谨慎使用,会创建新的集合对象
强制类型转换,内部使用强制转换“(TResult)obj”
从 IEnumerable 创建新数组,慎用。var narr = arr1.Order().ToArray()
从 IEnumerable 创建新List,arr1.Take(3).ToList()
从 IEnumerable 创建新HashSet(不可重复集合,
自动去重
),arr1.ToHashSet()
从 IEnumerable 创建新字典Dictionary<TK,TV>,list.ToDictionary(s=>s.Name,s=>s.Age)
从 IEnumerable 创建新 Lookup(分组的字典),arr1.ToLookup(s=>s%2)
🔸其他
静态方法,创建一个连续的序列,可用来创建测试数据,Enumerable.Range(1,10).ToArray()
静态方法,创建一个重复值的序列,Enumerable.Repeat(18,10)
静态方法,获得一个空的序列,Enumerable.Empty<int>().Any(); //false
返回自己,什么也不干。在Linq to SQL中可以强制让后续操作在本地内存中进行,而不会翻译成SQL。
2.1、示例:构建动态查询
根据用户输入条件,构建动态查询条件,
使用
Skip
和
Take
实现分页
。
var query = list.AsEnumerable();if (!string.IsNullOrWhiteSpace(name)) query = query.Where(s => s.Name.Contains(name, StringComparison.OrdinalIgnoreCase));if (age.HasValue) query = query.Where(s => s.Age == age);if (!string.IsNullOrWhiteSpace(address)) query = query.Where(s => s.Address.Contains(address));//使用 Skip 和 Take 实现分页query = query .Skip((pageNumber - 1) * pageSize) .Take(pageSize);//执行查询,获取结果var result = query.ToArray();
2.2、自定义扩展
本地查询扩展是很容易的,基于IEnumerable<T>实现扩展方法即可。IQueryable扩展则要考虑数据库的支持和映射,一般无需自定义扩展。
//交替获取元素集合public static IEnumerable<T> AlternateElements<T>(this IEnumerable<T> source){ int index = 0; foreach (T element in source) { if (index % 2 == 0) { yield return element; } index++; }} //使用var query = list.AlternateElements();
参考资料
- MSDN:Enumerable 类
- LINQ概述
- 《C#8.0 In a Nutshell》
行业拓展
分享一个面向研发人群使用的前后端分离的低代码软件——JNPF。
基于 Java Boot/.Net Core双引擎,它适配国产化,支持主流数据库和操作系统,提供五十几种高频预制组件,内置了常用的后台管理系统使用场景和实用模版,通过简单的拖拉拽操作,开发者能够高效完成软件开发,提高开发效率,减少代码编写工作。
JNPF基于SpringBoot+Vue.js,提供了一个适合所有水平用户的低代码学习平台,无论是有经验的开发者还是编程新手,都可以在这里找到适合自己的学习路径。
此外,JNPF支持全源码交付,完全支持根据公司、项目需求、业务需求进行二次改造开发或内网部署,具备多角色门户、登录认证、组织管理、角色授权、表单设计、流程设计、页面配置、报表设计、门户配置、代码生成工具等开箱即用的在线服务。