#### 问题背景最近遇到一需求，需要对一个文件（文件不超过100w行）的数据进行复杂的查询，只通过代码逻辑实现起来较为复杂且灵活性不高，所以想有没有一种方式可以通过执行sql的方式来实现，之前项目里有用到calcite，知道其比较强大，但是目前了解还不够深入，就在网上找了一些技术文章，直到我发现了这篇文章[链接](https://www.jianshu.com/p/d8977aab8821)，打开了思路。 #### 技术选型首先能想到的方法有两种：\ 1.**借用中间数据库**：将数据导入到某种数据库中，例如MySQL或者Hive，这样做的好处在于，可以直接借助数据库引擎的SQL查询能力，并且可以存储数据。缺点在于，如果需求并没有存储数据的要求，且要求查询速率时，该方法显然不合适。\ 2.**使用内存数据库**：想法与第一种类似，有没有某种内存数据库，可以快速转化数据，快速查询数据呢？网上搜索一番后发现，其实出发点有些问题，既然是数据库，肯定逃不过数据存储，有存储就有延迟。但我们的目标是想尽可能削减甚至忽略这部分工作，把重心放在SQL查询上。\ 换种说法，内存数据结构或者集合可以看成存储数据的数据库，为什么非要找另一种存储方式，且就单单想借用它的SQL查询能力呢？ #### 柳暗花明在网上用各种关键词搜索无果后，脑袋里突然冒出一个东西：Calcite。之前尝试过用它做SQL解析，效果不是很好，并且在Hive中经常能看到它的身影，一查果然有门道。官网有这么一段描述，很有意思： > It contains many of the pieces that comprise a typical database management system, but omits some key functions: storage of data, algorithms to process data, and a repository for storing metadata.\ > Calcite intentionally stays out of the business of storing and processing data. As we shall see, this makes it an excellent choice for mediating between applications and one or more data storage locations and data processing engines. It is also a perfect foundation for building a database: just add data. 翻译一下，大概意思就是：Calcite不同于传统数据库的点在于，不存储数据，没有数据处理的算法，不存储元数据。它的作用是协调应用与存储在各处的数据，仅仅通过添加数据就可以创建一个数据库。 #### Show me the code! 官网有很多例子，特别是ReflectiveSchema和csv的例子，是很好的引导，其他各种数据库引擎可以通过各种Adapter接入，下面我们实现一个二维数组的查询，通过这个例子，大家可以简单改写实现各种数据结构的查询。\ 1.由上而下，先实现数据库**Schema**(可以忽略SchemaFactory）,把source看作二维数组，meta看作元数据字段信息。 ```java public class MemorySchema extends AbstractSchema { private Map tableMap; private List meta; private List> source; public MemorySchema(List meta, List> source){ this.meta = meta; this.source = source; } @Override public Map getTableMap(){ if(CollectionUtils.isEmpty(tableMap)){ tableMap = new HashMap<>(); tableMap.put("memory", new MemoryTable(meta, source)); } return tableMap; } } ``` 2.实现Table，模拟一张表 ```java public class MemoryTable extends AbstractTable implements ScannableTable { private List meta; private List> source; public MemoryTable(List meta, List> source){ this.meta = meta; this.source = source; } @Override public RelDataType getRowType(RelDataTypeFactory relDataTypeFactory) { JavaTypeFactory typeFactory = (JavaTypeFactory) relDataTypeFactory; //字段名 List names = new ArrayList<>(); //类型 List types = new ArrayList<>(); for(MemoryColumn col : meta){ names.add(col.getName()); RelDataType relDataType = typeFactory.createJavaType(col.getType()); relDataType = SqlTypeUtil.addCharsetAndCollation(relDataType, typeFactory); types.add(relDataType); } return typeFactory.createStructType(Pair.zip(names,types)); } @Override public Enumerable scan(DataContext dataContext) { return new AbstractEnumerable() { @Override public Enumerator enumerator() { return new MemoryEnumerator(source); } }; } } ``` 3.实现Enumerator，它模拟一个迭代器，枚举每一行数据 ```java public class MemoryEnumerator implements Enumerator { private List> source; private int i = -1; private int length; public MemoryEnumerator(List> source){ this.source = source; length = source.size(); } @Override public Object[] current() { List