LLVM底层原理&修饰符插件实现

一、LLVM概述

LLVM是架构编译器(compiler)的框架系统，以C++编写而成，用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time),对开发者保持开放，并兼容已有脚本。LLVM计划启动于2000年，最初由美国UIUC大学的Chris Lattner博士主持开展。2006年Chris Lattner加盟Apple Inc。并致力于LLVM在Apple开发体系中的应用。Apple也是LLVM计划的主要资助者。目前LLVM已经被苹果IOS开发工具、Xilinx Vivado、Facebook、Google等各大公司采用。

二、传统编译器设计

编译器前端(Frontend)

编译器前端的任务是解析源代码。它会进行：词法分析，语法分析，语义分析，检查源代码是否存在错误，然后构建抽象语法数(Abstract Syntax Tree, AST)，LLVM的前端还会生成中间代码IR(intermediate representation, IR)。

优化器(Optimizer)

优化器负责进行各种优化。改善代码的运行时间，例如消除􏲃􏲃􏲃多余计算等。

后端(Backend)/代码生成器(CodeGenerator)

将代码映射到目标指令集。生成机器语言，并且进行机器相关的代码优化。

三、IOS的编译器架构

Objective C/C/C++使用的编译器前端是clang，swift是swift，后端都是LLVM。

LLVM的设计

当编译器决定支持多种源语言或多种硬件架构时，LLVM最重要的地方就来了。其他的编译器如GCC，它方法非常成功，但由于它是作为整体应用程序设计的，因此它们的用途收到了很大的限制。

LLVM设计的最重要的方面是，使用通用的代码形式IR，它是用来在编译器中表示代码的形式。所以LLVM可以为任何编程语言独立编写前端，并且可以为任意硬件架构独立编写后端。

Clang

clang是LLVM项目中的一个子项目。它是基于LLVM架构的轻量级编译器，诞生之初是为了替代GCC，提供更快的编译速度。它是负责编译C、C++、Object-C语言的编译器，它属于整个LLVM架构中的，编译器前端。对于开发者来说，研究clang可以给我们带来很多好处。

四、clang编译流程

通过命令可以打印源码的编译阶段

clang -ccc-print-phases main.m

0: input, "main.m", objective-c
1: preprocessor, {0}, objective-c-cpp-output 2: compiler, {1}, ir
3: backend, {2}, assembler
4: assembler, {3}, object
5: linker, {4}, image
6: bind-arch, "x86_64", {5}, image

0: 输入文件：找到源文件。

1: 预处理阶段：这个过程处理包括宏的替换，头文件的导入。

2: 编译阶段：进行词法分析、语法分析、检测语法是否正确，最终生成IR

3: 后端：这里LLVM会通过一个一个的Pass去优化，每个Pass做一些事情，最终生成汇编代码。

4: 生成目标文件。

5: 链接：链接需要的动态库和静态库，生成可执行文件。

6: 通过不同的架构，生成对应的可执行文件。

五、clang编译阶段

词法分析

预处理完成后就会进行词法分析。这里会把代码切成一个一个token，比如大小，括号，等于号，还原字符串等。

clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m

main.m的源代码如下

#import <stdio.h>

#define C 30

typedef int HK_INT_64;

int test(int a,int b){

   return a + b + 3;

}

int main(int argc, const char * argv[]) { 
   
    int a = test(1, 2);    

    printf("%d",a);    

    return 0;
}

词法分析如下，会拆分为一个个的字符

语法分析

词法分析完成之后就是语法分析，它的任务是验证语法是否正确。在词法分析的基础上将单词序列组合成各类语法短语，如“程序”，“语句”，“表达式”等等，然后将所有节点组成抽象语法树(Abstract Syntax Tree, AST)。语法分析程序判断源程序在结构上是否正确。

clang -fmodules -fsyntax-only -Xclang -ast-dump main.m

生成抽象语法树

如果导入头文件找不到，那么可以指定SDK

clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk􏱶􏴴􏴵S DK􏲢􏲣􏱷 -fmodules -fsyntax-only -Xclang -ast-dump main.m

生成中间代码IR(intermediate representation)

完成以上步骤后就开始生成中间代码IR了，代码生成器(Code Generation)会将语法树自顶向下遍历，逐步翻译成LLVM的IR。通过一下命令可以生成.ll的文本文件，查看IR代码。

clang -S -fobjc-arc -emit-llvm main.m

生成IR代码如下

Object C代码在这一步会进行runtime的桥接：Property合成，ARC处理等

IR的基本语法

IR的优化

LLVM的优化级别分别是 -O0，-O1，-O2，-O3，-Os（第一个是大写英文字母）

clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll

Xcode在release环境，会自带编译器的优化。配置如下图

bitCode

Xcode7以后开启bitCode苹果会做进一步的优化。生成.bc的中间代码。

我们通过优化后的IR代码生成.bc代码

clang -emit-llvm -c main.ll -o main.bc

生成汇编代码

我们通过最终的.bc或者.ll代码生成汇编代码

clang -S -fobjc-arc main.bc -o main.s 

clang -S -fobjc-arc main.ll -o main.s

生成汇编代码也可以进行优化

clang -Os -S -fobjc-arc main.m -o main.s

生成目标文件（汇编器）

目标文件的生成，是汇编器以汇编代码作为输入，将汇编代码转换为机器代码，最后输出目标文件(Object file)。

clang -fmodules -c main.s -o main.o

通过nm命令，产看main.o中的符号

$xcrun nm -nm main.o


                 (undefined) external _printf

0000000000000000 (__TEXT,__text) external _test

0000000000000020 (__TEXT,__text) external _main

_print是一个是undefined external的。

undefined表示在当前文件暂时找不到符号_printf。

external表示这个符号是外部可以访问的。

生成可执行文件（链接）

连接器把编译产生的.o文件和(.dylib .a)文件，生成一个mach-o文件。

clang main.o -o main

mach-o文件如下

􏱫􏴘􏰜􏰝􏳡􏱱􏰆􏴟􏴝查看链接之后mach-o的符号

$xcrun nm -nm main

总结：clang的主要工作：

预处理：比如把宏嵌入到对应的位置，头文件的导入，去掉注释
词法分析：把代码切成一个个token，比如大小括号，等于号，分号，字符串等
语法分析：验证语法是否正确
生成AST：将所有节点组成抽象语法树AST
静态分析：分析代码是否存在问题，给出错误信息和修复方案
生成LLVM IR：CodeGenrator会负责将语法树自顶向下遍历，逐步翻译生成LLVM IR

六、Swift编译器

swift编译器参考地址：juejin.cn/post/684490…

和clang一样，Swift编译器主要负责对Swift源代码进行静态分析和纠错，并转换为LLVM IR。

它是Swift的前端模块。

和clang编译器的不同，Swift编译器会多出SIL optimizer，它会先将Swift文件转换成中间代码SIL，然后在根据SIL生成IR。

那么swift编译器会在编译期间生成两种不同的中间代码，这是为什么呢？下面会详细解释

Swift编译器的主要工作

解析：解析器负责生成没有任何语义或类型信息的抽象语法树AST，并对输入源的语法问题发出警号或错误
词法分析：获取解析的AST并将其转换为格式良好，完全类型的AST格式，为代码中的词法问题发出警告或错误
clang导入器：导入clang模块，并将它们导出的C或Objective-C的API映射到相应的swift 的API
SIL生成：将经过类型检查的AST，降级为SIL
SIL规范化：执行额外的数据流诊断（例如使用为初始化的变量）
SIL优化：为程序执行额外的高级Swift特定优化，包括自动引用计数优化，虚拟化和通用化
LLVM IR生成：将SIL降级到LLVM IR。

为什么要增加SIL层？

Swift 中间语言（ SWIFT Integration Layer ）是一种高级的，特定于 Swift 的中间语言，适用于进一步分析和优化 Swift 代码。SIL 属于 High-Level IR，其相对于LLVM IR 的抽象层级更高，而且是特定于 Swift 语言的。

由于源码和 LLVM IR 之间存在着非常大的抽象鸿沟，IR 不适用对源码进行分析和检查。因此 Clang 使用了 Analysis 通过 CFG （控制流图）来对代码进行分析和检查。但是 CFG 本身不够精准，且不在主流程上（会和 IR 生成过程并行执行），因此 CFG 和 IR 生成中会出现部分重复分析，做无用功。

而在 Swift 的编译过程中，SIL 会在生成 LLVM IR 之前做好所有的分析和规范化，并在 IRGen 的帮助下降级到 LLVM IR ，避免了部分重复任务，也使得整个编译流程更加统一。

而且因为 Swift 在编译时就完成了方法绑定直接通过地址调用属于强类型语言，方法调用不再是像 Objective-C 那样的消息转发，这样编译就可以获得更多的信息用在后面的后端优化上。因此我们可以在 SIL 上对 Swift 做针对性的优化，而这些优化是 LLVM IR 所无法实现的。

这些优化包括：

临界拆分：不支持任意的基础 block 参数通过终端进行临界拆分
泛型优化：分析泛型函数的特定调用,并生成新的特定版本的函数.然后将泛型的特定用法全部重写为对应的特定函数的直接调用
witness和虚函数表的去虚拟化优化：通过给定类型去查找关联的类的虚函数表或者类型的 witness 表,并将虚函数调用替换为调用函数映射
内联优化：对于transparent函数进行内联
内存提升：将 alloc_box 结构优化为 alloc_stack
引用计数优化
高级领域特定优化：对基础的 Swift 类型容器（类似 Array 或 String ）实现了高级优化

通过分析和检查的安全 SIL 会被 IRGen 转换成 LLVM IR，并进一步接受 LLVM 的优化。

七、Clang插件实现

LLVM下载

下载LLVM项目

git clone mirrors.tuna.tsinghua.edu.cn/git/llvm/ll…
在LLVM的tools目录下，下载clang

cd llvm/toolsgit clone mirrors.tuna.tsinghua.edu.cn/git/llvm/cl…
在LLVM的project目录下，下载compiler-rt，libcxx，libxxabi

cd ../projects

git clone mirrors.tuna.tsinghua.edu.cn/git/llvm/co… it

git clone mirrors.tuna.tsinghua.edu.cn/git/llvm/li…

git clone mirrors.tuna.tsinghua.edu.cn/git/llvm/li…
在clang的tools下安装extra工具

cd ../tools/clang/tools git clone mirrors.tuna.tsinghua.edu.cn/git/llvm/cl… xtra.git

LLVM编译

由于最新的LLVM只支持cmake来编译了，我们需要安装cmake。

安装cmake

产看brew是否安装cmake，如果有就跳过下面步骤

brew list
通过brew安装cmake

brew install cmake

编译LLVM

通过Xcode编译LLVM

cmake编译成Xcode项目

mkdir build_xcode

cd build_xcode

cmake -G Xcode ../llvm
使用Xcode编译clang

选择自动创建Schemes

编译，选择ALL_BUILD Secheme进行编译，编译时间会比较长

通过ninja编译LLVM

使用ninja进行编译，还需要安装ninja。使用$brew install ninja 命令即可安装。
在LLVM源码根目录下新建一个build_ninja目录，最终会在build_ninja目录下生成build.ninja.
在LLVM源码根目录下新建一个llvm_release目录，最终编译文件会在llvm_release文件夹路径下

  $ cd llvm_build
  
  $ cmake -G Ninja ../llvm -DCMAKE_INSTALL_PREFIX= 安装路径（本机为􏲤􏲥􏲢􏲣􏱶􏰰􏲎􏲦/Users/xxx/xxx/LLVM/llvm_release􏰊􏲧􏰔，注意DCMAKE_INSTALL_PREFIX􏱱􏲨􏲩􏲪 􏰮􏰡􏲫􏰱后面不能有空格

依次执行编译，安装指令

$ ninja

$ ninja install

创建插件

在/llvm/tools/clang/tools目录下新建插件Plugin
修改/llvm/tools/clang/tools目录下的CMakeLists.txt文件，新增add_clang_subdirectory(Plugin).
在Plugin目录下创建一个名为Plugin.cpp的文件和CMakeLists.txt的文件，在文件CMakeLists.txt中写上

add_llvm_library( Plugin MODULE BUILDTREE_ONLY
```
Plugin.cpp
```
)
接下来利用cmake重新生成一下Xcode项目，在build_xcode中 cmake -G Xcode ../llvm
最后可以在LLVM的Xcode项目中可以看到Loadable modulesmul下有自己的Plugin目录了
我们可以在这里编写插件代码了