阅读 1444

iOS底层原理之LLVM & Clang

前言

今天开始,我们对编译器架构系统LLVM进行一个简单的了解和分析,了解完LLVM编译流程之后,简单实现一个Clang插件玩玩。下面就开始今天的内容。

研究编译器之前,先了解下解释型语言编译型语言的区别。

  • 解释型语言:程序不需要编译,程序在运行时才翻译成机器语言,每执行一次都要翻译一次。效率比较低,依赖解释器,跨平台性好。

  • 编译型语言:程序在执行之前需要一个专门的编译过程,把程序编译成为机器语言的文件,运行时不需要重新翻译,直接使用编译的结果就行了。程序执行效率高,依赖编译器,跨平台性差些。

image.png

那么有没有什么办法能让程序执行效率高的同时,还能保证跨平台性好呢?

嘿嘿,当然有。今天要探索的LLVM就提出了相应的解决方案。

一: LLVM

1.1 LLVM概述

LLVM是架构编译器(compiler)的框架系统,以C++编写而成,用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time),对开发者保持开放,并兼容已有脚本。

LLVM计划启动与2000年,最初由美国UIUC大学的Chris Lattner博士主持开展。2006Chris Lattner加盟Apple Inc.并致力于LLVMApple开发体系中的应用。Apple也是LLVM计划的主要资助者。

目前LLVM已经被苹果iOS开发工具、Xilinx VivadoFacebookGoogle等各大公司采用。

1.2: 传统编译器设计

传统编译器设计.jpg

1.2.1: 编译器前端(Frontend

编译器前端的任务是解析源代码。它会进行:词法分析,语法分析,语义分析,检查源代码是否存在错误,然后构建抽象语法树Abstract Syntax Tree,AST),LLVM的前端还会生成中间代码intermediate representation,IR)。

1.2.2: 优化器(Optimizer

优化器负责进行各种优化。缩小包的体积(剥离符号)、改善代码的运行时间(消除冗余计算、减少指针跳转次数等)。

1.2.3: 后端(Backend)/代码生成器(CodeGenerator

后端将代码映射到目标指令集。生成机器语言,并且进行机器相关的代码优化。

由于传统的编译器(如GCC)是作为整体的应用程序设计的,不支持多种语言或者多种硬件架构,所以它们的用途受到了很大的限制。

1.3: LLVM的设计

当编译器决定支持多种源语言或多种硬件架构时,LLVM最重要的地方就来了。

LLVM设计的最重要方面是,使用通用的代码表示形式(IR),它是用来在编译器中表示代码的形式。LLVM可以为任何编程语言独立编写前端,并且可以为任意硬件架构独立编写后端。在需要支持一种新语言时,只需要再对应编写一个可以产生IR的独立前端;需要支持一种新硬件架构时,只需要再对应编写一个可以接收IR的独立后端

LLVM设计原理.jpg

1.3.1: iOS的编译器架构

Objective-C/C/C++使用的编译器前端是ClangSwiftSwift,后端都是LLVM

二: Clang

ClangLLVM项目中的一个子项目。它是基于LLVM架构的轻量级编译器,诞生之初是为了替代GCC,提供更快的编译速度。它是负责编译Objective-C/C/C++语言的编译器,它属于整个LLVM架构中的编译器前端。对于开发者来说,研究Clang可以给我们带来很多好处。

2.1: 编译流程

通过下面命令可以打印源码的编译阶段:

clang -ccc-print-phases main.m
复制代码

打印结果如下:

image.png

  1. 输入文件:找到源文件。
  2. 预处理阶段:这个过程处理包括宏的替换,头文件的导入。
  3. 编译阶段:进行词法分析、语法分析、检测语法是否正确,最终生成IR(或bitcode)。
  4. 后端:这里LLVM会通过一个一个的Pass(环节、片段)去优化,每个Pass做一些事情,最终生成汇编代码。
  5. 生成目标文件。
  6. 链接:链接需要的动态库和静态库,生成可执行文件。
  7. 根据不同的硬件架构(此处是M1iMACarm64),生成对应的可执行文件。

整个过程中,没有明确指出优化器,是因为优化已经分布在前后端里面了。

编译流程.jpg

0: 输入源文件

找到源文件。

1: 预处理阶段

执行预处理指令,包括进行宏替换、头文件的导入、条件编译,产生新的源码给到编译器。

通过下面命令,可以看到执行预处理指令后的代码:

// 直接在终端查看
clang -E main.m

// 生成mian1.m文件查看
clang -E main.m >> main1.m
复制代码

image.png

2: 编译阶段

进行词法分析、语法分析、语义分析、检测语法是否正确、生成AST、生成IR.ll)或者bitcode.bc)文件。

2.1: 词法分析

预处理完成后就会进行词法分析,将代码分割成一个个Token及标明其所在的行数和列数,包括关键字、类名、方法名、变量名、括号、运算符等。

使用下面命令可以,可以看到词法分析后的结果:

clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m
复制代码

image.png 补图:

2.2: 语法分析

词法分析完成之后就是语法分析,它的任务是验证源码的语法结构的正确性。在词法分析的基础上,将单词序列组合成各类语法短语,如“语句”,“表达式”等,然后将所有节点组成抽象语法树Abstract Syntax Tree,AST)。

通过下面命令,可以查看语法分析后的结果:

clang -fmodules -fsyntax-only -Xclang -ast-dump main.m

// 如果导入头文件找不到,可以指定SDK 
clang -isysroot sdk路径 -fmodules -fsyntax-only -Xclang -ast-dump main.m
复制代码

image.png

语法树分析:

// 这里的地址都是虚拟地址(当前文件的偏移地址),运行时才会开辟真实地址
// Mach-O反编译拿到的地址就是这个虚拟地址
// typedef 0x1298ad470 虚拟地址
-TypedefDecl 0x1298ad470 <line:12:1, col:13> col:13 referenced XJ_INT_64 'int'
| `-BuiltinType 0x12a023500 'int'
// main函数,返回值int,第一个参数int,第二个参数const char **
`-FunctionDecl 0x1298ad778 <line:15:1, line:22:1> line:15:5 main 'int (int, const char **)'
  // 第一个参数
  |-ParmVarDecl 0x1298ad4e0 <col:10, col:14> col:14 argc 'int'
  // 第二个参数
  |-ParmVarDecl 0x1298ad628 <col:20, col:38> col:33 argv 'const char **':'const char **'
  // 复合语句,当前行 第41列 到 第22行第1列
  // 即main函数 {} 范围
  /*
  {

    XJ_INT_64 a = 10;
    XJ_INT_64 b = 20;
    printf("%d", a + b + C);

    return 0;
  }
  */
  `-CompoundStmt 0x12a1aa560 <col:41, line:22:1>
    // 声明 第17行第5列 到 第21列,即 XJ_INT_64 a = 10
    |-DeclStmt 0x1298ad990 <line:17:5, col:21>
      // 变量 a,0x1298ad908 虚拟地址
    | `-VarDecl 0x1298ad908 <col:5, col:19> col:15 used a 'XJ_INT_64':'int' cinit
        // 值是 10
    |   `-IntegerLiteral 0x1298ad970 <col:19> 'int' 10
    // 声明 第18行第5列 到 第21列,即XJ_INT_64 b = 20
    |-DeclStmt 0x1298adeb8 <line:18:5, col:21>
      // 变量 b,0x1298ad9b8 虚拟地址
    | `-VarDecl 0x1298ad9b8 <col:5, col:19> col:15 used b 'XJ_INT_64':'int' cinit
        // 值是 20
    |   `-IntegerLiteral 0x1298ada20 <col:19> 'int' 20
    // 调用 printf 函数
    |-CallExpr 0x12a1aa4d0 <line:19:5, col:27> 'int'
      //函数指针类型,即 int printf(const char * __restrict, ...)
    | |-ImplicitCastExpr 0x12a1aa4b8 <col:5> 'int (*)(const char *, ...)' <FunctionToPointerDecay>
        // printf函数,0x1298ada48 虚拟地址
    | | `-DeclRefExpr 0x1298aded0 <col:5> 'int (const char *, ...)' Function 0x1298ada48 'printf' 'int (const char *, ...)'
      // 第一个参数,""里面内容
    | |-ImplicitCastExpr 0x12a1aa518 <col:12> 'const char *' <NoOp>
        // 类型说明
    | | `-ImplicitCastExpr 0x12a1aa500 <col:12> 'char *' <ArrayToPointerDecay>
          // %d
    | |   `-StringLiteral 0x1298adf30 <col:12> 'char [3]' lvalue "%d"
      // 加法运算,a + b 的值作为第一个值 + 第二个值 30
    | `-BinaryOperator 0x12a1aa440 <col:18, line:10:11> 'int' '+'
        // 加法运算,a + b
    |   |-BinaryOperator 0x12a1aa400 <line:19:18, col:22> 'int' '+'
          // 类型说明
    |   | |-ImplicitCastExpr 0x1298adfc0 <col:18> 'XJ_INT_64':'int' <LValueToRValue>
            // a
    |   | | `-DeclRefExpr 0x1298adf50 <col:18> 'XJ_INT_64':'int' lvalue Var 0x1298ad908 'a' 'XJ_INT_64':'int'
          // 类型说明
    |   | `-ImplicitCastExpr 0x1298adfd8 <col:22> 'XJ_INT_64':'int' <LValueToRValue>
            // b
    |   |   `-DeclRefExpr 0x1298adf88 <col:22> 'XJ_INT_64':'int' lvalue Var 0x1298ad9b8 'b' 'XJ_INT_64':'int'
        // 宏替换后的 30
    |   `-IntegerLiteral 0x12a1aa420 <line:10:11> 'int' 30
    // return 0
    `-ReturnStmt 0x12a1aa550 <line:21:5, col:12>
      `-IntegerLiteral 0x12a1aa530 <col:12> 'int' 0
\
复制代码

语法错误时,会指出相应错误: image.png image.png

2.3: 生成中间代码IRintermediate representation

完成以上步骤后就开始生成中间代码IR了,代码生成器(Code Generation)会将语法树自顶向下遍历逐步翻译成LLVM IROC代码在这一步会进行runtime的桥接,比如property合成ARC处理等。

2.3.1: IR的基本语法

@ 全局标识
% 局部标识
alloca 开辟空间
align 内存对齐
i32 32个bit,4个字节
store 写入内存
load 读取数据
call 调用函数
ret 返回

通过下面命令,可以生成.ll的文本文件,查看IR代码。

clang -S -fobjc-arc -emit-llvm main.m
复制代码

image.png

2.4: IR的优化

在上面的IR代码中,可以看到,通过一点一点翻译语法树,生成的IR代码,看起来有点蠢,其实是可以优化的。

LLVM的优化级别分别是-O0、-O1、-O2、-O3、-Os、-Ofast、-Oz(第一个是大写英文字母O)。

可以使用命令进行优化:

clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll
复制代码

image.png

优化后的IR代码,简洁明了(优化等级并不是越高越好,release模式下为-Os,这也是最推荐的)。

也可以在 xcode设置target -> build Setting -> Optimization Level

image.png

2.5: bitCode

Xcode 7以后,如果开启bitcode,苹果会对.llIR文件做进一步的优化,生成.bc文件的中间代码。

通过下面命令,使用优化后的IR代码生成.bc代码:

clang -emit-llvm -c main.ll -o main.bc
复制代码

3: 后端阶段(生成汇编.s

后端将接收到的IR结构转化成不同的处理对象,并将其处理过程实现为一个个的Pass类型。通过处理Pass,来完成对IR的转换、分析和优化。然后生成汇编代码(.s)。

通过下面命令,使用.bc或者.ll代码生成汇编代码:

// bitcode -> .s
clang -S -fobjc-arc main.bc -o main.s
// IR -> .s
clang -S -fobjc-arc main.ll -o main.s
// 也可以对汇编代码进行优化 
clang -Os -S -fobjc-arc main.ll -o main.s
复制代码

image.png

4: 汇编阶段(生成目标文件.o

目标文件的生成,是汇编器以汇编代码作为输入,将汇编代码转换为机器代码,最后输出目标文件(.o)。

命令如下:

clang -fmodules -c main.s -o main.o
复制代码

通过nm命令,查看main.o中的符号:

xcrun nm -nm main.o
复制代码

输出结果如下:

image.png

可以看到执行命令后,报了一个错:找不到外部的_printf符号。因为这个函数是从外部引入的,需要将使用的对应的库链接进来。

5: 链接阶段(生成可执行文件Mach-O

链接器把编译产生的.o文件、需要的动态库.dylib和静态库.a链接到一起,生成可执行文件(Mach-O文件)。

命令如下:

clang main.o -o main
复制代码

查看链接之后的符号:

image.png

可以看到输出结果中依然显示找不到外部符号_printf,但是后面多了(from libSystem),指明了_printf所在的库是libSystem。这是因为libSystem动态库需要在运行时动态绑定。test函数和main函数也已经生成了文件的偏移位置。目前这个文件已经是一个正确的可执行文件了。

同时还多了一个dyld_stub_binder符号,其实只要链接就会有这个符号,这个符号是负责动态绑定的,在Mach-O进入内存后(即执行),dyld立刻将libSystemdyld_stub_binder的函数地址与Mach-O中的符号进行绑定。dyld_stub_binder符号是非懒绑定。其他的懒绑定符号,比如此处的_printf,在首次使用的时候通过dyld_stub_binder来将真实的函数地址与符号进行绑定,调用的时候就可以通过符号找到对应库里面的函数地址进行调用了。

外部函数绑定图解:

符号绑定说明.jpg

链接和绑定的区别:

  • 链接,编译时,标记符号在哪个库,只是做了一个标记。

  • 绑定,运行时,将外部函数地址与Mach-O中的符号进行绑定。

使用如下命令执行Mach-O文件:

./main
复制代码

执行结果:

image.png

6: 绑定硬件架构

根据不同的硬件架构(此处是M1iMACarm64),生成对应的可执行文件。

2.2: 总结编译流程

2.2.1: 各阶段使用的命令

\
//// ====== 前端 开始=====
// 1. 词法分析 clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m 
// 2. 语法分析 
clang -fmodules -fsyntax-only -Xclang -ast-dump main.m // 3. 生成IR文件 clang -S -fobjc-arc -emit-llvm main.m 
// 3.1 指定优化级别生成IR文件 
clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll 
// 3.2 (根据编译器设置) 生成bitcode 文件 
clang -emit-llvm -c main.ll -o main.bc 

//// ====== 后端 开始===== 

// 1. 生成汇编文件 
// bitcode -> .s 
clang -S -fobjc-arc main.bc -o main.s 
// IR -> .s 
clang -S -fobjc-arc main.ll -o main.s 
// 指定优化级别生成汇编文件 
clang -Os -S -fobjc-arc main.ll -o main.s 

// 2. 生成目标Mach-O文件 
clang -fmodules -c main.s -o main.o 
// 2.1 查看Mach-O文件 
xcrun nm -nm main.o 

// 3. 生成可执行Mach-O文件 
clang main.o -o main 

//// ====== 执行 开始===== 
// 4. 执行可执行Mach-O文件 
./main
复制代码

大家可能会疑惑,生成汇编文件就已经是编译器后端的工作了,为什么还是使用的clang命令呢?这是因为我们使用clang提供的接口调起后端相应的功能。至于后端有没有自己特有的命令,我就不知道😂。欢迎科普😂。

2.2.2: 各阶段生成的文件类型

image.png

2.2.3: 编译流程图

Clang & LLVM编译流程.jpg

总结与预告

  • 解释型语言 & 编译型语言

  • LLVM编译器(重点):

    • 前端:读取代码,词法分析,语法分析,生成ASTLLVM独有:IR,苹果独有:bc
    • 优化器:根据一个又一个Pass进行优化
    • 后端:生成汇编代码,生成目标文件,链接动、静态库,根据不同的架构生成对应的可执行文件
  • LLVM的好处是啥?

    • 前后端分离,扩展性非常强。
  • LLVM编译流程(重点):

    1. 输入文件:找到源文件。
    2. 预处理阶段:这个过程处理包括宏的替换,头文件的导入。
    3. 编译阶段:进行词法分析、语法分析、检测语法是否正确,最终生成IR(或bitcode)。
    4. 后端:这里LLVM会通过一个一个的Pass(环节、片段)去优化,每个Pass做一些事情,最终生成汇编代码。
    5. 生成目标文件。
    6. 链接:链接需要的动态库和静态库,生成可执行文件。
    7. 根据不同的硬件架构(此处是M1iMACarm64),生成对应的可执行文件。

本文主要介绍了下LLVMClang相关的概念、设计思想和编译流程,下篇文章将使用LLVMClang实现一个简单的插件,敬请期待😉!

文章分类
iOS
文章标签