原创 xuduokai 百度App技术

前言

无论是否意识到 Gradle 的存在，每位 Android 程序员都会直接或间接的与 Gradle 打交道。每当通过 Android Studio 新建一个工程时，AS 都会自动创建一个通用的目录结构，然后就可以进行开发，在 app 的 build.gradle 中添加一些依赖，点击右上角的 Sync Now，编写代码，点击绿色小箭头 Run 运行代码，一切都这么美好，除了偶尔Sync Now 会失败变为 Try Again，如果经过几次 Try Again，问题还没有解决，打开浏览器，粘贴对应报错，查找解决方案，复制粘贴解决方案，点击 Try Again，问题解决，生活还是那么美好。

如果你想要了解问题为什么会发生，为什么这样做会解决问题，那么你需要脱离 AS 那几个常见的按钮，探索它背后的秘密—Gradle，这一自动化构建工具。

本文将介绍:

为什么需要自动化构建工具？
默认创建的 Android 工程都有什么
依赖管理
打包流程

通过阅读本文，可以大致了解 Gradle 是如何工作，可以有针对性搜索相关内容，更加快速的解决常见编译错误

为什么需要自动化构建工具？

以下命令只是示例，方便说明问题，具体使用方式请查找相关命令手册用法

我们知道，一个 APK 包其实是一个 zip 包，包含代码和资源。那么我们可以编写一个Shell 脚本，命名为 assemble.sh，任何人只要通过执行这个脚本就可以得到 apk 包，完美：

将 .java 文件转换为 .class 文件，执行命令: javac xxx.java
Android 还会将 .class 文件转换为 .dex 文件: dx xxx.class
打包成 apk: zip xxx.apk [需要打包的代码和资源]

在 Android 中代码对资源是通过 R.java 文件引用，于是需要继续添加命令，并要求这个命令在 javac 命令前执行。在实际开发中我们不可能所有功能都自己实现，有可能会依赖优秀的开源库，修改后的伪代码如下：

生成 R.java: aapt [资源文件]
将 .java 文件转换为 .class 文件，执行命令: javac xxx.java R.java -classpath xxx.jar
Android 还会将 .class 文件转换为 .dex 文件: dx xxx.class R.class xxx.jar
打包成 apk: zip xxx.apk [需要打包的代码和资源]

一切似乎都尽在掌握之中，真的吗？让我们看看 Android APK 实际打包的流程是什么样的：

想想实现如此复杂流程的 Shell 脚本是不是有些头大？别急，实现后还会遇到下面这些问题：

对于多个工程，每个工程都需要拷贝上述 Shell 脚本
对于单个工程，每次添加一个功能都需要在原有流程中插入一段代码，随着需求增加，脚本难以维护
如何管理引入的外部依赖？如何打 debug、release 包？如何打多渠道包？

此时我们需要一个简化上述过程的工具，通过一些约定，如将代码、资源等放在指定目录，再辅以构建脚本就可以快速得到最终的构建产物，这就是自动化构建工具，而 Gradle 就是其中一个。

对照刚刚那个简单的例子，每一个工程在 Gradle 中叫做一个 Project，每一个需要执行的任务，如生成 R 文件、编译 java 文件等，在 Gradle 中叫做一个 Task。通过 TaskA.dependsOn(TaskB)可以实现先执行 TaskB 再执行 TaskA 的效果。同时 Gradle 也提供 doFirst、doLast 允许在每个 Task 前和后执行一些代码。

至此，我们知道为什么需要自动化构建工具：

防止手动介入构建
创建可重复的构建
以及最重要的：提升编程效率，将精力集中在需求开发上

默认创建的 Android 工程都有什么

每当通过 Android Studio 新建一个工程时，AS 都会自动创建如上图所示的目录结构，图片中简单介绍了各个目录是干什么的，接下来为大家详细介绍每一个目录或者文件的含义：

.gradle 与 .idea

.gradle 与 .idea 存放 Gradle 和 AS 对于当前工程的缓存。

最常见的一个应用就是点击 sync 后，AS 会在每个工程下生成 .iml 文件，他们与 .gradle、.idea 配合为我们提供了代码提示等常见功能。所以如果你的代码飘红而你确认依赖没有问题，可以尝试下面步骤清除 AS 缓存：

删.idea 删.gradle 文件
命令行执行 ./gradlew clean
选择 File -> invalidate caches/restart
Sync

gradle/wrapper 与 gradlew gradlew.bat

当我们初次配置 Android 环境时，需要安装 Java，安装 AS，但并不需要安装 Gradle，这其中就是 gradle/wrapper 的功劳。

当执行 gradlew 脚本时，它可以保证每个项目都使用自己期望的 Gradle 版本，而其中的奥秘就在 gradlew 的这段代码中

exec "$JAVACMD" "${JVM_OPTS[@]}" -classpath "$CLASSPATH" org.gradle.wrapper.GradleWrapperMain "$@"

gradlew 并没有直接启动 Gradle 而是启动 gradle-wrapper.jar，它会判断如果没有 Gradle 环境，从 gradle-wrapper.properties 中的 distributionUrl 中下载相应环境，并启动 Gradle。

因为 Gradle 允许命令行启动时附加参数来自定义 Gradle 的运行环境，所以百度app通过自定义 gradle-wrapper.jar，实现通过配置文件为不同内存大小的电脑、debug/release 包指定不同 gradle 运行内存，提升大家编译速度。

setting.gradle

setting.gradle 中最关键的就是其提供的 include 方法，通过这个方法可以指定哪些工程需要参与编译，每一个参与编译的工程 Gradle 会为它创建一个 Project 对象

根目录 build.gradle

首先是 buildscript 代码块： gradle 默认是自顶向下执行，无论 buildscript 代码块在哪，它都会第一个执行

接下来是 repositories 和 dependencies： repositories 表示 dependencies 声明的依赖去哪些仓库找，google、jcenter、mavenCentral 都是第三方 Maven 仓库。同时，也可以通过 maven 方法添加自己的 Maven 仓库。需要注意的是，不应该假设组件一定会从特定仓库拉取，如果 Gradle 请求一个仓库超时，它会自动请求其他仓库。

dependencies：代表 Gradle 执行需要哪些依赖。比如需要 Android Gradle Plugin 插件为我们打包 apk 包，就需要添加: classpath 'com.android.tools.build:gradle:3.4.0'

最后是 allprojects 和 repositories：在 allprojects 中的配置会对所有工程生效而里面的 repositories 则表示工程声明的 dependencies 去哪些仓库查找

app build.gradle

首先可以看到 apply plugin: 'com.android.application'，当应用这个插件后，它会为我们创建一系列 Task，比如 assembleDebug、assembleRelease，执行这些 Task，就会得到最终的 APK。

android 代码块是插件为我们提供的 API允许我们修改 Task 的行为。

dependencies 代码块的内容决定当前 Project 依赖哪些组件，而不同的依赖声明会有不同的结果，具体内容我们在下一节分析。

依赖管理

依赖配置

在 Android Gradle Plugin 3.0 时代，Google 使用 implementation 和 api 选项取代过去的 compile 选项。既然接口都变了，Google 索性将其他的配置项也进行了改名，方便大家理解其配置的含义。需要注意的是，老版本的接口没有被立刻删除，但是在下一个主要版本中会被删除。下面是各个配置项的官方中文解释：

举个例子：假设 A 依赖 B，B 依赖 C。
如果 B 对 C 使用 implementation 依赖，则 A 无法调用 C 的代码
如果 B 对 C 使用 api 依赖，则 A 可以调用 C 的代码
如果 B 对 C 使用 compileOnly 依赖，则 A 无法调用 C 的代码，且 C 的代码不会被打包到 APK 中
如果 B 对 C 使用 runtimeOnly 依赖，则 A、B 无法调用 C 的代码，但 C 的代码会被打包到 APK 中

实际上每一个组件都有自己的 compileClasspath 和 runtimeClasspath
当一个组件参与编译时，Gradle 就会将其放在 compileClasspath 中
当一个组件参与打包时，Gradle 就会将其放在 runtimeClasspath 中

不同的依赖配置项，其实就是将声明的依赖放入不同组件的不同的 classpath 中，回到上面的例子对于 implementation ，其实就是将 C 放入 B 的 compileClasspath 和 runtimeClasspath，放入 A 的 runtimeClasspath 中，从而实现 A 如果调用 C 的代码，在 A 的编译阶段 javac 报错，但最终 C 会被打包到 APK 包中

对于 api、compileOnly、runtimeOnly 原理相同

源码与二进制

当想要依赖一个源码工程时只需要这样写: implementation project(':demo:mylibrary')

而且我们可以明确知道 mylibrary 中的依赖都会被正确打包到 APK 中

当我们依赖二进制需要这样写: implementation 'androidx.appcompat:appcompat:1.0.2'

当执行依赖命令（只输出 release 包的 runtimeClasspath）:
./gradlew :app:dependencies --configuration releaseRuntimeClasspath > dependencies.txt

输出依赖关系图时会看到并不是仅仅依赖一个 appcompat 组件（只显示部分依赖），还包含该组件自己的依赖，以及依赖的依赖，直到组件自身没有依赖，这样的特性叫做依赖传递

releaseRuntimeClasspath - Resolved configuration for runtime for variant: release

\--- androidx.appcompat:appcompat:1.0.2

+--- androidx.annotation:annotation:1.0.0

+--- androidx.core:core:1.0.1

| +--- androidx.annotation:annotation:1.0.0

| +--- androidx.collection:collection:1.0.0

| | \--- androidx.annotation:annotation:1.0.0

| +--- androidx.lifecycle:lifecycle-runtime:2.0.0

| | +--- androidx.lifecycle:lifecycle-common:2.0.0

| | | \--- androidx.annotation:annotation:1.0.0

| | +--- androidx.arch.core:core-common:2.0.0

| | | \--- androidx.annotation:annotation:1.0.0

| | \--- androidx.annotation:annotation:1.0.0

| \--- androidx.versionedparcelable:versionedparcelable:1.0.0

| +--- androidx.annotation:annotation:1.0.0

| \--- androidx.collection:collection:1.0.0 (*)

+--- androidx.collection:collection:1.0.0 (*)

+--- androidx.cursoradapter:cursoradapter:1.0.0

那么 Gradle 是怎么确定这些依赖呢？当使用Maven 规范上传组件时，不单单会上传组件的二进制，还会上传一个 pom.xml 文件，依赖信息就在这个文件当中。

因为查看公共的 Maven 服务器有可能需要翻墙，下面给大家展示百度app自己搭建的服务器的后台，方便理解被上传的二进制在服务器是以怎样的结构存放的

这个是百度app自己搭建的 Maven 服务器后台，点击一项查看详情：

有上传的二进制 aar，也有 pom 文件，还有我们在上传时自定义的文件 readme

看完远端的 POM 文件，我们在看看当二进制被下载后在本地是如何存放的

下面是一个简单的 POM 文件:

可以看到有两个 dependency，需要注意的是 scope，也会分为 runtime 和 compile，runtime 不会参与编译，但会参与打包，compile 会参与编译和打包

两个实际例子：一：假设 A 依赖 B，B 依赖 C

B 对 C 使用 implementation 依赖
B 中有类 Foo 继承于 C中的 Bar
在 A 中使用类 Foo 时会报错找不到类 Bar，解决办法只能让 A 再依赖 C，所以应该尽量避免使用继承
二：假设 A 依赖 B，B 依赖 C
BC 是二进制， B 的 POM 中对 C 的依赖是 runtime
在 Gradle 4.4 中，A 依然可以调用 C 的代码，这个问题在 Gradle 5.0 后被修复

依赖冲突

什么是依赖冲突：

假设 ABC 是源码，D 是二进制，A 声明依赖 B，A 声明依赖 C，B 声明依赖 D 1.0 版本，C 声明依赖 D 1.1版本，这时，D 有依赖冲突，需要确定是使用 1.0 还是 1.1 版本

如何解决依赖冲突：

进行编译时，B 编译时依赖 D 的1.0版本，C 编译时依赖 D 的1.1版本，但最终打包到 apk 中 D 的版本是 1.1，因为版本号冲突默认选择最高版本
Gradle 为我们提供了一系列解决依赖冲突的规则如：不允许依赖传递，exclude 移除一个依赖，替换一个组件为另一个组件，这些方法就不一一介绍了，按需百度即可
百度app在此基础上增加规则：如果最终应用的版本号高于在 version.properties 定义的版本号则报错

注意：

假设 D 发布 1.2 版本，但 B、C 都没有基于 D 1.2 版本发布新版本，则最终打包还是 D 的 1.1 版本，所以所有组件最终被打包到 APK 包中的版本都为 version.properties 中定义的版本
假设 D 的 MavenId 由 D 改成了 E，C 基于 E 发布二进制，B 还是老样子，在实际打包中会报类重复的错误，原因就是 B 的 POM 文件中依赖的还是 D，所以需要让 B 基于 D 改名后的 E重新发一个二进制

打包流程有了前面这些铺垫，让我们实际看看在执行打包 Task 时，实际还执行了哪些 Task。环境配置如下：
Gradle 5.1.1
Android Gradle Plugin 3.1.2
org.gradle.parallel=true 开启并行编译
release 包 minifyEnabled true

执行命令可以得到如下图所示输出

# --dry-run 表示不实际执行每个 Task

gradlew assembleRelease --dry-run

Task 很多，接下来为大家介绍几个重点的 Task，其余没介绍的感兴趣的同学可以找找对应的实现类，看看它的实现。

preBuild

描述：做一些编译前的检查
一个例子：有的人可能遇到下面的错误

"Android dependency "+ display+ "is set to compileOnly/provided which is not supported"

这个的原因就是由前面说过的 compileClasspath 和 runtimeClasspath 引起的。
当一个组件因为不同的依赖配置项导致它的 compileClasspath 比如为 1.1.1版本，但他的 runtimeClasspath 是 1.1.2版本，preBuild 就会检测出这个问题并报错我们处理

compileReleaseAidl

类：AidlCompile
描述：内部使用 AidlProcessor 调用 call 方法使用 build-tool 下的 aidl 执行编译。

各类 generate和 merge

这些 Task 允许我们在整个编译工程中动态的生成一些代码，生成好的资源需要和已有的资源进行合并，并且需要注意有可能覆盖已有资源，就不再详细介绍了，

过程

第一步：我们有 app 工程下的 Java 源文件，还有 AIDL、generate、R.java 等生成的 Java 源文件，还有本身依赖，源码子工程的 jar 包、远端 aar 解压的 jar 包等一系列二进制文件，源码文件是 javac 需要编译的内容，二进制文件 .jar/.class 则是当 javac 编译遇到一个类名等符号时，如果发现在现有的源文件找不到，该去哪找的集合，对应的 javac 参数就是 -classpath

而这个参数，其实就是 compileClasspath 的一个应用，如果你源文件引用了一个类，它的 jar 包不在 compileClasspath 中，那么在编译时 javac 就会报错找不到符号了

第二步：当源文件被编译成类文件后，Google 提供了 Transform 机制允许我们对二进制文件在打包前进行修改，比如前面图片中的 :app:transformClassesWithXXXForRelease SKIPPED 就是我们自定义的 Transform。通过 :app:transformClassesAndResourcesWithProguardForRelease SKIPPED 也可以看到 Proguard 也是通过 Transform 机制实现的，这里图片中一个 .class 文件，一个是 .jar/.class 文件，第一个显然是 javac 编译后的产物，第二个则是 runtimeClasspath，就是那些需要被打包的二进制。相信大家这样就理解了 compileClasspath 和 runtimeClasspath 是如何影响打包过程

第三步：当 Transform 处理好所有的 class 文件后，接下来就是将 .class 文件转换为 .dex 文件。值得注意的是，javac 只能发现源码的问题，不会发现那些未参与编译的二进制的问题。而在 dex 转换过程中则可以发现比如类重复问题或者一个类，名字不变，但是由 Class 变成了 Interface 这类严重的代码问题。

第四步：就是将前面的和资源进行打包。对应的类是 PackageApplication，得到这个 Task 后可以对打包的内容进行自定义

结语

虽然只对常见的一些配置提供一个大纲，没有详细介绍 Gradle 和 Android Gradle Plugin 相关内容，比如 Gradle 的生命周期，插件开发，Transform 机制等等，但是如果各位看了以后能对整个编译工具链有一个大体的了解，可以在需要的时候明白该从哪个方向去解决问题，就是本文的价值所在了。

参考资料

https://docs.gradle.org/current/userguide/userguide.html

https://developer.android.com/studio/build/gradle-plugin-3-0-0-migration?hl=zh-cn

https://github.com/gradle/gradle

https://android.googlesource.com/platform/tools/base/+/refs/tags/gradle_3.1.2

特别注意

欢迎同学们加入百度App移动研发团队，我们崇尚务实、自由、开放的技术文化。这里有完善的基础能力平台，有各领域的大牛，更有成长的机会。加入我们，你得到的不仅仅是一份工作，更是一个改变世界的机会。

目前有Android/iOS/FE北上深各级别岗位，可以通过百度招聘官网查询相关职位，或直接发简历到shenhang@baidu.com