版本声明

源码：Apache Hadoop 2.6.0
系统：macOS 10.12.4
JDK：oracle jdk 1.7.0_79
IDE：IntelliJ IDEA 2017.2.3

单线程debug

以单步debug追datanode源码为例。

启动namenode

正常启动namenode：

./sbin/hadoop-daemon.sh start namenode

配置并启动datanode（被调试者）

修改etc/hadoop/hadoop-env.sh，设置HADOOP_OPTS：

# Extra Java runtime options.  Empty by default.
HADOOP_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8888"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

启动datanode：

./sbin/hadoop-daemon.sh start datanode

输出：

starting datanode, logging to /Users/msh/Applications/experiment/hadoop-2.6.0/logs/hadoop-msh-datanode-mshdeMacBook-Pro.local.out
Listening for transport dt_socket at address: 8888

查看log：

tail -f /Users/msh/Applications/experiment/hadoop-2.6.0/logs/hadoop-msh-datanode-mshdeMacBook-Pro.local.logs

会报文件不存在。因为此时JVM是hang住的（等待调试器连接，见下），还没有执行main方法，也就没有创建log文件。

转去配置IDEA。

配置IDEA（调试器）

IDEA中打开对应版本的hadoop源码（2.6.0）。

Run->Edit Configurations，左上角的+号选择Remote，主要配置主机localhost、端口8888：

Eclipse同理。

配置项做简单说明：

-agentlib:jdwp：使用JDWP实现远程调试，包含若干子选项。
transport=dt_socket：调试器和被调试者之间使用套接字传输。
server=y：启动的JVM是接收调试请求的被调试者（IDEA上启动的是发出请求的调试器，会存在一个server=n的进程）。
suspend=y：启动的JVM会暂停等待，直到调试器连接上才继续执行，因此启动datanode时才能“hang住”，等待我们启动调试器（这里与IDEA提供的配置是suspend=n，我习惯用suspend=y）。
address=8888：被调试者在8888端口上监听调试请求。

设置断点

沿着在Datanode类的main方法设置几个断点：

演示基本的调试交互

利用打印的log验证

开始debug

调试器

IDEA中，Run->Debug，选择刚刚配置的TestDatanode参数

停在第一个断点：

被调试者

回到启动datanode的终端，再次查看log。

发现文件已创建但是空文件。

调试器

回到IDEA，F8跳过第一个断点，停在第二个断点：

这句代码会打印启动信息（此处不讨论）。如果执行该行后，日志被打印，说明我们的单独debug成功了。

F8后停在下一行，回去查看日志信息。

被调试者

查看log：

2018-01-15 11:37:52,314 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
...（内容太长，略）