python代码主动kill父线程或其他线程, 使其抛异常结束的黑科技对于python主动结束掉一个线程, 或者说kil

主动结束线程的方法

对于python主动结束掉一个线程, 或者说kill一个线程, 一直没有找到好方法, 导致测试脚本经常出现一个线程异常结束, 整个测试本身可以结束的情况下, 因为无法控制主线程退出, 导致本身5分钟可以结束的用例, 有时会跑几个小时!

今天又遇到了这个问题, 测试脚本在运行, 我看日志明知道已经有bug, 可以结束测试了, 不想让它再继续循环几十分钟去检查, 因此在搜索解决方法的时候, 偶然间看到了一篇文章, 用其中的方法, 加上一些gdb使用技巧, 成功的让正在运行的python进程中的测试线程抛异常结束掉, 并继续往下执行测试. 文档链接参见我总结的这个文档： juejin.cn/post/734936…

在解决掉这个问题之后，就想要把这个步骤也融入到我们的框架代码中，后续就可以通过调用函数来做到了，但是使用文档中的方法，也遇到了和评论区同样的问题：

Linux端不生效，我用的python是3.8版本的，接下来开始分析一下问题

首先，我对Thread继承写了一个子类MyThread，封装了一个静态函数，给MyThread加一个is_kill_parent属性，来决定子线程异常退出后，是否要kill掉父线程。

测试代码如下

import time
import threading
import traceback
import ctypes


class MyThread(threading.Thread):

    def __init__(self, *args, is_kill_parent=False, **kwargs):
        super().__init__(*args, **kwargs)
        self.parent_thread = threading.current_thread()
        print(f'parent_thread_id: {self.parent_thread.ident}')

        self.is_kill_parent = is_kill_parent

    @staticmethod
    def kill_thread(thread: threading.Thread):
        ctypes.pythonapi.PyThreadState_SetAsyncExc(thread.ident, ctypes.py_object(Exception))

    def run(self):
        try:
            super().run()
        except Exception:
            print(traceback.format_exc())
            if self.is_kill_parent:
                self.kill_thread(self.parent_thread)


def run(times):
    for i in range(times):
        print(i)
        time.sleep(1)
    raise RuntimeError("aaa")


if __name__ == '__main__':
    t = MyThread(target=run, args=(5,), is_kill_parent=True)
    t.start()
    for i in range(60):
        print("main")
        time.sleep(1)

该方法在windows上执行生效，效果如下：

parent_thread_id: 15444
0main
1main
main
2
main3
main4
main
Traceback (most recent call last):
  File "<input>", line 22, in run
  File "C:\Users\zk\AppData\Local\Programs\Python\Python38-32\lib\threading.py", line 870, in run
    self._target(*self._args, **self._kwargs)
  File "<input>", line 33, in run
RuntimeError: aaa
Traceback (most recent call last):
  File "<input>", line 41, in <module>
Exception

子线程结束后，kill了父线程，main不再打印，符合预期。

但是，这段代码在linux上不生效：

可以看到没有把父线程kill掉，main继续打印，接下来分析原因：首先，我本地有一份编译好的编译时启用了--with-pydebug选项的python3.8，用它gdb来断点看一下问题出在什么地方

可以看到，thread id传入PyThreadState_SetAsyncExc方法时，id已经不一样了，应该是因为这个原因所以不生效了。看一下id情况：

>>> print(hex(140737354004288))
0x7ffff7fdf740
>>> print(hex(18446744073575200576))
0xfffffffff7fdf740

可以看到，后面的7fdf740是一致的，前面的乱套了，接下来再分析为什么id乱了的原因，查看python源码PyThreadState_SetAsyncExc函数的定义为（顺带一提，后续测试看了一下ctypes.pythonapi.PyThreadState_SetAsyncExc函数的返回值，在windows上生效的情况下是1，在linux上不生效的情况下是0，也和注释中的返回值描述对的上，0代表找不到线程id）：

/* Asynchronously raise an exception in a thread.
   Requested by Just van Rossum and Alex Martelli.
   To prevent naive misuse, you must write your own extension
   to call this, or use ctypes.  Must be called with the GIL held.
   Returns the number of tstates modified (normally 1, but 0 if `id` didn't
   match any known thread id).  Can be called with exc=NULL to clear an
   existing async exception.  This raises no exceptions. */

int
PyThreadState_SetAsyncExc(unsigned long id, PyObject *exc)
{
    _PyRuntimeState *runtime = &_PyRuntime;

根据之前的经验，ctypes在进行接口调用的时候，如果是int对象，会默认按c_int类型去传参，导致如果是指针类型（8字节）的int值，会丢失4个字节的精度。看上面linux线程id是6个字节，也到了丢失精度的情况，因此把kill_thread函数调用改为

ctypes.pythonapi.PyThreadState_SetAsyncExc(ctypes.c_ulong(thread.ident), ctypes.py_object(Exception))

在thread.ident的基础上，用ctypes.c_ulong()来转换成一个unsigned long类型的值，试一下效果：

大功告成！(该方法是异步设置线程状态, 如果python线程在time.sleep(), 那么等sleep结束后, 线程才会被kill)

贴上最终的代码供大家参考：

import time
import threading
import traceback
import ctypes


class MyThread(threading.Thread):

    def __init__(self, *args, is_kill_parent=False, **kwargs):
        super().__init__(*args, **kwargs)
        self.parent_thread = threading.current_thread()
        print(f'parent_thread_id: {self.parent_thread.ident}')

        self.is_kill_parent = is_kill_parent

    @staticmethod
    def kill_thread(thread: threading.Thread):
        print(f"kill父线程结果为: {ctypes.pythonapi.PyThreadState_SetAsyncExc(ctypes.c_ulong(thread.ident), ctypes.py_object(Exception))}")

    def run(self):
        try:
            super().run()
        except Exception:
            print(traceback.format_exc())
            if self.is_kill_parent:
                self.kill_thread(self.parent_thread)


def run(times):
    for i in range(times):
        print(i)
        time.sleep(1)
    raise RuntimeError("aaa")


if __name__ == '__main__':
    t = MyThread(target=run, args=(5,), is_kill_parent=True)
    t.start()
    for i in range(60):
        print("main")
        time.sleep(1)

存在的问题

上面这种方式，并不是直接使线程结束了，而是异步给线程设置了一个抛异常的流程，因此存在下面的问题：

如果线程当时在time.sleep()等其他状态，设置异常后，线程并不会马上结束，而是直到time.sleep()完成线程被唤醒继续运行的时候才会把异常抛上去。所以如果kill线程之后join子线程的话，如果子线程在time.sleep()，join也会卡住。因此代码流程对这块需要特别关注。可以参考func-timeout的封装，不join子线程，让主流程正常往下走，同时，func-timeout模块抛出的是BaseException异常，一般try Exception捕获不到这个异常，大概率能把子线程结束掉。
如果子线程try except了异常，继续往下走，那么子线程也是退不掉的。因此给子线程设置什么异常、子线程代码中try捕获的异常要进行分类。代码设计的时候需要考虑这种情况. 子线程尽量不try BaseException或者Exception基类。