起初我真的想过自己单独写一套来着，后来发现时间真的不够，所以有了对scrcpy源码的浅析，服务端我就用scrcpy现有的了，客户端scrcpy采用ffmpeg+sdl2.0进行了跨平台的播放，我准备用Flutter重构客户端部分

Scrcpy与vysor是都是投屏中比较优秀的项目了，非侵入性，不需要设备单独安装软件来配合，能低延迟的控制，较高的fps等等，scrcpy的star更是到了2.6w

scrcpy启动阶段

它到底是怎么做到执行scrcpy命令，在较短的时间内就立马获取到了安卓设备的屏幕的？并没有向设备申请任何的获取屏幕的权限，并且还能对设备进行较低延迟的控制。有过使用adb经验的开发者，当PC端调试安卓设备时我们可以输入

adb shell /system/bin/screencap -p PATH

就能直接截取手机屏幕，去掉-p这个开关，更改成>，就可以直接截图并重定向到电脑本地，包括使用screenrecorder命令对手机进行录屏。

以上两个操作明明是会用到截取手机屏幕权限的，但是为什么没有向用户申请就能获取到屏幕？

在scrcpy的wiki中也其实提到了，原因就是adb shell的权限是非常高的，去设备的/system/app/shell也能看到shell.apk的uid与gid都是shell,这就可以直接拿到屏幕截取的权限就好像uid与gid都为root的su命令，可以拿到一切权限一样的。

所以在scrcpy启动时，将自身sdk中的一个jar上传到了安卓设备上，这个jar并不是java的.class文件，是class java字节码经过dx工具转换成了dex文件，所以这个jar解压后就有一个dex，这个是安卓上的字节码，可以直接运行的。

push jar到手机

adb push $sdk/scrcpy-server.jar /data/local/tmp

再利用安卓的app_process，直接启动这个jar,不仅是app_process,dalvikvm理论也是能启动的命令如下

CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process ./ com.genymobile.scrcpy.Server 1.12.1 0 8000000 0 true - true true

这样就会后面的那堆参数是我从源码抠出来的默认参数，也是单独执行scrcpy会跟的参数，这些参数就会由com.genymobile.scrcpy.Server类的main函数接收到 main函数收到参数遍会开启两个socket等待客户端来连接本设备，一个是视频流的socket,一个是设备控制的socket

这个socket为什么能被pc端连接到？

由于adb提供了端口转发的功能，能转发设备本地的端口到pc端,pc端就能跟这个转发的端口进行连接并收发数据。需要android版本大于5.0 转发端口：

adb forward tcp:5005 localabstract:scrcpy
#PC上所有5005端口通信数据将被重定向到手机端UNIX类型localabstract上

上面部分也是所有这类投屏软件的原理，包括vysor

scrcpy运行阶段

上面提到一点，scrcpy的jar在设备上就作为一个服务端，会创建一个本地视频流的socket等待客户端连接，如下

    public static DesktopConnection open(Device device, boolean tunnelForward) throws IOException {
        LocalSocket videoSocket;
        LocalSocket controlSocket;
        if (tunnelForward) {
            LocalServerSocket localServerSocket = new LocalServerSocket(SOCKET_NAME);
            try {
                System.out.println("Waiting for video socket connection...");
                videoSocket = localServerSocket.accept();
                System.out.println("video socket is connected.");
                // send one byte so the client may read() to detect a connection error
                videoSocket.getOutputStream().write(0);
                try {

                    System.out.println("Waiting for input socket connection...");
                    controlSocket = localServerSocket.accept();

                    System.out.println("input socket is connected.");
                } catch (IOException | RuntimeException e) {
                    videoSocket.close();
                    throw e;
                }
            } finally {
                localServerSocket.close();
            }
        } else {
            videoSocket = connect(SOCKET_NAME);
            try {
                controlSocket = connect(SOCKET_NAME);
            } catch (IOException | RuntimeException e) {
                videoSocket.close();
                throw e;
            }
        }

        DesktopConnection connection = new DesktopConnection(videoSocket, controlSocket);
        Size videoSize = device.getScreenInfo().getVideoSize();
        connection.send(Device.getDeviceName(), videoSize.getWidth(), videoSize.getHeight());
        return connection;
    }

加了一点打印信息

等到有客户端连接这个socket后，它就会立即开启新的线程进行屏幕录制，并及时通过这个socket将录屏编码后的数据传到客户端去，再同时等待一个新的socket来连接，这个新的socket则用来接收客户端对设备的控制信息

如何根据客户端的消息对设备进行控制？

scrcpy自己定义了一套协议，不过里面的注释实在太少了，这些个函数的调用跳来跳去的，半天都看不到个啥，就像有人也用qt的图形界面重写了scrcpy，也是需要从它的源码下手的我就直接把我最后从源码中解析出来的分享出来了

socket相关的知识:

由于socket传输的是byte[]，

1 byte有8位，无符号0~255，有符号就会少一个1来表示正负号所以范围就是-128~127

数据类型占用位数

1 short = 2 byte = 16位

1 int = 4 byte = 32位

1 long = 8 byte = 64位

在对设备的点击，及滑动控制中:

第一位用来标记此次的控制类型，所以赋值给了type
取一位值给Action，用来表示是按下事件，抬起事件，滑动事件
取8位给PointerId，没搞懂这个id是干嘛的
取12位给Position，其中8位分别每4位表示点击的x,y坐标，另外4位分别两位表示屏幕的宽高，
取两位给presureInt，表示此次按压的力度
取4位给buttons，目前未知作用，后续补上

代码部分

private ControlMessage parseInjectTouchEvent() {
//  System.out.println("接收到的remaining长度===>"+buffer.remaining());
    if (buffer.remaining() < INJECT_TOUCH_EVENT_PAYLOAD_LENGTH) {
        return null;
    }
    int action = toUnsigned(buffer.get());
    long pointerId = buffer.getLong();
    Position position = readPosition(buffer);
    // 16 bits fixed-point
    int pressureInt = toUnsigned(buffer.getShort());
    // convert it to a float between 0 and 1 (0x1p16f is 2^16 as float)
    float pressure = pressureInt == 0xffff ? 1f : (pressureInt / 0x1p16f);
    int buttons = buffer.getInt();
    return ControlMessage.createInjectTouchEvent(action, pointerId, position, pressure, buttons);
}

private static Position readPosition(ByteBuffer buffer) {
    int x = buffer.getInt();
    int y = buffer.getInt();
    int screenWidth = toUnsigned(buffer.getShort());
    int screenHeight = toUnsigned(buffer.getShort());
    return new Position(x, y, screenWidth, screenHeight);
}

ControlMessage是自定义的封装类,buffer即为来自socket的缓存区，是Java nio包下的类，可以看到它有get(),getLong(),getShort(),这些方法，会取buffer中指定的字节数来组成int，long，short这些类型所以当我们需要对设备发起按压事件时(以1080x2280分辨率为例)

下面是dart的代码，其他语言进行控制也能类似

按压:

[
2,
0,
0,0,0,0,0,0,0,0,
x >> 24,x << 8 >> 24,x << 16 >> 24,x << 24 >> 24,
y >> 24,y << 8 >> 24,y << 16 >> 24,y << 24 >> 24,
1080 >> 8,1080 << 8 >> 8,2280 >> 8,2280 << 8 >> 8,
0,
0,
0,
0,
0,
0
]

抬起:

[
2,
1,
0,0,0,0,0,0,0,0,
x >> 24,x << 8 >> 24,x << 16 >> 24,x << 24 >> 24,
y >> 24,y << 8 >> 24,y << 16 >> 24,y << 24 >> 24,
1080 >> 8,1080 << 8 >> 8,2280 >> 8,2280 << 8 >> 8,
0,
0,
0,
0,
0,
0
]

移动:

[
2,
2,
0,0,0,0,0,0,0,0,
x >> 24,x << 8 >> 24,x << 16 >> 24,x << 24 >> 24,
y >> 24,y << 8 >> 24,y << 16 >> 24,y << 24 >> 24,
1080 >> 8,1080 << 8 >> 8,2280 >> 8,2280 << 8 >> 8,
0,
0,
0,
0,
0,
0
]

x,y即为想要点击的屏幕坐标，这次数据被scrcpy服务端接收到会按压屏幕的x，y位置，用了较多的移位运算

如java nio调用getShort来获取屏幕的宽度

int screenWidth = toUnsigned(buffer.getShort());
private static int toUnsigned(short value) {
    return value & 0xffff;
}

上面提到了1 short有2字节16位无符号数最大就是

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

上限就是2的16次方-1为:65535,用来传分辨率肯定够了

如果屏幕的宽为1080，大于了1 byte中能存的大小，所以我们只有按字节存进byte[]，并发送给socket

那如何将屏幕分辨率的宽按字节传输给socket呢？ 举个🌰

将1080这个数转为二进制:

1 0 0 0 0 1 1 1 0 0 0

我们需要把它存进2个字节，那么我们只需要把它每一个字节(8位字长的值)找出来

我们用0填充进它前面

0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0

那么2个字节分别为

0 0 0 0 0 1 0 0

0 0 1 1 1 0 0 0

将这2个字节的值传进socket，就能通过buffer的getShort方法得到1080这个数的值。

那如何在程序中得到每一个字节的值？

通过移位运算：

第一个字节:将1080往右移动8个字长即可得到

    0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0
>>8
=   0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0

第二个字节:将1080往左移动8个字长(清零前面的部分)，再往右移动8个字长

    0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0
<<8
=   0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0
>>8
=   0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0

第二个字节还可以借助按位与运算

  0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0
& 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1
= 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0

java中nio的buffer.getShort方法是怎么实现的？

ByteBuffer是抽象类，getShort我没见再哪儿被重写的，不过可以自己实现

short getShort(ByteBuffer buffer){
    return buffer.get() <<8 | buffer.get();
}

当然ByteBuffer中有我们就直接用就是了，以上部分全是经过验证的，目前已经能在Flutter开发的客户端对局域网内设备进行较低延迟的控制了，希望能给到有同样需求的人帮助，后续会继续出关于投屏的文章。