Android Camera2入门系列2 - ImageReader获得预览数据

Yocn
1,906 阅读4分钟
Android Camera2入门

Android Camera2入门系列1 - Camera2在textureView预览  
Android Camera2入门系列2 - ImageReader获得预览数据  
Android Camera2入门系列3 - Image中获得YUV数据及YUV格式理解  
Android Camera2入门系列4 - libyuv的编译和使用

上篇文章Android Camera系列1 - Camera2在textureView预览理了理如何实现最简单的TextureView预览Camera2。 饭要一口一口的吃，胖子要一斤一斤的长。
开门见山，我们需要用到ImageReader这个类去得到一个Image。

Image:

Image类允许应用通过一个或多个ByteBuffers直接访问Image的像素数据， ByteBuffer包含在Image.Plane类中，同时包含了这些像素数据的配置信息。因为是作为提供raw数据使用的，Image不像Bitmap类可以直接填充到UI上使用。

因为Image的生产消费是跟硬件直接挂钩的，所以为了效率起见，Image如果不被使用了应该尽快的被销毁掉。比如说，当我们使用ImageReader从不用的媒体来源获取到Image的时候，如果Image的数量到达了maxImages，不关闭之前老的Image，新的Image就不会继续生产。

  • close : 关掉当前帧for reuse。调用此方法后再调用其他Image的方法都会报IllegalStateException
  • getFormat : 获取当前Image的格式，format决定了Image需要提供的ByteBuffers数量和每个ByteBuffer的像素数量。这里还涉及到Image.Plane.
  • Image.Plane : plane这里翻译为一个平面。通过作为一个数组返回，数组的数量由Image的格式决定，比如ImageFormat.JPEG返回的数组size就是1，ImageFormat.YUV_420_888返回的数字size就是3。一旦Image被关闭了，再去尝试获取plane的ByteBuffer将会失败。
FormatPlane countLayout Details
JPEG1压缩过的数据，所以行数为0，解压缩需要使用 BitmapFactory#decodeByteArray
YUV_420_8883一个明度通道+两个色彩CbCr通道，UV的宽高是Y的一半。

附一部分ImageFormat的描述。

ConstantsDescriptions
JPEGEncoded formats.
NV16YCbCr format, used for video.
NV21YCrCb format used for images, which uses the NV21 encoding format.
RGB_565RGB format used for pictures encoded as RGB_565.
YUV_420_888Multi-plane Android YUV format,This format is a generic YCbCr format, capable of describing any 4:2:0 chroma-subsampled planar or semiplanar buffer (but not fully interleaved), with 8 bits per color sample.
YUY2YCbCr format used for images, which uses YUYV (YUY2) encoding format.
YV12Android YUV format.
ImageReader:

image的data被存储在Image类里面，构造参数maxImages控制了最多缓存几帧，新的images通过ImageReader的surface发送给ImageReader，类似一个队列，需要通过acquireLatestImage()或者acquireNextImage()方法取出Image。如果ImageReader获取并销毁图像的速度小于数据源产生数据的速度，那么就会丢帧。

也就是说ImageReader只会给我们maxImages个Image。如果你acquire掉之前的Image，那么永远不会有新的Image回调过来，因为队列已经满了，只有从队列中移除掉头部的元素，才能给新的Image留出空间来。 用法Like Below：

    ...
              //构造一个ImageReader的实例，设置宽高，输出格式，缓存max数量
               mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(),
                                ImageFormat.JPEG, 2);
               mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mCameraHandler);
    ...
    private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                Image image = reader.acquireNextImage();
                ...
                image.close();
            }
        };

部分重要API：

  • acquireLatestImage() - 从ImageReader队列中获取最新的一帧Image，并且将老的Image丢弃，如果没有新的可用的Image则返回null。
    此操作将会从ImageReader中获取所有可获取到的Images，并且关闭除了最新的Image之外的Image。此功能大多数情况下比acquireNextImage更推荐使用，更加适用于视频实时处理。
    需要注意的是maxImages应该至少为2，因为丢弃除了最新的之外的所有帧需要至少两帧。换句话说，(maxImages - currentAcquiredImages < 2)的情况下，丢帧将会不正常。
  • acquireNextImage() - 从ImageReader的队列中获取下一帧Image，如果没有新的则返回null。
    Android推荐我们使用acquireLatestImage来代替使用此方法，因为它会自动帮我们close掉旧的Image，并且能让效率比较差的情况下能获取到最新的Image。acquireNextImage更推荐在批处理或者后台程序中使用，不恰当的使用本方法将会导致得到的images出现不断增长的延迟。
  • close() - 释放所有跟此ImageReader关联的资源。调用此方法后，ImageReader不会再被使用，再调用它的方法或者调用被acquireLatestImage或acquireNextImage返回的Image会抛出IllegalStateException，尝试读取之前Plane#getBuffer返回的ByteBuffers将会导致不可预测的行为。
  • newInstance(int width, int height, int format, int maxImages) - 创建新的reader以获取期望的size和format的Images。maxImages决定了ImageReader能同步返回的最大的Image的数量，申请越多的buffers会耗费越多的内存空间，使用合适的数量很重要。
    • format ：reader生产的Image的格式，必须是ImageFormat或PixelFormat中的常量，并不是所有的formats都会被支持，比如ImageFormat.NV21就是不支持的，Android一般都会支持ImageFormat_420_888。那很多人可能会想，不支持你写这儿干嘛？当然这里只是说Camera不支持格式直出，并不是其他地方不认识这种格式，比如YuvImage就支持ImageFormat.NV21。
    • maxImages：前面讲过很多了，缓存的最大帧数，必须大于0。

其他的方法像getHeight,getWidth,getMaxImages,getImageFormat，字面意思，不再赘述。

下面我们先实现一个ImageReader得到ImageFormat.JPEG格式的数据并显示到view上，跟上一篇相比，改动在以下几个地方：

    private void openCamera(int width, int height) {
    ...        //创建ImageFormat.JPEG格式的ImageReader并设置OnImageAvailableListener
              mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(),
                                ImageFormat.JPEG, 2);
              mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mCameraHandler);
    ...
    }

    private CameraDevice.StateCallback mStateCallback = new CameraDevice.StateCallback() {
            @Override
            public void onOpened(CameraDevice camera) {
                ...
                    mPreviewBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
                    mPreviewBuilder.addTarget(previewSurface);
    //把ImageReader的surface添加给CaptureRequest.Builder，使预览surface和ImageReader同时收到数据回调。
                    mPreviewBuilder.addTarget(mImageReader.getSurface());
                    mCameraDevice.createCaptureSession(Arrays.asList(previewSurface, mImageReader.getSurface()), mStateCallBack, mCameraHandler);
                ...
            }
    }

    private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
    //获取最新的一帧的Image
                Image image = reader.acquireLatestImage();
    //因为是ImageFormat.JPEG格式，所以 image.getPlanes()返回的数组只有一个，也就是第0个。
                ByteBuffer byteBuffer = image.getPlanes()[0].getBuffer();
                byte[] bytes = new byte[byteBuffer.remaining()];
                byteBuffer.get(bytes);
    //ImageFormat.JPEG格式直接转化为Bitmap格式。
                Bitmap temp = BitmapFactory.decodeByteArray(bytes, 0, bytes.length);
    //因为摄像机数据默认是横的，所以需要旋转90度。
                Bitmap newBitmap = BitmapUtil.rotateBitmap(temp, 90);
    //抛出去展示或存储。
                mOnGetBitmapInterface.getABitmap(newBitmap);
    //一定需要close，否则不会收到新的Image回调。
                image.close();
            }
        };

本文地址在Camera2ProviderWithData.java，自行取阅。

关键代码都在上面了，如果只是拍照或截取预览，这样的调用就足够了，当然如果是做实时美颜特效，这样是远远不够的，因为返回JPEG格式需要进行encode，时间必然会长，这时候就不能用JPEG了，我们需要用到前面提到的ImageFormat.YUV_420_888。

YUV跟JPEG相比相机逻辑改动就是把ImageFormat.JPEG改为ImageFormat.YUV_420_888

    mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(),
                                ImageFormat.YUV_420_888, 2);

如果我们仍然想用上面的方式预览，我们要做的就是如何把I420的数据转为Bitmap。

    private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                Image image = reader.acquireLatestImage();
                if (image == null) {
                    return;
                }
                int width = image.getWidth(), height = image.getHeight();
                byte[] i420bytes = CameraUtil.getDataFromImage(image, COLOR_FormatI420);
    //                BitmapUtil.dumpFile("mnt/sdcard/1.yuv", i420bytes);
                byte[] i420RorateBytes = BitmapUtil.rotateYUV420Degree90(i420bytes, width, height);
                byte[] nv21bytes = BitmapUtil.I420Tonv21(i420RorateBytes, height, width);
                Bitmap bitmap = BitmapUtil.getBitmapImageFromYUV(nv21bytes, height, width);
                if (mOnGetBitmapInterface != null) {
                    mOnGetBitmapInterface.getABitmap(bitmap);
                }
                image.close();
            }
        };

这里推荐一个工具GLYUVPlay，(好像最新的mac系统用不了，现在我换成了YuvEye)，可以查看得到的YUV是否正常，宽高和format一定要设置对，看显示是否正常就可以查看YUV是否获取正确了。

这里转化的时候还要涉及到一个类就是YuvImage

  • YuvImage : YuvImage包含YUV数据并且提供把YUV数据转化成Jpeg的方法。YUV数据应该是一个单纯的byte数组，而不是image返回的好几个planes。现在只支持ImageFormat.NV21和ImageFormat.YUY2，用户需要给定上下左右的宽高。

所以我们只需要把YUV_420_888转化为ImageFormat.NV21就可以了，使用YuvImage就可以转化成Bitmap了。每个YUV格式的区别这篇说不开，另开一篇。

    public static byte[] I420Tonv21(byte[] data, int width, int height) {
            byte[] ret = new byte[data.length];
            int total = width * height;

            ByteBuffer bufferY = ByteBuffer.wrap(ret, 0, total);
            ByteBuffer bufferV = ByteBuffer.wrap(ret, total, total / 4);
            ByteBuffer bufferU = ByteBuffer.wrap(ret, total + total / 4, total / 4);

            bufferY.put(data, 0, total);
            for (int i = 0; i < total / 4; i += 1) {
                bufferV.put(data[total + i]);
                bufferU.put(data[i + total + total / 4]);
            }

            return ret;
        }

这里提供一个java的转换方法，只是作为理清逻辑使用，工程中还是使用C++或者三方库提高效率。 YUV代码详见：Camera2ProviderPreviewWithYUV 欢迎star/follow

本篇其实没有说清楚如何从Image中得到YUV数据下一篇 Android Camera系列3 - Image中获得YUV数据及YUV格式理解分享。

avatar
文章
阅读
粉丝