其他分享
首页 > 其他分享> > Android音视频编码录制mp4

Android音视频编码录制mp4

作者:互联网

Android录制视频有多种方法:MediaRecorder, MediaProjection, MediaMuxer, OpenGL等,每种方法都有其应用场景。

这里介绍的是用MediaCodec + MediaMuxer录制视频,这种方式是将音频流和视频流用MediaCodec编码,然后用MediaMuxer混流合成mp4视频, 这种方式的通用性较好,它不关心数据来源,只要能获得音视频流数据,就能录制。

音视频开发自有完整体系,其中的知识点和注意点(坑)也很多。网上的文章和开源项目虽不少,有些点却鲜有提及。这里将我开发中遇到的问题和一些小结记录下来,如有错误,还请指教。

1. 数据源

视频来源选择Camera2,给Camera2添加ImageReader,就能获得实时的图像数据。具体操作可以看这篇文章

给ImageReader设置的输出格式是ImageFormat.YUV_420_888,这种格式是官方建议通用性最好的,但是它只能保证输出是YUV420格式,而YUV420分很多种,具体格式不同设备是不同的,可能是YUV420P,也可能是YUV420SP,后面编码还要考虑这个问题。

从ImageReader中获取byte[]数据方法如下

    /**
     * 从ImageReader中获取byte[]数据
     */
    public static byte[] getBytesFromImageReader(ImageReader imageReader) {
        try (Image image = imageReader.acquireNextImage()) {
            final Image.Plane[] planes = image.getPlanes();
            ByteBuffer b0 = planes[0].getBuffer();
            ByteBuffer b1 = planes[1].getBuffer();
            ByteBuffer b2 = planes[2].getBuffer();
            int y = b0.remaining(), u = y >> 2, v = u;
            byte[] bytes = new byte[y + u + v];
            if(b1.remaining() > u) { // y420sp
                b0.get(bytes, 0, b0.remaining());
                b1.get(bytes, y, b1.remaining()); // uv
            } else { // y420p
                b0.get(bytes, 0, b0.remaining());
                b1.get(bytes, y, b1.remaining()); // u
                b2.get(bytes, y + u, b2.remaining()); // v
            }
            return bytes;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

从ImageReader中取得Image,YUV数据就在Image的Plane[]中,Plane也就是平面有3个。Plane[0]是Y平面,数据量等于图像的像素个数,用plane.getBuffer().remaining()方法获得。
YUV420P格式下Plane[1]是U平面,数据量是Y/4,Plane[2]是V平面,数据量也是Y/4。
YUV420SP格式下Plane[1]和Plane[2]都是UV平面,它们数据基本相同,只是位置错开了一位。一般情况下用Plane[1]中的数据即可,Plane[1]的数据量可能是Y/2,也可能是Y/2 - 1,虽然差那一位数据在显示上没有影响,但会导致创建的数组大小不对。

音频来源选择AudioRecord,配置参数,启动,然后从单独线程中用AudioRecord.read()方法不断地循环读取数据。

2. 编码格式

视频编码用MediaCodec,根据MIME_TYPE = "video/avc"选择设备支持的编码器和colorFormat

    private MediaCodecInfo selectSupportCodec(String mimeType) {
        int numCodecs = MediaCodecList.getCodecCount();
        for (int i = 0; i < numCodecs; i++) {
            MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);
            if (!codecInfo.isEncoder()) {
                continue;
            }
            String[] types = codecInfo.getSupportedTypes();
            for (int j = 0; j < types.length; j++) {
                if (types[j].equalsIgnoreCase(mimeType)) {
                    return codecInfo;
                }
            }
        }
        return null;
    }

    /**
     * 根据mime类型匹配编码器支持的颜色格式
     */
    private int selectSupportColorFormat(MediaCodecInfo mCodecInfo, String mimeType) {
        MediaCodecInfo.CodecCapabilities capabilities = mCodecInfo.getCapabilitiesForType(mimeType);
        HashSet<Integer> colorFormats = new HashSet<>();
        for(int i : capabilities.colorFormats) colorFormats.add(i);
        if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar;
        if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar;
        return 0;
    }

colorFormat颜色格式很重要,它代表了编码器接受的图像格式。输入其他格式的图像,会导致编码失败或者视频的图像颜色错乱。
目前来说:大部分手机都支持COLOR_FormatYUV420SemiPlanar格式(实测是NV12),因此首选这个格式;少数手机(如红米Note4,魅族MX5)不支持COLOR_FormatYUV420SemiPlanar,而支持COLOR_FormatYUV420Planar格式(实测是I420);这两种格式基本能覆盖所有的设备了。

前面说过Camera2设置ImageFormat.YUV_420_888后输出的图像格式是YUV420P或YUV420SP,实测格式是I420和NV12,它们跟视频编码器的支持的格式吻合,可以直接提供给视频编码器,当然一般还需要旋转。如果你的图像不是从Camera2获取的,或者是其他格式,就要将图像转换成编码器支持的格式。
(根据我的测试,如果手机支持COLOR_FormatYUV420SemiPlanar编码格式,那么它的Camera2相机输出的就是NV12格式;如果手机只支持COLOR_FormatYUV420Planar编码格式,那么它的Camera2相机输出的就是I420格式。因此我猜测Camera2输出用的就是相同的硬件视频编码器。)

音频编码也用MediaCodec,根据MIME_TYPE = "audio/mp4a-latm"选择编码器即可,基本没有设备差异问题。

3. 合成视频

主要步骤

  1. 用MediaCodec分别开始编码图像和声音
  2. 将编码时获得的图像和声音的MediaFormat添加到MediaMuxer
  3. 启动MediaMuxer将编码后的图像和声音合成mp4

3.1 编码

编码器输入byte[]原始数据,编码后输出ByteBuffer数据。
编码比较耗时,需要工作在单独的线程中。
编码的输入和输出是异步的,也就是输入数据,然后用循环不停获取输出。
编码一段时间后才能获取到MediaCodec.INFO_OUTPUT_FORMAT_CHANGED信息,这代表输出格式确定了,也就能向MediaMuxer添加轨道了。

视频编码器输入和输出如下

    // 视频编码器输入
    private void feedMediaCodecData(byte[] data, long timeStamp) {
        int inputBufferIndex = mVideoEncodec.dequeueInputBuffer(TIMES_OUT);
        if (inputBufferIndex >= 0) {
            ByteBuffer inputBuffer = mVideoEncodec.getInputBuffer(inputBufferIndex);
            if (inputBuffer != null) {
                inputBuffer.clear();
                inputBuffer.put(data);
            }
            Log.e("chao", "video set pts......." + (timeStamp) / 1000 / 1000);
            mVideoEncodec.queueInputBuffer(inputBufferIndex, 0, data.length, System.nanoTime() / 1000
                    , MediaCodec.BUFFER_FLAG_KEY_FRAME);
        }
    }

    // 视频编码器输出
                MediaCodec.BufferInfo mBufferInfo = new MediaCodec.BufferInfo();
                int outputBufferIndex;
                do {
                    outputBufferIndex = mVideoEncodec.dequeueOutputBuffer(mBufferInfo, TIMES_OUT);
                    if (outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) {
//                        Log.i(TAG, "INFO_TRY_AGAIN_LATER");
                    } else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                        synchronized (H264EncodeConsumer.this) {
                            newFormat = mVideoEncodec.getOutputFormat();
                            if (mMuxerRef != null) {
                                MediaMuxerUtil muxer = mMuxerRef.get();
                                if (muxer != null) {
                                    muxer.addTrack(newFormat, true);
                                }
                            }
                        }

                        Log.i(TAG, "编码器输出缓存区格式改变,添加视频轨道到混合器");
                    } else {
                        ByteBuffer outputBuffer = mVideoEncodec.getOutputBuffer(outputBufferIndex);
                        int type = outputBuffer.get(4) & 0x1F;

                        Log.d(TAG, "------还有数据---->" + type);
                        if (type == 7 || type == 8) {

                            Log.e(TAG, "------PPS、SPS帧(非图像数据),忽略-------");
                            mBufferInfo.size = 0;
                        } else if (type == 5) {
                            if (mMuxerRef != null) {
                                MediaMuxerUtil muxer = mMuxerRef.get();
                                if (muxer != null) {
                                    Log.i(TAG, "------编码混合  视频关键帧数据-----" + mBufferInfo.presentationTimeUs / 1000);
                                    muxer.pumpStream(outputBuffer, mBufferInfo, true);
                                }
                                isAddKeyFrame = true;
                            }
                        } else {
                            if (isAddKeyFrame) {
                                if (isAddKeyFrame && mMuxerRef != null) {
                                    MediaMuxerUtil muxer = mMuxerRef.get();
                                    if (muxer != null) {
                                        Log.i(TAG, "------编码混合  视频普通帧数据-----" + mBufferInfo.presentationTimeUs / 1000);
                                        muxer.pumpStream(outputBuffer, mBufferInfo, true);
                                    }
                                }
                            }
                        }
                        mVideoEncodec.releaseOutputBuffer(outputBufferIndex, false);
                    }
                } while (outputBufferIndex >= 0);

音频编码器工作是类似的,由于我用的AudioRecord获取声音数据,编码时会有一个问题:

AudioRecord获取音频数据是用死循环不断获取的,这样获取声音的速度太快,编码又是耗时的,就会造成编码速度赶不上声音获取速度,也就是生产速度远大于消费速度,导致大部分数据都处理不完,视频中声音出问题。
音频编码器能设置MediaFormat.KEY_MAX_INPUT_SIZE,也就是输入数据包的大小。我采取的方法是给它设置一个较大的值,获取到声音数据后先缓存起来,拼接成较大的数据包后再提供给编码器,这样就能处理过来了。

3.2 合成

视频合成使用MediaMuxer合成器,用addTrack()方法添加视频轨道和声音轨道后才能启动,启动后用writeSampleData()方法输入数据后,直接输出到指定的mp4文件中。

完整代码

https://github.com/rome753/android-encode-mp4

标签:编码,编码器,视频,音视频,mp4,Plane,MediaCodec,格式,Android
来源: https://www.cnblogs.com/rome753/p/16491436.html