Android音视频编码录制mp4
作者：互联网
Android录制视频有多种方法：MediaRecorder, MediaProjection, MediaMuxer, OpenGL等，每种方法都有其应用场景。
这里介绍的是用MediaCodec + MediaMuxer录制视频，这种方式是将音频流和视频流用MediaCodec编码，然后用MediaMuxer混流合成mp4视频， 这种方式的通用性较好，它不关心数据来源，只要能获得音视频流数据，就能录制。
音视频开发自有完整体系，其中的知识点和注意点（坑）也很多。网上的文章和开源项目虽不少，有些点却鲜有提及。这里将我开发中遇到的问题和一些小结记录下来，如有错误，还请指教。
1. 数据源
视频来源选择Camera2，给Camera2添加ImageReader，就能获得实时的图像数据。具体操作可以看这篇文章。
给ImageReader设置的输出格式是
ImageFormat.YUV_420_888，这种格式是官方建议通用性最好的，但是它只能保证输出是YUV420格式，而YUV420分很多种，具体格式不同设备是不同的，可能是YUV420P，也可能是YUV420SP，后面编码还要考虑这个问题。
从ImageReader中获取byte[]数据方法如下
/**
* 从ImageReader中获取byte[]数据
*/
public static byte[] getBytesFromImageReader(ImageReader imageReader) {
try (Image image = imageReader.acquireNextImage()) {
final Image.Plane[] planes = image.getPlanes();
ByteBuffer b0 = planes[0].getBuffer();
ByteBuffer b1 = planes[1].getBuffer();
ByteBuffer b2 = planes[2].getBuffer();
int y = b0.remaining(), u = y >> 2, v = u;
byte[] bytes = new byte[y + u + v];
if(b1.remaining() > u) { // y420sp
b0.get(bytes, 0, b0.remaining());
b1.get(bytes, y, b1.remaining()); // uv
} else { // y420p
b0.get(bytes, 0, b0.remaining());
b1.get(bytes, y, b1.remaining()); // u
b2.get(bytes, y + u, b2.remaining()); // v
}
return bytes;
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
从ImageReader中取得Image，YUV数据就在Image的Plane[]中，Plane也就是平面有3个。Plane[0]是Y平面，数据量等于图像的像素个数，用plane.getBuffer().remaining()方法获得。
YUV420P格式下Plane[1]是U平面，数据量是Y/4，Plane[2]是V平面，数据量也是Y/4。
YUV420SP格式下Plane[1]和Plane[2]都是UV平面，它们数据基本相同，只是位置错开了一位。一般情况下用Plane[1]中的数据即可，Plane[1]的数据量可能是Y/2，也可能是Y/2 - 1，虽然差那一位数据在显示上没有影响，但会导致创建的数组大小不对。
音频来源选择AudioRecord，配置参数，启动，然后从单独线程中用AudioRecord.read()方法不断地循环读取数据。
2. 编码格式
视频编码用MediaCodec，根据MIME_TYPE = "video/avc"选择设备支持的编码器和colorFormat
private MediaCodecInfo selectSupportCodec(String mimeType) {
int numCodecs = MediaCodecList.getCodecCount();
for (int i = 0; i < numCodecs; i++) {
MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);
if (!codecInfo.isEncoder()) {
continue;
}
String[] types = codecInfo.getSupportedTypes();
for (int j = 0; j < types.length; j++) {
if (types[j].equalsIgnoreCase(mimeType)) {
return codecInfo;
}
}
}
return null;
}
/**
* 根据mime类型匹配编码器支持的颜色格式
*/
private int selectSupportColorFormat(MediaCodecInfo mCodecInfo, String mimeType) {
MediaCodecInfo.CodecCapabilities capabilities = mCodecInfo.getCapabilitiesForType(mimeType);
HashSet<Integer> colorFormats = new HashSet<>();
for(int i : capabilities.colorFormats) colorFormats.add(i);
if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar;
if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar;
return 0;
}
colorFormat颜色格式很重要，它代表了编码器接受的图像格式。输入其他格式的图像，会导致编码失败或者视频的图像颜色错乱。
目前来说：大部分手机都支持COLOR_FormatYUV420SemiPlanar格式（实测是NV12），因此首选这个格式；少数手机（如红米Note4，魅族MX5）不支持COLOR_FormatYUV420SemiPlanar，而支持COLOR_FormatYUV420Planar格式（实测是I420）；这两种格式基本能覆盖所有的设备了。
前面说过Camera2设置
ImageFormat.YUV_420_888后输出的图像格式是YUV420P或YUV420SP，实测格式是I420和NV12，它们跟视频编码器的支持的格式吻合，可以直接提供给视频编码器，当然一般还需要旋转。如果你的图像不是从Camera2获取的，或者是其他格式，就要将图像转换成编码器支持的格式。
（根据我的测试，如果手机支持COLOR_FormatYUV420SemiPlanar编码格式，那么它的Camera2相机输出的就是NV12格式；如果手机只支持COLOR_FormatYUV420Planar编码格式，那么它的Camera2相机输出的就是I420格式。因此我猜测Camera2输出用的就是相同的硬件视频编码器。）
音频编码也用MediaCodec，根据MIME_TYPE = "audio/mp4a-latm"选择编码器即可，基本没有设备差异问题。
3. 合成视频
主要步骤
- 用MediaCodec分别开始编码图像和声音
- 将编码时获得的图像和声音的MediaFormat添加到MediaMuxer
- 启动MediaMuxer将编码后的图像和声音合成mp4
3.1 编码
编码器输入byte[]原始数据，编码后输出ByteBuffer数据。
编码比较耗时，需要工作在单独的线程中。
编码的输入和输出是异步的，也就是输入数据，然后用循环不停获取输出。
编码一段时间后才能获取到MediaCodec.INFO_OUTPUT_FORMAT_CHANGED信息，这代表输出格式确定了，也就能向MediaMuxer添加轨道了。
视频编码器输入和输出如下
// 视频编码器输入
private void feedMediaCodecData(byte[] data, long timeStamp) {
int inputBufferIndex = mVideoEncodec.dequeueInputBuffer(TIMES_OUT);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = mVideoEncodec.getInputBuffer(inputBufferIndex);
if (inputBuffer != null) {
inputBuffer.clear();
inputBuffer.put(data);
}
Log.e("chao", "video set pts......." + (timeStamp) / 1000 / 1000);
mVideoEncodec.queueInputBuffer(inputBufferIndex, 0, data.length, System.nanoTime() / 1000
, MediaCodec.BUFFER_FLAG_KEY_FRAME);
}
}
// 视频编码器输出
MediaCodec.BufferInfo mBufferInfo = new MediaCodec.BufferInfo();
int outputBufferIndex;
do {
outputBufferIndex = mVideoEncodec.dequeueOutputBuffer(mBufferInfo, TIMES_OUT);
if (outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) {
// Log.i(TAG, "INFO_TRY_AGAIN_LATER");
} else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
synchronized (H264EncodeConsumer.this) {
newFormat = mVideoEncodec.getOutputFormat();
if (mMuxerRef != null) {
MediaMuxerUtil muxer = mMuxerRef.get();
if (muxer != null) {
muxer.addTrack(newFormat, true);
}
}
}
Log.i(TAG, "编码器输出缓存区格式改变，添加视频轨道到混合器");
} else {
ByteBuffer outputBuffer = mVideoEncodec.getOutputBuffer(outputBufferIndex);
int type = outputBuffer.get(4) & 0x1F;
Log.d(TAG, "------还有数据---->" + type);
if (type == 7 || type == 8) {
Log.e(TAG, "------PPS、SPS帧(非图像数据)，忽略-------");
mBufferInfo.size = 0;
} else if (type == 5) {
if (mMuxerRef != null) {
MediaMuxerUtil muxer = mMuxerRef.get();
if (muxer != null) {
Log.i(TAG, "------编码混合 视频关键帧数据-----" + mBufferInfo.presentationTimeUs / 1000);
muxer.pumpStream(outputBuffer, mBufferInfo, true);
}
isAddKeyFrame = true;
}
} else {
if (isAddKeyFrame) {
if (isAddKeyFrame && mMuxerRef != null) {
MediaMuxerUtil muxer = mMuxerRef.get();
if (muxer != null) {
Log.i(TAG, "------编码混合 视频普通帧数据-----" + mBufferInfo.presentationTimeUs / 1000);
muxer.pumpStream(outputBuffer, mBufferInfo, true);
}
}
}
}
mVideoEncodec.releaseOutputBuffer(outputBufferIndex, false);
}
} while (outputBufferIndex >= 0);
音频编码器工作是类似的，由于我用的AudioRecord获取声音数据，编码时会有一个问题：
AudioRecord获取音频数据是用死循环不断获取的，这样获取声音的速度太快，编码又是耗时的，就会造成编码速度赶不上声音获取速度，也就是生产速度远大于消费速度，导致大部分数据都处理不完，视频中声音出问题。
音频编码器能设置MediaFormat.KEY_MAX_INPUT_SIZE，也就是输入数据包的大小。我采取的方法是给它设置一个较大的值，获取到声音数据后先缓存起来，拼接成较大的数据包后再提供给编码器，这样就能处理过来了。
3.2 合成
视频合成使用MediaMuxer合成器，用addTrack()方法添加视频轨道和声音轨道后才能启动，启动后用writeSampleData()方法输入数据后，直接输出到指定的mp4文件中。
完整代码
https://github.com/rome753/android-encode-mp4
标签：编码,编码器,视频,音视频,mp4,Plane,MediaCodec,格式,Android 来源： https://www.cnblogs.com/rome753/p/16491436.html