马蜂窝视频编辑框架设计及在 iOS 端的业务实践
作者:互联网
(马蜂窝技术公众号原创内容,ID: mfwtech)
熟悉马蜂窝的朋友一定知道,点击马蜂窝 App 首页的发布按钮,会发现发布的内容已经被简化成「图文」或者「视频」。
长期以来,游记、问答、攻略等图文形式的形态一直是马蜂窝发展的优势所在。将短视频提升至与图文并列的位置,是因为对于今天的移动互联网用户来说,内容更真实直观、信息密度更大、沉浸感更强的短视频已经成为刚需。为了使旅游用户拥有更好的内容交互体验,丰富和完整原有的内容生态体系,马蜂窝加码了对短视频领域的布局。
现在,每天都会有大量短视频在马蜂窝产生,覆盖美食、探店、景点打卡、住宿体验等多种当地玩乐场景。马蜂窝希望平台的短视频内容除了「好看」之外,更要「好用」。这个「好用」不仅仅是为有需求的用户提供好用的旅行信息,更是指通过技术让用户的短视频创作更加简单易行。
为此,我们在马蜂窝旅游 App 的视频编辑功能中提供了「自定义编辑」与「模板创作」两种编辑模式,使用户既可以通过「模板」快速创作与模板视频同款的炫酷视频,也能够进入「自定义编辑」模式发挥自己的创意,生成个性化视频。
本文将围绕马蜂窝旅游 App iOS 端中的视频编辑功能,和大家分享我们团队视频编辑框架的设计及业务实践。
Part.1 需求分析
如前言所述,我们要做的是能够支持「自定义编辑」与「模板创作」两种模式的视频编辑功能。
图1:产品示意图
首先我们梳理一下「自定义编辑」模式下,需要提供的功能:
-
视频拼接:将多段视频按顺序拼接成一段视频
-
播放图片:将多张图片合成一段视频
-
视频裁剪:删除视频中某个时间段的内容
-
视频变速:调整视频的播放速度
-
背景音乐:添加背景音乐,可以与视频原音做混音
-
视频倒播:视频倒序播放
-
转场过渡:拼接的两段视频切换时增加一些过渡效果
-
画面编辑:画面旋转,画布分区、设置背景色,增加滤镜、贴纸、文字等附加信息
有了上述这些功能,便可以满足「自定义编辑」模式的需求,能够让用户通过我们的视频编辑功能完成自己的创作。但是为了进一步降低视频编辑功能的使用门槛,让制作炫酷视频变得简单,我们还需要支持「模板创作」模式。即为用户提供「模板视频」,用户只需要选择视频或者图片,便可创作出与「模板视频」有同样编辑特效的同款视频,实现「一键编辑」。
支持「模板创作」模式后,我们视频编辑功能最终的流程图如下:
图2:完整流程图
如图所示,在媒体文件之外,多了一个模板 A 的输入,模板 A 描述了要对用户选择的媒体文件做哪些编辑。同时在编辑器的输出中多了一个模板 B,模板 B 描述了用户在完成编辑后,最终做了哪些编辑。其中模板 B 的输出,为我们解决了「模板视频」来源的问题,即「模板视频」既可以通过运营手段生产,也可以将用户通过「自定义编辑」模式创作的视频作为模板视频,使其他用户浏览该用户发布的视频时,可以快速创作同款视频。
通过上述需求分析的过程,可以总结出我们的视频编辑功能主要支持两个能力:
-
常规视频编辑的能力
-
描述如何编辑的能力
这两个能力的划分,为我们接下来进行视频编辑框架的设计提供了方向。
Part.2 框架设计
常规视频编辑的能力是一个视频编辑框架需要提供的基本能力,能够支撑业务上的「自定义编辑」模式。「描述如何编辑」的能力则是将常规视频编辑能力进行抽象建模,描述「对视频做哪些编辑」这件事,然后将这种描述模型转化为具体的视频编辑功能,便能够支撑起业务上的「模板创作」模式。所以我们的编辑框架可以划分为两个主要的模块:
-
编辑模块
-
描述模块
在两个模块之间,还需要一个转换模块,完成视频编辑模块与描述模块之间的双向转换。下图为我们需要的视频编辑框架示意图:
图3:视频编辑框架示意图
-
编辑模块所需要的具体功能,可以随着业务上的需求不断迭代添加,目前我们要支持的功能如图中所列。
-
描述模块则需要一个描述模型,将媒体素材与各种编辑功能完整的描述出来。同时也需要将模型保存成文件,从而能够被传输分发,我们称之为描述文件。
-
另外在描述文件的基础上,「模板创作」模式中的「模板」还需要标题、封面图等运营相关的信息。所以还需要提供一个运营加工的功能,能够让运营同事将描述文件加工为模板。
-
转换模块负责的则是将视频编辑功能抽象为描述文件、将描述文件解析为具体的编辑功能的任务,保证抽象与解析的正确性至关重要。
视频编辑模块在不同的开发平台上都有很好的实现方案,比如 iOS 原生提供的 AVFoundation,使用广泛的第三方开源库 GPUImage,以及更加通用的 ffmpeg 等。具体的实现方案可以结合业务场景与项目规划进行选择,我们目前在 iOS 端采用的方案是苹果原生的 AVFoundation。如何结合 AVFoundation 实现我们的视频编辑框架会在下文具体介绍。接下来我们就来看下具体功能模块的设计与实现。
Part.3 模块功能与实现
3.1 描述模块
3.1.1 功能划分
首先我们对「自定义编辑」模式下需要支持的具体功能进行分析,发现可以以编辑的对象为标准,将编辑功能划分为两类:段落编辑、画面编辑。
- 段落编辑:将视频段看作编辑对象,不关心画面内容,只在视频段层面上进行编辑,包含如下功能:
图4:段落编辑
- 画面编辑:将画面内容作为编辑对象,包含如下功能:
图5:画面编辑
3.1.2 视频编辑描述模型
有了编辑功能的划分后,要描述「对视频进行哪些编辑」,我们还需要一个视频编辑描述模型。定义如下几个概念:
-
时间线:由时间点组成的单向递增直线,起始点为 0 点
-
轨道:以时间线为坐标系的容器,容器内存放的是每个时间点需要的内容素材及「画面编辑」功能
- 轨道具有类型,一条轨道仅支持一种类型
- 段落:轨道中的一段,即轨道所属时间线上两个时间点及两点之间的部分
- 段落也具有类型,与其所属轨道类型保持一致
轨道类型列表:
其中「视频」、「图片」、「音频」类型轨道,是提供画面与声音内容的轨道。其余几个类型的轨道,则是用于描述具体做哪些画面编辑功能的轨道。特效类型轨道中可以指定若干画面编辑效果,如旋转、分区等。
结合编辑功能的划分,我们可以看出段落编辑功能的编辑对象是轨道内的段落,画面编辑功能的编辑对象是轨道内存放的内容素材。
有了时间线、轨道、段落三个概念以及段落编辑、画面编辑两个编辑行为的划分后,我们在抽象层面描述视频的编辑过程如下:
图6:视频编辑描述模型示意图
如上图所示,通过该模型,我们已经能够完整的描述出「对视频进行哪些编辑」:
-
创作一个时长 60 秒的视频,内容素材有视频,图片,音乐,分别对应轨道 1、轨道 2、轨道 3,并且有转场、滤镜效果,由轨道 4、轨道 5 指定(其他效果不再单独描述,以转场、滤镜效果为参考)。
-
该视频由轨道 1 的 [0-20] 段、轨道 2 的 [15-35] 段、轨道 1 的 [30-50] 段以及轨道 2 的 [45-60] 段拼接而成。
-
[0-60] 视频全段有背景音乐,音乐由轨道 3 指定。
-
[15-20]、[30-35]、[45-50] 三段内有转场效果,转场效果由轨道 4 指定。
-
[15-35] 段有滤镜效果,滤镜效果由轨道 5 指定。
3.1.3 描述文件与模板
有了上述的视频编辑描述模型后,我们还需要具体的文件来存储和分发该模型,即描述文件,我们使用 JSON 文件来实现。同时还需要提供运营加工的能力,使运营同事为描述文件添加一些运营信息,生成模板。
- 描述文件: 根据视频编辑模型生成一份 JSON 文件
举个
标签:视频,功能,iOS,马蜂窝,编辑,轨道,模板,描述 来源: https://blog.csdn.net/weixin_43846997/article/details/100152360