关于人脸识别的视频图片处理
作者：互联网
这篇随笔记录一下最近做人脸识别遇到过的一些问题的解决办法，方便加强印象。以双目摄像头为例。
首先是封装：
视频处理在主窗体下操作比较简单，但是如果是将视频处理过程封装起来，就稍微有些麻烦了，会引起跨线程的问题。
首先将视频控件的对象或者是句柄传到接口里，然后对该对象进行操作。
1 private AForge.Controls.VideoSourcePlayer VideoPlayer { get; set; }
2 private AForge.Controls.VideoSourcePlayer VideoPlayer2 { get; set; }
3 public void SetAFVideo(bool isDefault, AForge.Controls.VideoSourcePlayer video)
6 {
7 if (isDefault)
8 {
9 this.VideoPlayer = video;
10 this.VideoPlayer.Paint += VideoPlayer_Paint;
11 }
12 else
13 {
14 this.VideoPlayer2 = video;
15 }
16 }
有了视频控件的对象后，接着是打开摄像头
1 /// <summary>
2 /// 打开摄像头
3 /// </summary>
4 /// <param name="isDefault"></param>
5 /// <param name="videoName">摄像头名称</param>
6 /// <returns></returns>
7 public bool AFOpenVideo(bool isDefault, string videoName)
8 {
9 FaceResult.Reset();
10 _isStopDetect = false;
11 if (isDefault)
12 {
13 if (this.VideoPlayer == null) return false;
14 this.VideoPlayer.Show();
15 if (_deviceVideoClr == null)
16 {
17 _deviceVideoClr = Video.GetVideoSource(videoName);
18 }
19 this.VideoPlayer.VideoSource = _deviceVideoClr;
20 this.VideoPlayer.Start();
21 return true;
22 }
23 else
24 {
25 if (this.VideoPlayer2 == null) return false;
26 this.VideoPlayer2.Show();
27 if (_deviceVideoGry == null)
28 {
29 _deviceVideoGry = Video.GetVideoSource(videoName);
30 }
31 this.VideoPlayer2.VideoSource = _deviceVideoGry;
32 this.VideoPlayer2.Start();
33 return true;
34 }
35 }
关闭摄像头。关闭摄像头，有两种方式，一种是在主线程中直接关闭，另外一种是在子线程里关闭
/// <summary>
/// 关闭摄像头
/// </summary>
public void CloseVideo()
{
_isStopDetect = true;
Thread.Sleep(150);
}
/// <summary>
/// 关闭摄像头
/// </summary>
public void CloseVideoDirect()
{
CancelFaceDetect();
if (this.VideoPlayer != null)
{
if (this.VideoPlayer.IsRunning)
{
VideoPlayer.SignalToStop();
VideoPlayer.Hide();
}
}
if (this.VideoPlayer2 != null)
{
if (this.VideoPlayer2.IsRunning)
{
VideoPlayer2.SignalToStop();
VideoPlayer2.Hide();
}
}
}
取消人脸比对
private void CancelFaceDetect()
{
_mEvent.Set();
}
人脸识别算法初始化
/// <summary>
/// 人脸算法初始化
/// </summary>
/// <returns></returns>
public void InitFaceEngine(Action<bool, string> action)
{
//初始化过程
}
人脸比对过程，在子线程里处理，防止页面卡顿，同时每次只处理一帧。通过ManualResetEvent信号变量来终止人脸比对过程，视频比对过程在
FaceDetect方法里。比对完成，必须释放img对象占用的内存
1 public void StartFaceDetect()
2 {
3 if (!_isFaceCompare) return;
4 _mEvent.Reset();
5 Task.Factory.StartNew(() =>
6 {
7 Task.Delay(2000).Wait();
8 while (true)
9 {
10 try
11 {
12 if (_mEvent.WaitOne(100))
13 {
14 FaceResult.Reset();
15 break;
16 }
17 var imgClr = this.VideoPlayer.GetCurrentVideoFrame();
18 var imgGry = this.VideoPlayer2.GetCurrentVideoFrame();
19 float offsetX = VideoPlayer.Width * 1f / imgClr.Width;
20 float offsetY = VideoPlayer.Height * 1f / imgClr.Height;
21 FaceResult.OffsetX = offsetX;
22 FaceResult.OffsetY = offsetY;
23 FaceDetect(imgClr, imgGry);
24 imgClr.Dispose();
25 imgGry.Dispose();
26 }
27 catch (System.Exception ex)
28 {
29 throw new Exception(ex.Message);
30 }
31 }
32 });
33 }
给人脸框选。通过_isStopDetect变量来标识，在人脸识别通过后是否关闭摄像头
1 private void VideoPlayer_Paint(object sender, System.Windows.Forms.PaintEventArgs e)
2 {
3 for (int i = 0; i < FaceResult.FaceNumber; i++)
4 {
5 //根据Rect进行画框
6 e.Graphics.DrawRectangle(_rectPen, FaceResult.X, FaceResult.Y, FaceResult.Width, FaceResult.Height);
7 if (_trackUnit.message != "" && FaceResult.X > 0 && FaceResult.Y > 0)
8 {
9 //将上一帧检测结果显示到页面上
10 e.Graphics.DrawString(_trackUnit.message, _trackFont, _trackBrush, FaceResult.X, FaceResult.Y + 5);
11 }
12 }
13 if (_isStopDetect)
14 {
15 CloseVideoDirect();
16 }
17 }
将比对结果实时告诉前端。比对的信息通过事件FaceDetectShowHandler 来通知到前端，人脸比对成功通过事件FaceDectctResultHandler通知前端，前端收到FaceDectctResultHandler后执CloseVideo()，以关闭摄像头
1 public Action<string> FaceDetectShowHandler { get; set; }
2 public Action FaceDectctResultHandler { get; set; }
3 /// <summary>
4 /// 人脸比对
5 /// </summary>
6 /// <param name="bitClr"></param>
7 /// <param name="bitGry"></param>
8 public void FaceDetect(Bitmap bitClr, Bitmap bitGry)
9 {
10 //...
11 this.__errString = "没有检测到人脸,请正视相机!!";
12 FaceDetectShowHandler?.Invoke(_errString);
13 this.__errString = "相似度高";
14 FaceDectctResultHandler?.Invoke();
15
16 }
通过前面的示例代码知道，视频比对是在一个task子线程进行，前端要收到比对信息的消息通知，也是在子线程进行，如果将消息显示在前端界面上进行刷新，就必须通过委托
来刷新界面，否则引起跨线程访问的问题。同理，前端收到FaceDectctResultHandler事件通知后，要关闭摄像头，就不能直接调用close方法来关闭，而必须在主线程
关闭，这里通过一个变量_isStopDetect在paint事件里关闭摄像头，因为Paint事件是主线程，所以主线程里关闭摄像头完全没问题。另外关于视频图像的处理，有两种
方式，一种是用一个while循环，一种是通过线程池，每捕捉到一帧图像就丢到线程池里异步处理，但是用线程池可能会引发一个问题，就是引用类型变量在一个循环没有处
理完时，变量就被修改了，此时容易引起程序崩溃。用while循环，需要开启一个子线程，防止页面卡顿，是一个同步处理的过程。
在关闭摄像头时，有一个休眠150毫秒的动作，目的是让ManualResetEvent先收到终止的信号，终止while循环，然后执行关闭摄像头的动作，否则时间过短，导致while
一直执行。
标签：视频,人脸识别,VideoPlayer2,VideoPlayer,线程,关闭,FaceResult,摄像头,图片 来源： https://www.cnblogs.com/Serialport/p/11231609.html