资源技术动态ECCV 2018丨YOLO遇上OpenPose,近200FPS的高帧数多人姿态检测

ECCV 2018丨YOLO遇上OpenPose,近200FPS的高帧数多人姿态检测

2019-09-30 | |  89 |   0

原标题:ECCV 2018丨YOLO遇上OpenPose,近200FPS的高帧数多人姿态检测       

来源:云栖社区       链接:https://yq.aliyun.com/articles/638484


在高帧数下,如何实现人体姿态检测?下面这条刷屏的twitter视频给出了答案。


这是今年ECCV上的一篇名为《Pose Proposal Networks》的论文,作者是日本柯尼卡美能达公司的関井大気(Taiki SEKII),结合了去年CVPR上的YOLO和CMU的OpenPose,创造出的新方法,能够实现高帧数视频中的多人姿态检测。


高帧数,无压力


944a99b14ed42531c7bd072f123c2a5a35312790.png

而其他方法,比如NIPS 2017 的AE(Associative embedding)、ICCV 2017的RMPE(Regional multi-person pose estimation)、CVPR 2017的PAF(Realtime multi-person 2D pose estimation using part affinity fields),都无法实现高帧数尤其是100以上帧数视频的姿态检测。


93ee913fe102f8f2c5044e6cc835f251fd0d56c2.png


在COCO数据集上也不虚,相比谷歌PersonLab能在更高帧数下运行。


635b1a9445bf94b4af06fe5c3850448084411ceb.png


来看下具体数据,在头、肩、肘部位和整体上半身识别中超过了其他方法,整体得分也不虚。


神奇“体位”大冒险


另外,常规的姿态检测十分容易出错的“体位”中,该方法也可以规避。


比如从天上跳伞下来这种奇怪的姿势:


93acd5e4962d164e89901de5bb44eec2552f27f3.png

人数过多的拥挤场景:



db3c1396959c754bcef7d6dc3d3fc770e374ebe9.png


还有,两个人重叠的图像。


6cd55a4b8542b2869e48975ed47b0242d517261d.png


注意,右侧站立的女子和她前面在瑜伽垫上的人,完完全全分开了,不会闹出下面这种胳膊腿儿搞错的笑话。


原理

bffe407571dc0c7ff873c0d9543e45a4aa53ae66.png


这是基于ResNet-18的PPN对多人姿势检测的过程:


a) 输入图像;

b) 从输入图像中检测部分边界框;

c) 检测出肢体;

d) 区分图中每个人。


9643b8b9afa4da0e065b31bce4d0d3accaac09c8.png


这篇论文的方法是先将图片分割为较小的网格,使用较小的网络对每一幅网格图片进行单次物体检测范例,之后通过区域提议(region proposal)框架将姿态检测重定义为目标检测问题。


之后,使用单次CNN直接检测肢体,通过新颖的概率贪婪解析步骤,生成姿势提议。


区域提案部分被定义为边界框检测(Bounding Box Detections),大小和被检测人身材成比例,并且可以仅使用公共关键点注释进行监督。


整个架构由单个完全CNN构成,具有相对较低分辨率的特征图,并使用专为姿势检测性能设计的损耗函数直接进行端到端优化,此架构称为姿态提议网络(Pose Proposal Network,PPN)。PPN借鉴了YOLO的优点。

THE END

免责声明:本文来自互联网新闻客户端自媒体,不代表本网的观点和立场。

合作及投稿邮箱:E-mail:editor@tusaishared.com

上一篇:生成对抗网络(GAN)应用于图像分类

下一篇:浏览器中的姿态检测:PoseNet 模型(附代码)

用户评价
全部评价

热门资源

  • 应用笔画宽度变换...

    应用背景:是盲人辅助系统,城市环境中的机器导航...

  • GAN之根据文本描述...

    一些比较好玩的任务也就应运而生,比如图像修复、...

  • 端到端语音识别时...

    从上世纪 50 年代诞生到 2012 年引入 DNN 后识别效...

  • 人体姿态估计的过...

    人体姿态估计是计算机视觉中一个很基础的问题。从...

  • 谷歌发布TyDi QA语...

    为了鼓励对多语言问答技术的研究,谷歌发布了 TyDi...