抽象的

场景分析中的一个长期挑战是直接从单眼视频中恢复场景安排。尽管该问题仍然是积极研究的主题，但在人类姿势重建的背景下，单眼视频（包括图像空间特征点检测和雷竞技是骗人的3D姿势恢复）已经取得了同时进展。但是，随着问题的严重约束，这些方法开始在中度至重闭上失败。我们以不同的方式处理问题。我们观察到人们在类似场景中的互动相似。因此，我们利用场景对象排列与在两个方向上执行的动作之间的相关性：首先，与对象交互时，典型的动作会告知我们可能的对象排列；其次，对象排列反过来限制了可能的动议。
我们提出了IMAPPER，这是一种数据驱动的方法，侧重于识别人类对象的相互作用，并共同出现有关对象和人类在时空上运动的原因，以恢复合理的场景布置和一致的人类相互作用。我们首先将特征相互作用的概念作为时空中的区域介绍，当时人类对象的相互作用发生。接下来是一个新颖的咬合感匹配过程，该过程搜索并对齐从交互数据库中的特征快照，以最好地解释输入单眼视频。通过广泛的评估，无论是定量和定性的，我们都证明了IMAPPER可显着提高专用的最新场景分析和3D人类姿势恢复方法，尤其是在中等至重的闭塞下。

作者

Aron Monszpart，Paul Guerrero，Duygu Ceylan，Ersin Yumer，尼洛伊·米特拉（Niloy Mitra）

会议

Siggraph 2019

完整的纸

‘Imapper：互动引导的场景映射从单眼视频映射”（PDF）

Uber ATG