基于无监督学习环境模型的机器人运动控制|IROS 2021 | 模型( 二 )

和少量带动做标注的数据 作为训练数据,任务的目标是得到环境的模型

物体解耦模块(Object Extractor):图像编码器(Image Encoder)将输入图像 分解为一组特征图 ,来表示不同物体的空间位置信息。运动编码器(Motion Encoder)输入连续几帧图像 ,输出一组空间变换矩阵 ,来表示每个物体从时刻 发生的位置变换。 是2*3矩阵,由2*2旋转矩阵和 方向的平移组成。空间变换器(Spatial Transformer)对特征图进行仿射变换 ,以得到 时刻的特征图,再通过解码器(Image Decoder)对图像 进行重构。
交互学习模块(Interaction Learner):此模块输入历史观测 和第一张变换后的特征图 ,输出对 的预测。为准确预测 时刻所有物体的位置,输入