上个月，谷歌的GameNGen AI 模型显示， 广义图像扩散技术可用于生成可接受、可玩的《毁灭战士》版本。现在，研究人员正在将一些类似的技术与一个名为 MarioVGG 的模型结合使用，看看AI是否可以根据用户输入生成可信的《超级马里奥兄弟》视频。
MarioVGG 模型的结果（由加密货币相关 AI 公司Virtuals Protocol 以预印本形式发布）仍然显示出许多明显的缺陷，并且它目前对于任何接近实时游戏的东西来说都太慢了。但结果表明，即使是一个有限的模型，只要研究一点视频和输入数据，也可以推断出一些令人印象深刻的物理和游戏动态。
研究人员希望这代表着“制作和展示可靠且可控的视频游戏生成器”的第一步，甚至可能在未来“完全使用视频生成模型取代游戏开发和游戏引擎”。
为了训练他们的模型，MarioVGG 的研究人员（贡献者包括 GitHub 用户erniechew和Brian Lim ）从《超级马里奥兄弟》游戏的公共数据集开始，该数据集包含 280 个“关卡”的输入和为机器学习目的而安排的图像数据（从训练数据中删除了 1-1 关，以便可以使用其中的图像进行评估）。该数据集中的 737,000 多个单独帧被“预处理”成 35 帧的块，因此模型可以开始了解各种输入的直接结果通常是什么样的。
为了“简化游戏情况”，研究人员决定只关注数据集中的两个潜在输入：“向右跑”和“向右跑并跳跃”。然而，即使是这种有限的运动集也给机器学习系统带来了一些困难，因为预处理器必须在跳跃前向后查看几帧，才能确定“跑步”是否开始以及何时开始。任何包括空中调整（即“左”按钮）的跳跃也必须被丢弃，因为“这会给训练数据集带来噪音”，研究人员写道。
经过预处理（以及在单个 RTX 4090 显卡上进行约 48 小时的训练）后，研究人员使用标准卷积和去噪过程从静态起始游戏图像和文本输入（在此有限情况下为“运行”或“跳跃”）生成新的视频帧。研究人员表示，虽然这些生成的序列仅持续几帧，但一个序列的最后一帧可以用作新序列的第一帧，从而可以创建任意长度的游戏视频，同时仍显示“连贯一致的游戏玩法”。
即使经过了所有这些设置，MarioVGG 也无法生成与真正的 NES 游戏毫无二致的流畅视频。为了提高效率，研究人员将输出帧从 NES 的 256×240 分辨率缩小到模糊得多的 64×48。他们还将 35 帧的视频时间压缩为仅 7 个生成的帧，这些帧以“均匀间隔”分布，从而创建出比真实游戏输出看起来粗糙得多的“游戏”视频。
尽管存在这些限制，但目前 MarioVGG 模型甚至还无法实现实时视频生成。研究人员使用的单个 RTX 4090 需要整整六秒钟才能生成六帧视频序列，即使在极其有限的帧速率下，也只相当于半秒多一点的视频。研究人员承认，这“对于交互式视频游戏来说并不实用且不友好”，但他们希望未来对权重量化的优化（以及可能使用更多的计算资源）可以提高这一速率。
不过，考虑到这些限制，MarioVGG 可以从静态起始图像创建一些马里奥奔跑和跳跃的可信视频，类似于谷歌的 Genie 游戏制作器。研究人员写道，该模型甚至能够“仅从训练数据中的视频帧中学习游戏的物理原理，而无需任何明确的硬编码规则”。研究人员写道，这包括推断马里奥从悬崖边缘跑下来时摔倒的行为（具有可信的重力）以及（通常）当马里奥靠近障碍物时停止前进的动作。
虽然 MarioVGG 专注于模拟马里奥的动作，但研究人员发现，当视频滚动通过想象的关卡时，该系统可以有效地为马里奥幻化出新的障碍。研究人员写道，这些障碍“与游戏的图形语言一致”，但目前无法受到用户提示的影响（例如，在马里奥面前放一个坑，让他跳过去）。
然而，与所有概率 AI 模型一样，MarioVGG 也有令人沮丧的倾向，有时会给出完全无用的结果。有时这意味着只是忽略用户输入提示（研究人员写道：“我们观察到输入操作文本并不总是被遵循的。”其他时候，它意味着产生明显的视觉故障幻觉：马里奥有时会落在障碍物内，穿过障碍物和敌人，闪烁不同的颜色，从一帧缩小/增大到另一帧，或者在重新出现之前完全消失多帧。
研究人员分享的一段特别荒谬的视频显示，马里奥从桥上掉下来，变成了 Cheep-Cheep，然后飞回桥上，再次变成了马里奥。这正是我们期望在《神奇之花》中看到的东西，而不是原版《超级马里奥兄弟》的 AI 视频。
研究人员推测，在“更多样化的游戏数据”上进行更长时间的训练可以帮助解决这些重大问题，并帮助他们的模型模拟不仅仅是向右奔跑和跳跃。不过，MarioVGG 是一个有趣的概念验证，它表明即使是有限的训练数据和算法也可以创建一些不错的基本游戏起始模型。
本故事最初发表于Ars Technica 。
