优步创建人工智能来生成用于训练其他人工智能模型的数据

生成对抗网络是一个由两部分组成的人工智能系统，由生成样本的生成器和试图区分生成样本和真实样本的鉴别器组成。它有许多用途，其中之一是生成合成数据。优步研究人员最近在一篇名为“通过学习加速神经架构搜索”的论文中利用了这一点，并提出了一种定制的GAN(称为生成教学网络(GTN))，它可以在测试目标任务之前生成模型可以从中学习的数据或训练环境。本文指出，与仅使用真实数据的方法相比，GTN可以将搜索速度提高多达9倍，而GTN与无需使用“数量级”计算即可实现最高性能的最新架构相比具有竞争优势。

正如投稿作者在他们的博客文章中解释的那样，大多数模型搜索需要“大量”资源，因为他们通过在数据集上训练模型来评估模型，直到模型的性能不再提高。这个过程可能在一个周期中对成千上万或更多的模型架构重复，这在计算方面是昂贵和耗时的。一些算法通过仅训练少量时间并将获得的性能作为真实性能的估计来避免成本，但是可以通过使用机器学习(GTN)来创建训练数据以进一步加速训练。

GTN成功地创造了在学习过程中有用的不切实际的数据。他们可以组合关于许多不同类型对象的信息，或者关注最困难的示例，并基于实际数据评估训练模型。此外，他们使用学习课程(一组特定顺序的训练示例)来提高生成器的性能，生成器会产生随机和无序分布的示例。

在实验中，研究团队表示，根据流行的开源MNIST数据集，GTN训练的模型在32步(约0.5秒)内达到了98.9%的准确率。在这个过程中，他们一次在MNIST训练数据集中拍摄了4096张张和成图像(不到图像的10%)。该模型在另一个数据集CIFAR-10上进行评估，该数据集用于衡量模型搜索的性能。即使与优化后的真实数据学习算法相比，该模型的学习速度也比相同性能水平下的真实数据快4倍。此外，已经证明，GTN数据的性能通常可以预测真实性能——即，要获得与仅对GTN生成的数据执行128步所获得的预测能力相同的预测能力，需要对真实数据执行1200步。

“因为GTN可以更快地评估每个架构，所以他们可以在固定的计算预算内评估更多的整体架构。在每种情况下，我们都证明了使用GTN生成数据比使用真实数据更快，并且可以带来更高的性能。即使我们给实时数据控制十天的计算时间，结果也保持不变，而GTN一天只有三分之二的时间。”“通过我们的研究，我们证明了GTN生成的训练数据创造了一个快速的.与最新算法竞争的方法，但采用完全不同的方法。在我们的…工具箱中拥有这个额外的GTN工具可以帮助优步、世界各地的所有公司和所有科学家在应用它的每个领域提高深度学习的性能。”

标签：