德国弗莱堡大学机器学习实验室负责人Frank Hutter 说，所有这些人类决策的结果是，复杂的模型最终是被"凭直觉设计"，而不是系统地设计的。

一个名为自动机器学习（autoML）的不断发展的领域旨在消除这种猜测。其想法是让算法接管研究人员目前在设计模型时必须做出的决定。最终，这些技术可以使机器学习变得更容易获得。

(资料图片)

尽管自动机器学习已经存在了近十年，但研究人员仍在努力改进它。近日，在巴尔的摩举行的一次新会议，展示了为提高autoML的准确性和简化其性能而做出的努力。

人们对 autoML 简化机器学习的潜力产生了浓厚的兴趣。亚马逊和谷歌等公司已经提供了利用 autoML 技术的低代码机器学习工具。如果这些技术变得更有效，它可以加速研究并让更多人使用机器学习。

这样做的目的是为了让人们可以选择他们想问的问题，将 autoML 工具指向它，并获得他们想要的结果。

这一愿景是"计算机科学的圣杯"，怀俄明大学的计算机科学助理教授兼会议组织者Lars Kotthoff说，"你指定了问题，计算机就知道如何解决它，这就是你要做的一切。"但首先，研究人员必须弄清楚如何使这些技术更省时、更节能。

自动机器学习可以解决什么？

乍一看，autoML 的概念似乎是多余的——毕竟，机器学习已经是关于自动化从数据中获取洞察力的过程。但由于 autoML 算法在底层机器学习模型之上的抽象级别上运行，仅依赖这些模型的输出作为指导，因此它们可以节省时间和计算量。

研究人员可以将 autoML 技术应用于预先训练的模型以获得新的见解，而不会浪费计算能力来重复现有的研究。

例如，美国富士通研究所的研究科学家 Mehdi Bahrami 和他的合著者介绍了最近的工作，关于如何将BERT-sort算法与不同的预训练模型一起使用以适应新的目的。

BERT-sort 是一种算法，可以在对数据集进行训练时找出所谓的"语义顺序"。例如，给定的电影评论数据，它知道"伟大的"电影的排名要高于"好"和"坏"的电影。

借助 autoML 技术，还可以将学习到的语义顺序推广到对癌症诊断甚至外语文本进行分类，从而减少时间和计算量。

"BERT 需要数月的计算，而且非常昂贵，比如要花费 100 万美元来生成该模型并重复这些过程。"Bahrami 说，"因此，如果每个人都想做同样的事情，那就很昂贵——它不节能，对世界的可持续发展不利。"

尽管该领域显示出希望，但研究人员仍在寻找使 autoML 技术的计算效率更高的方法。例如，通过像神经架构搜索（NAS）这样的方法，构建和测试许多不同的模型以找到最合适的模型，完成所有这些迭代所需的能量可能很大。

自动机器学习还可以应用于不涉及神经网络的机器学习算法，例如创建随机决策森林或支持向量机来对数据进行分类。这些领域的研究正在持续进行中，已经有许多编码库可供想要将 autoML 技术整合到他们的项目中的人们使用。

Hutter表示，下一步是使用autoML量化不确定性并解决算法中的可信度和公平性问题。在这个愿景中，关于可信赖性和公平性的标准将类似于任何其他机器学习的约束条件，例如准确性。而autoML可以在这些算法发布之前捕获并自动纠正这些算法中发现的偏差。

神经架构搜索的持续进展

但是对于像深度学习这类应用，autoML还有很长的路要走。用于训练深度学习模型的数据，如图像、文档和录制的语音，通常是密集且复杂的。它需要巨大的计算能力来处理。除了在财力雄厚的大企业工作的研究人员之外，训练这些模型的成本和时间可能会让任何人望而却步。

该会议上的一项竞赛要求是参与者开发用于神经架构搜索的节能替代算法。这是一个相当大的挑战，因为这种技术具有"臭名昭著"的计算需求。它会自动循环遍历无数的深度学习模型，以帮助研究人员为他们的应用选择合适的模型，但该过程可能需要数月时间，成本超过一百万美元。

这些被称为零成本神经架构搜索代理的替代算法的目标是，通过大幅削减其对计算的需求，使神经架构搜索更容易获得、更环保。其结果只需要几秒钟就能运行，而不是几个月。目前，这些技术仍处于发展的早期阶段并且通常不可靠，但机器学习研究人员预测，它们有可能使模型选择过程更加高效。

关键词： 机器学习 研究人员 计算能力 所有这些 计算机科学