当前位置:首页 > 股票资讯 - 正文

清华大学朱文武团队赢得AAAI 2021国际深度元学习挑战赛 行动计划

清华大学,挑战赛,文武,深度,赢得,团队,学习,国际,AAAI,2021时间:2021-03-06 09:15:07浏览:201
后台-插件-广告管理-内容页头部广告位(手机)

原标题:清华大学朱文武团队赢得AAAI 2021国际深度元学习挑战赛

机器的心脏被释放

机器志信编辑部

清华大学的朱文武教授团队赢得了AAAI 2021 MetaDL挑战赛。

近日,国际顶级人工智能大会“AAAI 2021”召开,清华大学朱文武教授的Meta _ Learners团队在AAAI 2021国际MetaDL挑战赛中夺冠。该队在最后阶段对隐藏测试数据集的准确率达到40.4%,以比第二名高13%的大比分领先夺冠。

元学习是机器学习自动化过程中的一个重要步骤,旨在设计和训练一个具有较强适应性和泛化能力的机器学习模型,以应对实际应用场景中环境剧变和训练数据不足的挑战。

随着机器学习解决实际问题的日益复杂,元学习,尤其是深度元学习,近年来越来越受到工业界、学术界和研究界各界的关注,成为人工智能领域最热门的研究方向之一。目前,谷歌、微软、亚马逊等国际巨头已经将元学习算法应用到自己的产业链中;许多国内知名公司,如腾讯、百度和字节跳动,都在不断改进元学习算法和系统。

元学习挑战赛是元学习领域举行的第一场比赛。由第四范式和微软联合举办,登陆人工智能领域顶级会议AAAI 2021,吸引了国内外众多优秀团队的关注和参与。共有近百支队伍参加了本次比赛,涵盖了图像分类领域的小样本学习。

小样本学习是机器学习国际前沿正在解决的问题之一,是元学习的重要应用场景。基于小样本的深度元学习将更加复杂,面临巨大挑战。与以往的小样本学习不同,本次比赛还考察了元学习算法的泛化能力和自适应性,测试了算法在各种场景下的有效性。

比赛分为两个阶段:反馈阶段和盲测阶段。

反馈阶段是代码提交和改进阶段。组织者提供了一个开放的离线数据集和一个隐藏的在线数据集,供参赛者构建和调试他们的MetaDL系统。

盲测阶段是最后的测试阶段。这个阶段有另一个完全不同的隐藏测试集。第一阶段提交的最后一个代码将在这个数据集上进行训练和测试,最终结果将作为排名的最终效果。

每个数据集由两部分组成:元训练数据集和元测试数据集。元训练数据集包含深度元学习模型进行元训练过程所需的几种图片,元测试数据集包含600个片段,每个片段都是5路1镜头19查询的小样本图像分类任务。对于每个片段,模型需要在给定的五个支持集上执行训练过程,并测试剩余的九十五个查询集。

本次比赛有以下三个挑战:

一、如何让模型具有快速适应小样本新任务的能力。本次比赛中,选手提交的模型有两个训练过程:元训练过程和测试训练过程。在元训练过程中,模型必须提取数据集的元知识和最佳学习方法,以保证模型能够快速学习,防止过度拟合。

第二,时间和空间的限制。这个比赛有时间和空间的限制。总时长不超过2h,总GPU资源占用不超过4 8G M60 GPU。这就要求选手提供的模型必须高效轻巧地提取元知识和学习方法。

第三,适应未知数据集。与传统的小样本学习不同,本次比赛还考察了模型对不同类型数据集的适应效果。因为我们事先不知道测试阶段隐藏的元训练数据,挑战者提交的模型必须有足够的泛化能力来处理从未知数据集提取元知识的能力。这一点也叫元元学习,是对元学习的补充和促进。

为了解决上述三个问题,元学习者团队提出了一个自适应的深度元学习系统Meta-Delta,以实现一个轻量级、高效且通用的元学习模型。

元增量系统采用基于度量的方法作为元学习模型的核心(如元学习者图所示)。该方法将数据集映射到一个元知识空间,通过空间中测试样本点(查询)和训练样本点(支持)之间的距离对小样本进行快速分类。该方法将元知识的提取转化为空间转换问题,是目前研究中最好的元学习算法之一,解决了小样本下快速适应新任务的挑战。

基于这个内核,团队精心构建了一个资源控制模块,在学习模型时精确控制和分配时间和空间消耗,并采用多进程和多线程相结合的方式,在不超时的情况下尽可能充分地提取元知识。最后,系统采用不同的预训练模型和多模型集成,使得整个系统在面对未知数据集时仍能有效提取最佳元知识,使其具有更强的泛化能力。

团队成员介绍

元学习者团队成员包括计算机系硕士生关、魏志坤、陈玉栋,导师为关教授和助理教授。

从2015年开始,团队开始关注和研究机器学习自动化的相关研究领域,已经拥有丰富的领域知识和深厚的技术积累。该团队获得了2018年神经病学终身自动化竞赛的大学冠军。参加第一届MetaDL比赛,以明显优势夺冠。

元学习作为一个日益受到关注的研究领域,因其应用价值得到了广泛认可,但其关键技术仍无法满足日益复杂的现实场景的需求,具有广阔的研究前景。元学习者团队将继续努力保持在这一领域的竞争力。

元三角洲论文下载地址:http://mn.cs.tsinghua.edu.cn/xinwang/pdf/aaai21 _ metadelta.pdf。

元三角洲系统源代码链接:https://github.com/Frozenmad/MetaDelta返回搜狐查看更多

负责编辑:


以上就是清华大学朱文武团队赢得AAAI 2021国际深度元学习挑战赛行动计划的全部内容了,喜欢我们网站的可以继续关注若晓股票网其他的资讯!
后台-插件-广告管理-内容页底部广告位(手机)