CCF学科前沿讲习班

The CCF Advanced Disciplines Lectures

CCFADL第116期

主题 大规模预训练模型

2021年5月23-25日 北京

本期CCF学科前沿讲习班《大规模预训练模型》，对大规模预训练技术最新研究进展及在视觉、语音、语言等多种模态下的预训练进行系统性介绍，帮助学员理解预训练的基本概念、主要挑战和解决方法，掌握该领域包括视觉预训练、语音预训练、语言预训练以及多模态预训练的一系列前沿技术，并通过实际案例了解预训练的应用前景，开阔科研视野，增强实践能力。

本期ADL讲习班邀请到了本领域10位来自于著名高校与企业科研机构的重量级专家学者做主题报告。他们将对大规模预训练模型在语言、视觉、语音和多模态方面的最新进展进行深入浅出的讲解，为听众展示在自然语言理解、计算机视觉以及语音语义等领域的实践案例, 并介绍如何解决并行训练效率的挑战，如何压缩、加速和部署大模型等解决人工智能落地问题的宝贵经验。

学术主任：宋睿华 中国人民大学

主办单位：中国计算机学会

活动日程：

特邀讲者：

邱锡鹏，复旦大学计算机学院教授

讲者简介：邱锡鹏，复旦大学计算机学院教授，国家优青获得者，于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表CCF A/B类论文70余篇，获得ACL 2017杰出论文奖（CCF A类）、CCL 2019最佳论文奖，有4篇论文入选PaperDigest发布的IJCAI/ACL/EMNLP的最有影响力论文（各会议每年10篇）。出版开源专著《神经网络与深度学习》，Github关注数1.4万，豆瓣评分9.4分。主持开发了开源框架FudanNLP和FastNLP，已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程项目，2018年获钱伟长中文信息处理科学技术奖青年创新奖一等奖，2020-2021年连续两年入选由清华-中国工程院知识智能联合研究中心发布的"AI 2000人工智能全球最具影响力提名学者"等。培养学生曾获中国中文信息学会优博、中国人工智能学会优博、上海市优博、微软学者、百度奖学金等。

报告题目：Transformer综述

报告摘要：目前Transformer在自然语言处理、计算机视觉领域取得了广泛的成功。本报告主要介绍Transformer模型的基础自注意力机制以及变体。主要涵盖两部分内容：1）Transformer及其改进模型：通过分析Transformer的基本原理和优缺点，提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2）Transformer模型的应用：将Transformer模型应用在文本分类、实体名识别、图像分类等任务上，并通过针对性的改进来进一步提高性能。最后，对Transformer模型及其未来发展趋势进行展望。

翟晓华 瑞士苏黎世谷歌大脑团队 Staff Researcher

讲者简介：翟晓华，现任瑞士苏黎世谷歌大脑团队Staff Researcher，研究方向为表征学习、深度学习、人工智能。他于2014年在北京大学获得博士学位。他负责的大规模迁移学习算法“Big Transfer (BiT)”基于亿级规模图像数据来预训练模型，在超过二十个视觉任务上取得良好的效果；作为共同一作，他提出的“Vision Transformer (ViT)”将Transformer模型应用于图像识别，取得了与计算机视觉领域的主流模型CNN相当的效果。这两个特征学习项目及模型已开源，在GitHub上共获得超过3000个星标。他是“Compare GANs”项目的主要贡献者，在Github上获得1700个星标。他发表了包括ICLR、ICML、CVPR、ICCV、ECCV在内的多篇国际顶级会议和期刊论文。2012年作为彭宇新教授团队的核心成员参加由美国国家标准技术局举办的TRECVID中的INS比赛，并获得国际第一名。他是IEEE TPAMI、TIP、TMM、ICLR、ICML、CVPR、ECCV、ICCV和NeurIPS等国际顶级期刊和会议的审稿人。

报告题目：大规模视觉表征学习

报告摘要：计算机视觉模型一般需要大量训练样本来识别新的物体，样本标注限制了计算机视觉模型的落地应用。本报告介绍如何通过大规模视觉模型预训练，及小样本条件下的迁移学习，来解决上述问题。本报告首先介绍基于亿级规模图像数据预训练的“Big Transfer (BiT)”模型和“Vision Transformer (ViT)”模型，然后介绍如何将上述模型应用于小样本、多样化的视觉任务"Visual Task Adaptation Benchmark (VTAB)"。最后，本报告将探讨广泛使用的“ImageNet”分类任务，并且分析多个state-of-the-art计算机视觉模型的性能。

尚利峰，华为诺亚方舟实验室语音语义团队研究员

讲者简介：尚利峰，华为诺亚方舟实验室语音语义团队研究员，香港大学计算机专业博士。当前主要从事预训练模型加速、知识表示和推理、对话系统等方向的研究。在人工智能相关顶尖会议，如ICLR、NeurIPS、ACL、EMNLP 、CVPR、KDD和AAAI 等，发表多篇论文，包括ACL五年高引论文（前0.5%）、EMNLP-2020最有影响力论文、CGI-2014最佳论文奖、ACL-2019最佳论文提名。研究工作被广泛用在公司终端产品和云侧服务，获公司最高个人和团队奖。

报告题目：预训练模型加速研究和实践

报告摘要：最近OpenAI和华为分别发布了英文和中文的千亿级大模型，大模型在不断地刷新各个榜单，但是预训练模型的端云部署也变得更加棘手。如何将大模型在对话、搜索等产品形成生产力，体现它的商业价值，是我们不得不面对和解决的难题。本报告主要介绍业界和诺亚语音语义团队在预训练模型加速方向上的研究和商业化探索。在模型压缩方面，主要介绍基于蒸馏、量化、剪枝等压缩技术，以及多种技术融合的大模型压缩。在预训练模型实践方面，主要介绍大模型在对话和搜索场景的加速和部署。

李宏毅 国立台湾大学电机工程学系副教授（台湾大学资讯工程学系合聘）

讲者简介：李宏毅分别在 2010 年和 2012 年于国立台湾大学（National Taiwan University, NTU）取得硕士和博士学位；2012 年到 2013 年，他于中央研究院资讯科技创新研究中心担任博士后研究员；2013 年到 2014 年，他是麻省理工学院（MIT）电脑科学和人工智慧实验室（CSAIL）口语系统组的客座科学家。他目前是国立台湾大学电机工程学系副教授（台湾大学资讯工程学系合聘）。他的研究主轴是深度学习、语音处理及语意理解，他于 2017 年荣获中华民国电脑学会杰出青年奖，2018 年荣获中国电机工程学会优秀青年电机工程师奖，2019 年荣获杰出人才发展基金会年轻学者创新奖、中华民国科技部吴大猷先生纪念奖。

报告题目：自督导式学习在自然语言处理上的观察以及在语音处理上的应用

报告摘要：利用自监督式学习(Self-supervised learning)在大量的无人工标记(Unlabeled)资料上进行预训练(Pre-train)已经逐渐形成趋势，知名的BERT、GPT等模型都可说是自监督式学习模型。在本演讲中，我会先分享一些与BERT 相关的有趣发现，然后讲述怎麽把自督导式学习用在语音处理上。

段楠 (Principal Research Manager at Microsoft Research Asia)&宫叶云 (Senior Researcher at Microsoft Research Asia)

讲者简介：段楠博士，现任微软亚洲研究院高级研究经理，天津大学兼职教授，微软亚洲研究院-中国科学技术大学/中山大学/北京航空航天大学联合培养博士生导师，主要从事多语言多模态预训练、智能问答、代码智能和机器推理等研究，CCF高级会员，EMNLP/