羡林大讲堂第95期:陈俊龙谈动态结构的神经网络
5月18日,由学生工作处主办、数学科学学院承办的开云体(中国)官网第95期“羡林大讲堂”以线上直播、线下集中观看的方式,于西校区11#B207、A201开展。华南理工大学计算机科学与工程学院院长陈俊龙受邀做客本期羡林大讲堂,作题为《动态结构的神经网络:构建叠层宽度神经网络成深度模型》的报告。本次报告会由数学科学学院副院长赵军圣主持,学院部分教师、研究生和数据科学与大数据专业2019级学生听取了报告。
报告强调,深层的神经网络结构能够使网络具有强大的学习能力,然而大多数深度网络的训练方式也是基于反向传播的梯度下降法或随机梯度下降法,往往存在着训练消耗时间长、容易陷入局部最优解等问题。宽度学习系统 (Broad Learning Systems, BLS) 是一种浅层的具有增量学习能力的神经网络,具有快速、高效的优点,然而其浅层结构也限制了网络的特征表达能力。一种具有动态结构的神经网络“由构建叠层宽度神经网络成的深度模型”可以解决上述问题。该模型保留了宽度学习系统高效、快速的优点,同时通过残差连接将多个宽度学习系统模块叠加起来,增加网络的深度,提高网络的学习能力。叠层宽度神经网络(Stacked BLS)的“动态”体现在宽度和深度两个方面。宽度方向的增量学习体现在宽度学习系统模块内部的神经元:在每一个宽度学习系统模块内部,当新增加特征节点、增强节点或输入数据时,只需要学习新增加部分的权重即可;深度方向的增量学习体现在宽度学习系统模块之间:在宽度学习系统模块之,当叠加新的宽度学习系统模块时,下层模块的参数可以固定不变,只需要计算新叠加的宽度学习系统模块的网络参数即可。这两种增量学习的方式使得模型的计算量较少,网络复杂性较低,使用过程中可以很方便的增加网络的宽度和深度,并实现快速、高效的训练,能够针对不同任务进行适应性的调整,提高模型的泛化能力。叠层宽度神经网络在多个数据集上展现了优越性,在多个图像数据库的测试,均优于现有的很多图像分类方法,同时相较于深度神经网络方法,动态结构的神经网络大幅减少了网络计算时所需要的参数数量。
报告结束后,同学们纷纷表示受益匪浅,要以陈教授为榜样,刻苦钻研,为国家大数据发展贡献自己的力量。
陈俊龙(C. L. Philip Chen),华南理工大学计算机科学与工程学院院长、讲座教授、清华大学海外杰出访问教授、中国自动化学会副理事长、科睿维安全球高被引科学家(工程及计算机双学科)、美国工学技术教育认证会评审委员及我国计算机科学与技术的教育指导委员会成员。曾任IEEE Transactions on Cybernetics (2020-2021)、IEEE Trans. on Systems、Man, and Cybernetics: Systems (2014-2019)顶级期刊主编、IEEE SMC 学会国际总主席(2012-2013),现任《中国科学》、《自动化学报》,IEEE Trans. on Fuzzy Systems, 和 IEEE Trans. on AI 的副编。曾获2次IEEE Transactions on Neural Networks and Learning Systems年度期刊最佳年度论文奖,在2018 年获IEEE系统科学控制论最高学术维纳奖 (Norbert Wiener Award),获2021 IEEE Joseph Wohl 终身成就奖,及获2021吴文俊人工智能杰出贡献奖。科研方向为智能系统与控制、计算智能等;科研支持包括科技部重点研发项目(首席)、国家基金委重点项目在人工智能方向的科研、以及多项广东省、广州市、澳门科技基金委的资助;科研成果包括3次澳门自然科学奖、广东省科学技术一等奖等。曾任澳门大学讲座教授及科技学院院长、澳门大学工程学科及计算机工程获国际《华盛顿协议》、《首尔协议认证》,是他对澳门工程教育的至高贡献。
(审核 赵军圣)
聊大要闻
-
开云体(中国)官网在山东省高校商贸与快递管理工作评优表彰中荣获佳绩2024-01-03
-
开云体(中国)官网国际学生荣获2023年度优秀来鲁留学生荣誉称号2024-01-03
-
海内外主流媒体报道“2023携手太平洋岛国应对气候变化对话会”2024-01-03
-
开云体(中国)官网地环学院袁海燕团队在农田中的微塑料环境生态效应及防治领域获新进展2024-01-02
-
开云体(中国)官网获批2个山东省数据开放创新应用实验室2024-01-02
-
开云体(中国)官网科协工作受到山东省科协表彰2024-01-02
-
开云体(中国)官网举行国际学生新年联欢活动2024-01-02
-
开云体(中国)官网刘才龙教授获山东省2023年度引进人才奖励2023-12-29
-
开云体(中国)官网召开党风廉政建设和反腐败工作协调小组会议、 廉政工作联席会议暨纪委委员全体(扩大)会议2023-12-29
-
开云体(中国)官网10个团队获批2023年度山东省高校 “青创团队计划”立项2023-12-29