一、 项目综述
2022年暑期，华南理工大学软件学院将联合剑桥大学推出为期三周的在线深度强化学习项目。深度学习是机器学习领域中一个新的研究方向，其目标是建立模拟人脑进行分析学习的神经网络，并通过这套机制识别与解释文字、图像和声音等数据，从而使人工智能变为可能。本项目是英国剑桥大学设计的线上教学项目，旨在为学生创造世界顶级大学的学习体验机会，提升学生在深度学习前沿领域的研究技能，掌握软件编写技巧，并且了解该领域与其它领域之间的关联与发展潜力。
二、 特色与优势
Ø 【原汁原味的剑桥课程】由剑桥大学计算机科学教授亲自参与设计与授课，确保课程专业性与品质；
Ø 【实时授课，注重互动】课程全部为剑桥老师的真人实时直播授课，非录播形式，保证与学生的互动效果；
Ø 【四六级可申请】无需托福雅思成绩，用大学英语四/六级即可入读剑桥课程；
Ø 【成绩单与学习证明】可获得剑桥大学格顿学院的成绩单与项目证书，为个人履历添砖加瓦；
三、剑桥大学与格顿学院简介
Ø 创建于1209年的剑桥大学，是英国乃至世界上历史最悠久的大学之一，同时也被公认为是世界上最顶尖的高等教育机构之一，在艺术与人文、数学、物理、工程与技术、医学、法学、商科等诸多领域拥有崇高的学术地位及广泛的影响力；剑桥大学实行古老的“书院制”，由31所独立自治学院组成，学生总数量超过19,000人；
Ø 2022年Times世界大学综合排名位列第5；2022年QS世界大学综合排名位居第3；2021年上海交大世界大学学术排名（ARWU）位居第3；
Ø 格顿学院成立于1869年，距今已有150多年的历史，是剑桥较大的学院之一，在剑桥所有学院中学生总量排名前十，以活跃、轻松和友善的学习氛围著称。格顿学院提供丰富的本科与研究生课程，领域包括工程、计算机科学、建筑、经济学、历史、地理、人文社科、数学、法律、医学、音乐、国际关系、社会学、语言学等。
四、项目介绍
【课程日期】
【授课模式】
剑桥大学格顿学院的暑期在线深度强化学习项目有以下主要特点：
² 项目为期三周，包含总共20个实时直播课时，多数课程预计会安排在北京时间下午至晚间进行（实际授课时间以校方最终安排为准）；
² 授课形式包括系列专题讲座+实践（总共10场，每场各2小时）；
² 学生均会注册成为剑桥大学格顿学院的学生，并且获权使用剑桥大学的教学管理平台Moodle。剑桥老师通过ZOOM平台在线授课，课前阅读以及作业布置则会通过Moodle安排。
【课程内容】
课程将探讨深度强化学习的最新潜力，侧重于强化学习和深度学习的基础知识（包括卷积神经网络、图形神经网络、生成神经网络和Transformer模型），并将分享机器人和游戏中的实例，从而加强学生对深度学习核心理念的了解，提升相关的研究技能与实用技巧。
以下为计划的课程内容（以实际安排为准）：
| 讲座内容 | 实践内容 |
7.25 周一 | 主题：强化学习导论 l 强化学习的算法和框架；遗传算法，帕累托前沿 l 强化学习与深度学习的联系（Transformers模型、图形神经网络）；强化学习案例分析； l 如何撰写相关文章 | 主题：科学计算工具简介 l Jupyter Notebook的基本使用以及LaTeX； l 强化学习框架中的基本组件； l 小组项目说明 |
7.27周三 | 主题：环境 l 环境复杂性建模 l 多智能体强化学习（MARL） l Q-Learning以及Actor-Critic模型 l 基于政策的学习； l 马尔可夫决策过程、动态编程和贝尔曼方程； l 强化学习与深度学习的联系 | 主题：环境 l 强化学习框架中的基本组件； l 马尔可夫决策过程； l OpenAI Gym简介 l 小组项目说明 |
7.29 周五 | 主题：优化 l 强化学习与控制优化 l 深度Q网络 l 强化学习与深度学习的联系 l 强化学习案例 l Transformers模型和图像分析集成 | l Pytork简介；备份图； l 使用马尔可夫决策过程进行优化（动态编程、贝尔曼方程、策略迭代、值迭代） l 项目进展汇报
|
8.2 周二 | 主题：集成与控制 l 机器人与贡献度分配问题 l 冗余度机器人的自适应运动控制 l 多智能体强化学习与机器人 l 强化学习与其他深度学习技巧的整合； | 主题：免模型算法 l 基于价值的算法（蒙特卡罗、时间差分学习、SARSA、Q-learning、DQN及其变体） l 项目进展汇报
|
8.3 周三 | 主题：集成 l 与图形神经网络的集成；关注和信息传递模型； l 与AUTO-ML和ML系统的集成； | 主题：免模型算法 l 基于策略的算法（策略梯度、增强）； l Actor-Critic算法 l 项目进展汇报 |
8.4 周四 | 主题：图神经网络（GNN）与强化学习 l 图示学习与强化学习的关联 | l 图神经网络练习 l 项目进展汇报 |
8.5 周五 | 主题：监管图神经网络 l 图神经网络与游戏的理论与运用 | 主题：图神经网络练习 l DGL, Spektral, Pytorch l 项目进展汇报 |
8.8 周一 | 主题：无监管图神经网络 l 图神经网络与机器人 | 主题：图神经网络练习 l DGL, Spektral, Geometric Pytorch l 项目进展汇报 |
8.9 周二 | 图神经网络（GNN）与强化学习：高级建模 | 项目进展汇报 |
8.12 周五 | l 项目回顾与总结 l 小组项目成果陈述 | |
【师资介绍】
皮埃特罗·里奥教授（Prof. Pietro Liò）
剑桥大学计算机科学系教授，剑桥大学人工智能专家小组成员，剑桥大学人工智能医学中心成员。个人主要研究兴趣聚焦于开发人工智能和计算生物学模型，以了解疾病的复杂性，并解决个性化和精确医学问题，目前的重点是图形神经网络建模。里奥教授硕士毕业于剑桥大学，后于意大利佛罗伦萨大学工程系获得博士学位（复杂系统与非线性动力学方向）。
【项目考核】
项目学生由剑桥大学进行统一的学术管理与学术考核，顺利完成学习后，学生将获得剑桥大学格顿学院颁发的成绩单与项目证书。
图：剑桥大学项目证书与成绩单样图
【项目费用】
项目总费用 | 人民币12,060元/人 |
学院资助 | 人民币6,000元/人 |
学生自费 | 人民币6,060元/人 |
费用包括： | 学杂费，以及项目服务费 |
备注 | 确认录取后，项目开始前，学生和学院分别支付费用 |
五、项目申请
1、 项目名额
2022年暑期剑桥大学在线深度强化学习项目，华南理工大学软件学院选拔名额为20名。
2、 项目申请截止日期：2022年6月17日
3、 选拔要求
1）英语水平需满足以下要求：达到托福79，或雅思6.0，或大学英语四级500分，或大学英语六级470分，或专四/专八通过，或Duolingo105；
2）面向学院2019级、2020级（目前为大二和大三年级的）学生，卓越班学生优先；
3）道德品质好，在校期间未受过纪律处分；
4）之前没有接受过学校或学院的其它交流项目的资助；
5）如报名人数超过资助人数（20人）的限额，则按课程成绩的绩点排名确定学院资助人选；
6） 没有在学院资助的20人排名之内的，如果愿意自费承担个人全部项目费用，也可报名参加，不受第4、5点限制。
4、 项目申请录取方式和报名流程
1) 填写附件1的报名表及英语成绩证书扫描件，发送到学院邮箱liyying@scut.edu.cn
2) 同时登录项目选拔管理机构 -- 全美国际教育协会网站www.usiea.org 填写《世界名校访学2022-2023学年夏秋项目报名表》；
3) 6月17日截止报名后，6月20日-6月21日学院审核名单，6月24日公布最终名单;
4) 学生提交正式申请材料并缴纳项目自费部分费用，获得学校录取后参加在线学习；
5、 学分认定预审
需用校外修读的学分认定为校内学分的学生，务必提交《华南理工大学全日制本科生校外课程修读申请表》（附件2），学院审核后将电子版发送至fwjiang@scut.edu.cn，邮件名为：“课程修读计划+姓名”。
6、 咨询方式：
1） 资助情况及院内报名程序，请咨询软件学院李英英老师,电话：020-39380296
邮箱liyying@scut.edu.cn
2）项目情况，请咨询全美国际教育协会张老师微信：18027397441
朱老师电话：13829761018（同微信）
附件1：英国剑桥大学深度强化学习项目报名表
姓名： | 性别： | ||
年级： | 班级： | ||
学号： | 手机号码： | ||
英语成绩CET-4: | 英语成绩CET-6: | ||
托福成绩及有效期： | 雅思成绩及有效期： | ||
其他英语成绩： |
附件2：华南理工大学全日制本科生校外课程修读申请表.xlsx
