创新人才学院简介.pdf

中国科学技术大学-微软亚洲研究院 创新人才学院项目简介 “中国科学技术大学-微软亚洲研究院创新人才学院”是由中国科学技术大学和微软亚洲研究院联合发 起的关于创新型人才培养模式的重要探索。该项目隶属于教育部创新人才培养试验区的一个教学改革项 目，探索培养高素质计算机基础人才的新模式，旨在让有志于从事科研的学生在本科阶段就能进入微软亚 洲研究院实践，感受国际一流科研氛围，并有机会参与真实的企业科研项目，从而发掘自己的科研潜力， 锻炼自己的科研能力。从 2010 年举办第一届微软创新人才学院开始，该项目每年从中国科学技术大学在 读三年级本科生中招收 18 名学生（其中包括 7 名联合培养博士生指标）。他们将在学校和学院同意的前提 下，从 7 月到次年 6 月在微软亚洲研究院上课、实习，并在微软亚洲研究院完成本科毕业设计，最后回到 学校进行本科毕业答辩。 培养特色 一对一指导 每一位同学将有一位微软亚洲研究院的研究员担任其导师，指导学术研究和学习安排。 学分课程 在微软学习期间，参与项目的学生需在微软亚洲研究院修完高级软件工程、高级研究讲座、 科技英语三门中科大学分课。在高级软件工程课程中，在高级开发主管的指导下，同学们将有机会与微软 的产品组合作，并发布真实应用。高级研究讲座课中，十几位来自自然用户界面、计算机图形学、空间数 据挖掘、信息检索、机器学习、计算机理论、网络与无线通信、多媒体技术、移动和传感等研究方向的研 究员分享最新的研究动态，开阔同学们视野。在科技英语交流课上，研究员和高年级博士生带来科技论文 写作、学术会议报告技巧、学术会议 poster & demo 环节技巧等指导。 国际化的视野、丰富的学术资源 微软亚洲研究院作为世界尤其是亚洲领先的计算机研究机构，每年均 有来自世界各地的多位一流科学家访问、交流。创新人才学院的同学有机会与图灵奖获得者、世界著名大 学教授面对面交流。除此之外，微软亚洲研究院有近 20 个研究小组，多元化的科研环境。 班级管理和课外活动 微软创新人才学院的班主任组织学员日常的学习和生活，使大家有一种集体归属 感。除了丰富多彩的讲座、课程、充实的学习和科研生活之外，郊游、聚餐等丰富的活动让大家的课余时 光更精彩。 在这个班级中，不光有中科大的同学，还会有来自清华、哈工大、北航、中大、西交大等高校的同学 们和大家一起学习和生活。截止到 2021 年底，先后有 271 名优秀本科学生加入本项目，其中有超过 50% 的学生在实习期间投出了自己的第一篇论文，20%的同学发表了自己的第一篇学术论文。 申请资格 • 中国科学技术大学在读三年级本科生 • 热爱科研 • 数学好，编程好和态度好的“三好学生” • 优秀团队合作精神 注：成绩与排名只是会作为参考依据。只要你有潜质，有热情，有志于在计算机研究领域发展，都可以申 请本项目。 申请网址 • 请报名同学 2 月 15 日~4 月 7 日登录网站报名。 https://jinshuju.net/f/FSUJHS（亦可扫码申请） 填表时，只报名参加创新人才学院，没有意向攻读微软亚洲研究院与中国 科学技术大学联合培养博士生的同学，请不要勾选以下选项：“是否有志 于攻读 微软亚洲研究院与贵校开展的联合培养博士生项目？” • 提交的证明材料包括：申请表（见附件。提交时务必删除前面简介文字，只提交申请表），简 历，成绩单和其他有助于申请的材料。请您将所有材料压缩打 包成 zip 格式后上传。(请选择或拖 拽上传文件（最多 5 个）、限制每个 20.0MB 以内。仅支持：rar、zip、7z、gz、arj、z) 申请时间表 • 2 月 15 日，中国科学技术大学-微软亚洲研究院创新人才学院项目（以下简称创新人才学院）报名 开始，提交申请（包括，个人简历、申请表、成绩单、以及其他材料） • 3 月 16 日 15:45-18:45，微软 AI 讲堂与导师分享见面会（根据疫情管控要求选择线下形式或者线 上形式，了解具体日期和时间，请务必扫码进入交流群，随时了解准确信息） • 4 月 7 日，创新人才学院报名截止；实践项目报名截止。 • 4 月 8 日~6 月 24 日，创新人才学院选拔。 • 4 月 8 日~4 月 15 日，实践项目开题（线上）。 • 4 月 16 日~5 月 29 日，实践项目开展。 • 5 月 30 日，提交实践项目结题报告。 • 5 月 31 日~6 月 9 日，结题报告评审，导师评语，证书颁发。 • 6 月 8 日~6 月 10 日（待定），创新人才学院面试（根据疫情管控要求选择线下形式或者线上形 式，了解具体日期和时间，请务必扫码进入交流群，随时了解准确信息） • 6 月 24 日, 公布录取名单。 • 7 月-次年 6 月，所有入选的学生进入微软亚洲研究院学习和实习，并完成毕业论文设计。 项目咨询 • 如有问题也可咨询微软方面的负责人石贝贝老师，电子邮件： besh@microsoft.com • 建议所有有意报名的同学都扫码加入项目交流群（进群请改群名片：姓名学院-年级，人数限时， 如不改名将可能被移除群给更需要的同学。）群里 会及时更新项目信息，也有相关老师和师兄师姐，可供咨询项目相关信 息。 附件 1：2022 年创新学院招生导师介绍 附件 2：微软创新人才学院剪影 附件 3：“中国科学技术大学-微软 教育部创新人才培养试验区”申请表 附件 4：中国科学技术大学微软亚洲研究院 实践项目清单 附件 1：2022 年创新学院招生导师简介（首字母排序） 以下导师每人拟招一名科大在读大三学生，共 11 名，于 2022 年 7 月至 2023 年 6 月进入中科大微软创新人才学院学 习。 • 陈卫 微软亚洲研究院 高级研究员 陈卫是微软亚洲研究院高级研究员，也在清华大学、上海交通大学、中科 院等多所院校和研究机构担任客座教授或研究员。他是中国计算机学会理 论计算机专业委员会的常务委员，也是全国大数据专家委员会的委员。他 因在社交网络和影响力最大化方面的算法研究被选为国际电气和电子工程 师学会的会士。他于 2021 年入选斯坦福大学的全球前 2%顶尖科学家榜 单。 陈卫主要的研究方向包括社交和信息网络，在线学习，网络博弈论和经济 学，分布式计算，容错等。他是社交网络影响力传播和最大化方向的国际 领先学者，在这方面的研究成果被引用逾万次，在信息和影响力传播方 面，他在 2013 年与人合著一本英文专著，在 2020 年独立撰写一本中文专著。他在多个学术期刊担任编 委，也在多个学术会议中担任过技术委员会主席和委员。陈卫于清华大学获得本科和硕士毕业，于美国康 奈尔大学获得博士学位。 • 段楠 微软亚洲研究院 高级研究员和研究经理 段楠博士，微软亚洲研究院自然语言计算组高级研究员/研究经理，天津 大学兼职教授，主要从事自然语言处理、机器推理、以及针对语言/视觉/ 代码的大规模预训练等研究，多次担任 NLP/AI/ML 相关国际会议评测主 席、高级领域主席和领域主席，CCF 杰出会员和杰出讲演者，CCFNLPCC 青年科学家，发表学术论文 100 余篇，持有专利 10 余项，多项 研究成果用于微软各类人工智能产品。 • 郭百宁 中国科学技术大学 信息科学技术学院 自动化博士生导师 郭百宁博士现为微软亚洲研究院常务副院长，负责图形图像领域的研究工 作。郭博士于 1999 年加盟微软中国研究院（微软亚洲研究院前身）。此 前他是美国英特尔公司硅谷总部研究院的资深研究员。郭博士拥有美国康 乃尔大学硕士和博士学位，北京大学学士学位。他还是电气电子工程师学 会院士（IEEE Fellow）和美国计算机协会院士（ACM Fellow）。 郭百宁博士的研究兴趣包括计算机图形学、计算机可视化、自然用户界面 以及统计学习。他在纹理映射建模、实时渲染以及几何模型等领域取得的 研究成果尤为突出。 郭博士曾是电气电子工程师学会视觉及计算机图形学会刊（2006-2010） 以及计算机和图形学会刊（2007-2011）的编委会成员。目前他还担任电 气电子工程师学会计算机图形和应用的副主编。他担任过多届国际图形学 和计算机可视化大会委员会委员，包括国际计算机图形学大会（ACM SIGGRAPH）、电气电子工程师学会举办的国际计算机可视化大会（IEEE Visualization）。郭博士拥有 40 多项技术专利。其工作 Swin Transformer 曾在 2021 年获得 ICCV 最佳论文奖（马尔奖）。 • 高睿 微软亚洲研究院 资深软件研究开发工程师 高睿，男，1979 年 4 月出生，现任微软亚洲研究院创新工程组资深软件研 究开发工程师。2004 年毕业于北京大学信息科学学院，获得理学硕士学 位。2004 年至 2013 年在微软亚洲研究院平台元件中心任副研究员，主要 从事二进制代码优化，嵌入式系统，硬件加速以及体感控制的研究与开发 工作，获得相关美国专利 7 项。2013 年至 2015 年在微软搜索工程院广告 组任软件开发工程师，主要从事微软必应广告系统存储子系统的开发工 作。2015 年至今在微软亚洲研究院创新工程组任资深软件研究开发工程 师，主要从事的项目有微软 Azure 云服务中 IPSec 网关的研发与优化， Azure Media Service 以及微软认知服务中 OCR 相关服务的开发， OCR 引擎的开发和优化，以及 Microsoft Teams 带宽预测相关领域的工作。 • 霍强 中国科学技术大学 信息科学技术学院 电子工程与信息科学博士生导师 微软亚洲研究院语音组首席研究员/全球合伙人和负责人，2007 年 8 月加 入微软，此前在香港大学任教近十年，他培养的许多学生现已成为业界领 袖。在过去的三十多年，霍强博士一直坚持研究，为语音识别、手写识 别、光学字符识别、文档理解、手势识别、基于生物特征的用户识别、语 音和图像处理的硬件设计等领域做出重要贡献，研发的技术已被广泛应用 于 Windows、Office、Dynamics、Power Platform、Microsoft 365、 Azure 认知服务和必应(Bing)搜索等微软产品和服务中。 • 韩石 微软亚洲研究院 首席研究员和研究经理 微软亚洲研究院数据、知识、智能组首席研究员，中国计算机学会系统软 件专委会执行委员。带领研究组方向涵盖深度神经网络和图神经网络、多 维数据挖掘、可解释模型和因果推理，及其在数据分析、文档和代码智能 等领域的应用，注重基础研究的深入性与工业前沿的实践性相结合。论文 涵盖人工智能、自然语言处理、知识计算、数据库、体系架构、软件工程 等多领域顶级会议，前沿技术不断转化到微软 Windows、Office、 Power BI、Azure、Bing 等产品中。多元的团队协作有利于发挥本科人才 的潜能，所培养本科生曾获 CIKM’21 最佳短文奖、WSDM Cup’22 竞 赛第二名。 • 罗翀 中国科学技术大学 信息科学技术学院 电子工程与信息科学博士生导师 上海交通大学信号与信息处理专业博士，现任微软亚洲研究院智能多媒体 组高级研究员，中国科学技术大学兼职教授、博士生导师。主要研究方向 为计算机视觉、智能语音、跨模态视频分析、视频通信等。著有 《Uncoded Multimedia Transmission》(CRC Press)，在包括 CVPR/ECCV/ICCV/NeurIPS/ICLR/AAAI/IJCAI 等顶尖学术会议以及多份 IEEE 期刊上发表论文 60 余篇，拥有十余项国际发明专利。罗翀博士是现 任 IEEE 电路与系统学会多媒体系统与应用技术委员会委员。曾获得 2016 年上海市计算机学会“上海市网络领域最有影响力论文奖”。 • 秦涛 中国科学技术大学 计算机学科学与技术学院博士生导师 清华大学电子工程系博士，现任微软亚洲研究院首席研究员、深度和强化 学习组负责人，中国科学技术大学兼职博士生导师。主要从事深度学习及 其在自然语言语音图像处理药物研发中的应用、强化学习及其在游戏 AI 和实际问题中的应用等方面的研究，在业内顶级期刊/会议发表论文 100 余篇，（曾）担 ICML/IJCAI/AAAI/SIGIR/ AAMAS/ACML 等会议领域主 席/资深程序委员会成员、WWW 2020 研讨会主席、DAI 2019 工业论坛 主席，曾任多个国际学术研讨会联席主席。他带领的团队获得了 2019 年 国际机器翻译大赛 8 项冠军，开发了迄今为止最强麻将人工智能 Suphx， 他的团队研发的技术已被广泛应用于微软认知服务、必应(Bing)搜索以及 微软云服务。https://www.microsoft.com/en- us/research/people/taoqin/ • 熊勇强 微软亚洲研究院 首席研究员和研究经理 熊勇强博士分别于 1996 年、1998 年和 2001 年在清华大学获得计算机 科学学士、硕士和博士学位，现在微软亚洲研究院网络研究组担任首席 研究员和研究经理，他的研究兴趣包括系统和网络以及网络安全，已发 表论文 80 余篇并在系统和网络领域担任国际重点会议和领先期刊的程序 委员会成员或审稿人。熊博士一直在系统和网络领域从事研究工作，最 初他专注于互联网路由协议，之后转向基于端系统的网络研究，包括移 动自组网络和点对点网络。他现在专注于数据中心和机器学习网络系 统，特别是架构设计、优化调度问题、交换机构造，从而以提高网络系 统的弹性、性能和诊断，以及处理分布式拒绝服务攻击等安全问题。他 还对构建硬件网络系统、进行测量和安全相关研究感兴趣。 • 邱锂力 微软亚洲研究院 副院长 邱锂力博士，微软亚洲研究院副院长，主要研究方向是无线网络、无线感知、 大数据分析。她在美国康奈尔大学先后获得计算机硕士及博士学位。20012004 年，她曾任 Microsoft Research Redmond 研究员。2005 年，她加 入美国得克萨斯大学奥斯汀分校任计算机系助理教授，之后晋升为终身正教 授、博士生导师。她是国际计算机学会院士（ACM Fellow)和国际电子电气 工程师学会院士（IEEE Fellow) 。现担任国际计算机学会无线及移动系统专 委 （ACM SIGMOBILE) 主席，曾经担任 ACM MobiCom 2012, IEEE ICNP 2016 TPC 共同主席. 2017 获得 IEEE ICNP 最佳论文奖，2018 获得 ACM MobiSys 2018 最 佳 论 文 奖 。 https://www.microsoft.com/en- us/research/people/liliqiu/ • 周礼栋 中国科学技术大学 信息科学技术学院 网络空间安全博士生导师 周礼栋博士现任微软亚洲研究院院长，作为微软杰出首席科学家主要 从事大规模分布式系统、存储系统、无线通讯和网络，以及系统安全 和可靠性方面的研究，专注于推动可靠、可信及可扩展的分布式系统 的理论研究和实践探索。曾先后就职于微软硅谷研究院、微软雷德蒙 研究院和微软亚洲研究院。周礼栋博士是国际电子电气工程师学会院 士（IEEE Fellow），国际计算机学会院士（ACM Fellow），计算机 学会计算机系统会刊（ACM Transactions on Computer Systems）、计算机学会计算机存储会刊（ACM Transactions on Storage）、电子电气工程师学会计算机会刊（IEEE Transactions on Computers）编委会成员。周礼栋博士曾担任第一届亚太系统研讨会 （APSys）程序委员会联合主席以及操作系统原理大会（SOSP）的联 合主席。周礼栋博士毕业于复旦大学，并获得了计算机科学学士学 位，之后在康奈尔大学深造，先后获得计算机科学硕士及博士学位。 https://www.msra.cn/zh-cn/people/lidong-zhou 附件 2：微软创新人才学院剪影 附：微软创新人才学院剪影 实习派 | 钟宛君：从“七次拒稿”到“微软学者”，在 科研挑战中成长 发表于 2022 年 01 月 13 日 “用一天自学 Python，三天自学 TensorFlow，三天之内复刻 出一篇顶会文章的实验结果。”回想起自己入选微软亚洲研究 院与中山大学联合培养博士生项目的经过，已经博士四年级的 钟宛君仍记忆犹新。 时光荏苒，当年初尝科研滋味的女孩，在今年秋天实现了一个 重要的科研里程碑：被评为 2021 年“微软学者”。她更作为 亚洲地区“微软学者”代表，在微软全球的获奖者宣布视频中 阐述自己的科研设想。 第一篇发表论文就斩获马尔奖！微软亚洲研究院实习生 的科研经验分享 发表于 2021 年 11 月 19 日 在计算机视觉领域顶级会议 ICCV 2021 中，来自微软亚洲研究 院的论文 “Swin Transformer: Hierarchical Vision Transformer using Shifted Windows” 荣获最佳论文奖。在 这项研究工作中，来自微软亚洲研究院的三位实习生——联合 培养博士生刘泽、林宇桐、韦毅轩做出了重要贡献。以此为契 机，三位同学在研究院内为实习生们进行了专场分享。 实习派 | CodeXGLUE：跨国、跨部门、跨团队，合作创 新中迅速成长 发表于 2021 年 06 月 03 日 在庞大数据中构建基础体系如同沙里淘金，在这项重要工作的 完成中，自然语言计算组的实习生卢帅、郭达雅、任烁和黄俊 杰是四位重要的淘金者。对于他们个人而言，参与这场跨国、 跨部门、跨团队的科研项目合作，也为他们带来了属于自己科 研之路上的重大突破。让我们一起来看看，他们是如何在这场 “淘金之旅”中锤炼自身并迅速成长的吧！ 实习派 | 助力 Microsoft Teams 不断升级，聚焦真实问 题做有影响力的前沿研究 发表于 2021 年 04 月 02 日 新冠疫情的爆发使线上办公、在线课堂成为常态，许多问题也 随之而来。作为一款集成了会议、协作、聊天与通话的重磅产 品，微软 Microsoft Teams 不断升级迭代，以便更好地支持人 们远程协作的需求。其中，广受用户好评的全新噪声抑制功 能、高效的视频流码率分配优化功能和独具特色的 Together Mode（同聚一堂模式）功能均源于微软亚洲研究院多媒体计 算组与 Teams 产品组的深度合作。 读博秘籍｜寻找课题？突破瓶颈？师生关系？MSRA 联 培星友为你指点迷津 发表于 2021 年 02 月 26 日 攻读博士是一段孤独又充满挑战的旅程，若有师兄师姐指点迷 津，一定能带你走出迷茫，勇敢选择。2 月 8 日，五位毕业于 微软亚洲研究院联合培养博士生项目的师兄师姐院友，在线上 为师弟师妹们带来了自己在读博期间和日后工作中的切身感 悟，以期答疑解惑并鼓励大家坚定梦想。 希望这些师兄师姐的分享能鼓励与启发读博路上的每一个你， 带你愉快地享受这一段美好又充满挑战的时光。 实习派 | 曾兆阳： “宝藏男孩”的进阶之路 发表于 2019 年 11 月 07 日 大二与微软学生俱乐部结缘，大四成为中山大学-MSRA 联培博 士，以第一作者身份在国际顶会发表论文，更组队在大型竞赛 累计斩获至少 5 个冠军，收获单场 30 万元奖金，这就是我们 的“宝藏男孩”曾兆阳。 实习派 | 安鸣霄：大四少年在 MSRA 的成长与蜕变 发表于 2019 年 08 月 22 日 在自然语言处理顶级会议 ACL19 以第一作者身份发表论文，在 IJCAI/ACL/KDD 等顶级会议上发表四篇合作论文，合作的微软 总部同事希望他毕业后直接加入他们的团队——这些成绩，都 属于一位本科生。 实习派 | 李潇：中科大联培博士日记，少年潇帝的 MSRA 奇幻漂流 发表于 2019 年 5 月 9 日 联合培养博士生是 MSRA 的一支生力军。他们聪明、有灵性， 为这里的前沿研究不断贡献灵感；他们也沉稳、有耐性，将数 年的青春投入学术，不是出于惯性，而是因为热爱。李潇，是 联培博士中特别的一位——如果你曾在 MSRA 实习，一定听过 “潇帝”这个名字。除去人气超高的桌游社社长身份，他也手握 SIGGRAPH、CVPR 等多篇顶会论文。对李潇而言，在 MSRA 的六年，不仅是心无旁骛从事学术研究的时光，更是和导师、 实习生小伙伴们一起成长的青春。 创新人才学院《高级软件工程》结课记：突围“象牙 塔”的未来科学家 发表于 2019 年 02 月 22 日 这是微软亚洲研究院为创新人才学院定制的一门课，自 2010 年开课起，课程一直根据反馈进行着改进优化。有别于传统的 软件教育，创新人才学院倡导创新、鼓励实践，从全方位“模 拟实战”。对这些从合作高校招收的优秀大四学生来说，这无 异于一场“走出象牙塔”之旅。 以梦为马，结伴前行—— 记第七期微软创新人才学院 《高级软件工程》结课 发表于 2017 年 02 月 17 日 微软创新人才学院是隶属于教育部创新人才培养实验区的教学 改革项目，自 2010 年起，该学院每年从合作高校招收优秀的 大四学生接受为期一年的科研培训，旨在帮助他们发掘科研潜 力，激发创新能量。除了在研究员的指导下参与科研和工程项 目，微软亚洲研究院为他们量身定制了课程。 热点 | 深度视觉盛宴——CVPR 2016 发表于 2016 年 7 月 20 日 张婷，本科毕业于中国科大少年班学院学习计算数学专业，曾 参与微软亚洲研究院创新人才学院（Pre-PHD）培养项目，目 前是中国科学技术大学和微软亚洲研究院联合培养博士生，在 微软亚洲研究院实习。曾在 ICML 2014/CVPR 2015/CVPR 2016 发表论文，主要研究方向为近似最近邻搜索。 520，秀恩爱算什么，秀成长才是王道！ ——微软创新 人才学院第六期结业 发表于 2016 年 05 月 20 日 长亭外，古道边，芳草碧连天。又到一年毕业季。5 月 20 日， 微软创新人才学院的学生们也迎来了他们的毕业盛典。秀恩爱 算什么？秀成长才是王道！在这个特别的日子里，微软学生俱 乐部连线微软创新人才学院毕业典礼现场，与你一同回顾这批 才华横溢的毕业生们的成长点滴！ 微软创新人才学院|洪小文谈科研：自信与谦虚并行 发表于 2015 年 09 月 10 日 9 月，又是一个新学年的开始，无数的学子再次回到校园继续 自己的学习生活。新的学年往往意味着新的改变，如何调整方 向，让自己的学习、科研之路走得更远，是许多同学正在思考 的问题。对于那些大四、研二的同学来说，工作还是继续深造 的选择则正摆在他们的面前。到底什么才是更适合自己的选 择，通往更高深领域的科研之路又有着怎样的风景，这些问题 困惑着许许多多年轻的学子们。微软亚洲研究院创新人才学院 （pre-PHD 项目）的同学们，也同样在思考着这些问题。 附件 3：“中国科学技术大学-微软 教育部创新人才培养试验区”申请表 学校名称：中国科学技术大学 姓名 照片 填表时间：2022 年 X 月 X 日 性别 民族 院系 专业 学号 英才班（必填） 出生日期 年/月/日 入学时间 X年X月 （非英才班则填写“无”） 电子邮件 备注：请提供 长期有效的联 手机号码 联系方式 系方式 家庭住址 相关联系人 家长姓名 家长手机号 紧急联系人 紧急联系人手机号 起止时间 学校名称 学 XX 年 X 月- XX 年 X 月 XX 大学 习 XX 年 X 月- XX 年 X 月 XX 中学 经 XX 年 X 月- XX 年 X 月 XX 中学 历 发 表 论 文 及 证明老师 获 奖 经 历 实 践 经 历 未 来 计 划 书 附加材料： 1. 大学期间的学习成绩表和年级排名（成绩及排名仅供参考） GPA： 排名： 2. 请提交成绩单（大一至大三上学期） 附件 4：中国科学技术大学微软亚洲研究院 实践项目清单 NO. Area 1 OCR 2 3 4 计算机视觉 自然语言处 机器学习 5 6 7 8 机器学习 移动系统 系统 计算机视觉 秦涛 邱锂力 周礼栋 郭百宁 理 Advisor 霍强 Topic 基于动态神 基于深度模 自然语言推 医学文献中 逆合成路径设计 Mobile 经网络的 罗翀 段楠 型的视频缩 理问答 秦涛 的知识发现 Vector search 智能视频创 systems 作 Yifan Yang 陈琪 曹越 OCR模型推 略动图生成 断加速研究 Assistant助教1 陈凯 汤传新 齐炜祯(科 夏应策 夏应策 罗人千 谢曙方 大联合培养 博士生) Assistant助教2 丁海松 赵宇澄 范毅敏(科 刘泽 大联合培养 博士生) Duration 4月8日~5月26日 4月8日~5 Opening开 4月8日 4月8日~5 4月8日~5 月26日 月26日 月26日 4月8日 4月8日 4月8日 题日期 Descriptio 基于深度学 缩略图是人 预训练语言 医疗健康是 给定一个目 视频预测有 随着深度学 随着科技的 n 习的文本行 们在预览文 模型的出现 一直被广泛 标药物分 广泛的应 习在各个领 进步、4G 图像识别模 件时的一项 极大提升了 关注的课题 子，如何利 用，如防止 域的突破， 的兴起，短 型以其在多 非常实用的 很多传统自 。在过去几 用廉价的材 网络拥塞而 各种内容都 视频逐渐成 种应用场景 功能，然而 然语言处理 十年，人们 料、以及高 引起视频 下的出色效 单张静态图 任务的性 能够更有效 为人们在互 积累的大量 效的化学反 QoE下降。 地被表达为 联网上交流 果成为业界 片往往无法 能，但其在 的文献。如 应，获得我 现有的视频 高维向量。 的重要媒介 主流解决方 为视频提供 涉及显式推 何从文献中 们需要的目 预测达到了 例如多媒体 。智能视频 案。在工业 较为全面的 理的任务上 抽取出结构 标分子，是 挺高的准确 内容，自然 创作会逐渐 界部署过程 信息。目前 依然还不能 化的知识是 非常重要的 性，但都无 语言语料等 成为其中一 中，我们需 在一些主流 取得令人满 当前十分重 问题。这一 法在移动端 。向量搜索 个非常有趣 要处理不同 的视频网 意的效果。 要的研究课 问题在机器 运行。本项 在基于深度 并且重要的 分辨率、光 站，出现了 本项目旨在 题。本项目 学习领域得 目目标是实 学习技术的 应用。本项 照、前背景 针对视频文 通过构建一 的目标是从 到了广泛关 现高效精准 信息检索中 目的目标是 分布、几何 件的缩略动 个基础的问 PubMED数 注。本项目 的视频预测 发挥着越来 实现一个基 变换与形变 图，而精彩 答系统，使 据库中，尽 的目标是搭 系统。 越重要的作 于文本的视 的文本行图 的缩略动图 同学们能够 可能准确地 建逆合成系 用。本项目 频生成算法 像，单一静 往往能增加 深入了解现 抽取出药物 统。鼓励跨 旨在通过学 及其演示 态模型显然 相应视频的 有模型在自 、蛋白、基 学科合作讨 习高效向量 demo，其 不是识别准 点击率。本 然语言理解 因、疾病等 论。 搜索的系统 中应用到前 确率与识别 项目旨在利 和推理上的 实体之间的 设计原理， 沿的深度学 时延的最佳 用深度模型 典型问题和 关联。 实践探索如 习技术，希 折衷，例如 的强大的表 不足，并对 何有效平衡 望在理解了 对于背景单 达能力，为 针对自然语 系统资源需 前沿的深度 HW and 一，文字清 视频生成具 言的机器推 硬件要求： 硬件要求： 硬件要求： 求、搜索质 学习技术的 有较好GPU HW 硬件要求： SW 须有一台单 须有一台单 须有一台单 的手机 Requireme 须有一台单 Requireme 卡GPU 卡GPU 卡GPU （如pixel nt: 卡GPU nt Linux Linux 6） 须有一台 Linux server两周 server两周 server两周 32GB内存 server两周 以上时间， 以上时间， 以上时间， 或以上的 以上时间， 对模型进行 对模型进行 对模型进行 server两周 对模型进行 分析，设计 分析，设计 分析，设计 时间 Linux 分析和应用 和训练 和训练 和训练 1）良好的 1）良好的 1）良好的 1）良好的 1）良好的 1）良好的 Requireme Python编 Python编 Python编 Python编 Python编 英文文献阅 科技论文阅 Python编 Basic Skill nt 1. 具备英文 1）良好的 程能力 2） 程能力 2） 程能力 2） 程能力 2） 程能力 2） 读能力 2） 读理解能力 程能力 2） 良好的英文 良好的英文 良好的英文 良好的英文 良好的英文 基础的机器 2. 具备一定 良好的英文 文献阅读能 文献阅读能 文献阅读能 文献阅读能 文献阅读能 学习知识 的代码编程 文献阅读能 力 3）基础 力 3）基础 力 3）基础 力 3）基础 力 3）基础 3）做研究 能力和系统 力 3）基础 的机器学习 的机器学习 的机器学习 的机器学习 的机器学习 的热情 配置能力 知识 知识 知识 的机器学习 知识 4）做 知识 4）做 知识 4）做 研究的热情 研究的热情 研究的热情 Target 本项目分为 通过提交一 项目结题要 1）开发一 Result 四个阶段： 个结题报告 求： 个知识抽取 个知识抽取 2）提交一 1) 文献调 的工具（或 的工具（或 篇英文报告 流向量搜索 本到图像/ 完成并呈现 （1）结题 研，学习当 以下三部 报告一份。 网站 1）开发一 1）演示 1） 文献调 1）基础要 研，学习主 求：实现文 网站 （包含背景 系统的基本 视频的检索 前主流OCR 分：1） 调 需涵盖的具 demo） demo） 和相关工作 原理； 2） 算法，其中 识别模型 研近期基于 体内容包 2）提交一 的介绍及新 通过提交一 应用到基础 （CRNN- 深度模型的 括：一，推 篇英文报告 篇英文报告 的方法描述 个结题报告 的深度学习 CTC， 视频缩略动 理式问答的 3）在公开 2）提交一 3）在公开 和实验结 汇报一个公 方法与架构 Seq2Seq） 图生成方 相关工作调 数据集上进 数据集上进 果） 开向量数据 。2）进阶 基本原理， 法；2）完 研；二，基 行算法测试 行算法测试 集的性能与 要求：实现 了解动态神 成一个基准 于DROP数 资源需求调 文本到视频 经网络设计 方案，即使 据集 优结果 的生成算法 的各种考量 用（单模态 （https://a 及其网站 和技术路 /多模态数 llenai.org/ demo，其 线；2）基 据）预训练 data/drop 中的关键算 于公开代码 的深度神经 ）构建推理 法主要基于 和模型，对 网络进行视 式问答系统 基础要求中 不同模型进 频帧的特征 的实现细节 的图文检索 行错误模式 提取，并使 （例如在 算法进行实 分析和时延 用合理的聚 DROP训练 现。3）进 评估，理解 类算法进行 集上 行现场演 各模块功能 聚类；3) finetune已 示，并详述 和各类模型 分析该基准 有预训练语 在过程中的 优缺点； 方案对各种 言模型）； 收获与思考 Value for 3）参考现 通过本项 类型视频的 三，在 通过本项 通过本项 Students 目，学生可 目，可以理 目，了解现 通过本项 获得宝贵的 通过本项 通过本项 。 通过本项 实践经验， 目，可以了 目，可以了 以对各类深 解并掌握计 有自然语言 目，了解现 目，了解现 加深对深度 解高效向量 解前沿的深 度学习模型 算机视觉深 处理系统的 有深度学习 有深度学习 学习和移动 搜索系统的 度学习基础 和动态网络 度神经网络 典型架构， 的典型网络 的典型网络 系统的了解 设计原理， 架构，对其 有一个初步 的基础知 并深入分析 架构，熟悉 架构，熟悉 。研究成果 并通过实践 应用场景有 了解，初步 识，学习使 自然语言理 并使用主流 并使用主流 可以发表在 了解系统资 一定的理 掌握神经网 用常见的预 解和推理的 的深度学习 的深度学习 会议和期刊 源和性能之 解，并且展 络的分析与 训练模型， 难点和问 平台 平台 训练方法， 并通过实践 题，同时对 （PyTorch) （PyTorch) 并学习以 上。 间的相互影 现出个人的 响 综合素质和 了解单模态 未来的研究 ，走完一个 ，走完一个 独立思考的 OCR为代表 与多模态训 方向进行一 研究项目的 研究项目的 能力。在完 的序列识别 练数据对视 定的思考和 完整流程， 完整流程， 成项目的过 研究的前沿 觉表征的影 初步的尝试 包括文献调 包括文献调 程中可以提 进展。 响。同时， 。 研、选题细 研、选题细 前体验未来 也将学习到 化、设计模 化、设计模 可能的科研 如何在一个 型、实现算 型、实现算 过程，为未 实际的项目 法、数据清 法、数据清 来的选择提 中面对和处 理、实验改 理、实验改 供帮助。 理问题的模 进、撰写论 进、撰写论 糊/不确定 文/报告。 性。 文/报告。