齐鲁工大（省科学院）计算学部主办中国中文信息学会前沿技术研讨会

9月23日，应齐鲁工业大学（山东省科学院）计算学部、山东大学计算机学院的邀请，中国中文信息学会在国家超级计算济南中心举办前沿技术讲习班。参加讲习班的专家包括智谱华章张鹏和于魁飞博士、清华大学韩旭博士、上海人工智能实验室颜航博士、国家超级计算济南中心王继彬研究员、香港中文大学（深圳）王本友教授、山东大学高莘教授。与会专家以“大模型的构建和训练方法与行业应用”为主题，系统讲述大模型基础知识、构建方法、核心挑战和应用前景。来自齐鲁工业大学（山东省科学院）、山西大学、山东省内兄弟院校及企事业单位的百余名师生共同参加了此次讲习班活动。讲习班由中国科学院自动化研究所张家俊研究员、校（院）计算学部吴晓明主任、山东大学计算机学院陈竹敏院长担任共同主席。

中国科学院自动化研究所张家俊研究员和校（院）计算学部副主任、国家超级计算济南中心副主任潘景山研究员，山东大学计算机学院陈竹敏教授先后致开幕辞。张家俊研究员、陈竹敏教授对与会师生表示热烈的欢迎，预祝大模型前沿技术讲习班圆满成功；潘景山研究员对与会专家来访表示欢迎和感谢，并对齐鲁工业大学（山东省科学院）、计算学部及国家超级计算济南中心的整体发展状况进行介绍。

在报告环节，各位与会专家结合自己的研究工作，针对大模型的训练及行业应用，展开了精彩的报告。张鹏介绍了智谱的最新研发成果，深入讲解了ChatGLM的典型应用，分析了ChatGLM2系列模型；于魁飞讲解了千亿基座的中英文对话模型ChatGLM的应用示例和微调方法，介绍了基于ChatGLM的三层架构的智谱大模型业务平台；韩旭深入介绍了大模型的训练方法以及其在人工智能领域的实际应用，讲解了OpenBMB大模型全流程高效计算框架，介绍了中文基础语言模型CPM-Live和CPM-Bee、千亿级多模态对话模型CPM-LUCA、多机协同训练的通信基础知识，分析了大模型的七个重要特性；王继彬介绍了超算中心的概况，讲解了超算中心的资源与配套方案、超算科技园的建设情况，阐述了济南超算的科学研究的总体规划及多元化的人才培养策略；颜航讨论了自然语言基座模型的训练方法，包括数据预处理方法、位置编码和自注意力机制，讲解了在预训练基座模型时会遇到的多种意外情况及解决方法，介绍了OpenLMLab的工具支持、CoLLiE项目中的优化方法以及ChatZoo工具的使用方法；王本友以医疗领域的华佗GPT为依托，阐述了医疗垂直领域大模型的一系列关键技术，讲解了华佗GPT的训练方案，包括预训练、微调、RLHF等细节，并介绍了其评测方法和策略，展示了华佗GPT的具体应用场景；高莘分别从大模型共性技术、领域大模型构建、领域大模型应用三个角度展开报告，详细介绍了通用大模型的共性训练方法，以中文司司法大模型“夫子•明察”为例，讲解了领域大模型的构建过程和特色领域应用，并展示了示例效果。

在交流讨论环节，与会师生和各位专家进行了热烈的讨论。通过与专家们的互动，大家更加深入地了解了通用大模型基座模型的训练细节和特定领域大模型的训练技巧；对于在大模型时代如何应用大模型更好地开展前沿科研工作，有了更深的思考，拓宽了自己的学术视野。

本次前沿技术讲习班旨在增强大家对大模型基础知识、构建方法、核心挑战和应用前景的了解，树立信心，鼓舞科研热情。