强大数据库支撑下的高交互感平台打造详解

发表时间: 2024-11-13 19:14

“请解释‘天人合一’的含义。”提问中华思想文化术语库AI小语(以下简称AI小语),很快就能得到这样的回答:“‘天人合一’是一种认为天地人相通的世界观和思维方式……”

AI小语是一款由外语教学与研究出版社及其子公司北京外研在线数字科技有限公司联合开发的智能化学习工具,旨在促进中华思想文化术语的传承与传播。“AI小语以‘中华思想文化术语传播工程’的重要成果为基础,利用人工智能大模型技术,提供互动式、个性化的术语学习体验。”北京外研在线数字科技有限公司首席执行官商其坤在接受《中国新闻出版广电报》记者采访时说道。

国家级工程研究成果提供数据底座

“安土重迁”“哀乐中节”……悠久的中华文明,形成了不计其数的中华思想文化术语,这些术语是由以词或短语形式固化的概念和核心词,术语中凝聚、浓缩了中华哲学思想、人文精神、思维方式、价值观念,是宝贵的文化财富。

为做好中华思想文化术语的整理和传播工作,2014年,经国务院批准,启动“中华思想文化术语传播工程”(以下简称“术语工程”),这一工程的秘书处就设在外研社。截至目前,“术语工程”已梳理出1200余条思想文化术语,出版《中华思想文化术语》等170多种相关图书,海外输出40个语种,形成“图书+数据库”的立体化产品体系。

记者查询中华思想文化术语数据库发现,其涵盖丰富的中华思想文化术语,包括中华思想文化术语库、中医文化关键词库、典籍译本库、典籍译名库、博雅双语库等,并特别关注了习近平总书记系列讲话中引用的术语,体现了术语的当代应用。正是这一强大的数据库,为AI小语提供了数据底座。

定制“向量嵌入模型”更好发挥AI作用

中华思想文化术语博大精深,学习者往往面临术语理解难度大、学习效率低下、缺乏智能化学习工具等问题。“针对这些问题,我们设计了基于检索增强生成技术,能自动回答用户提问的AI小语。”商其坤说道。

商其坤介绍,AI小语通过构建术语知识图谱、优化向量模型、扩充索引数量、使用基于大模型的检索增强生成技术,实现了术语的自动解释和对话式学习。同时,AI小语还支持语音输入,为学习者提供了更加便捷的学习方式。

将文字转成向量的模型,称为“向量模型”。构建向量模型后,可以把知识点进行向量化,存储到向量数据库中,用于未来的向量搜索。商其坤说,为中华思想文化术语库搭建AI平台有一些特有的难点,如存在大量的古文,而当前的大模型通常对于古文的检索能力明显不如白话文;存在不同的语种,比如中文、英文、法文、西班牙文等,用不同语种描述同一个意思时,对应的向量是不一样的。商其坤说:“为了攻克这些难点,我们创造性地通过扩充索引数量优化召回率。”

为了提高向量搜索的召回率,AI小语还针对中华思想文化术语库定制了“向量嵌入模型”,收集了相关文档、问答等,经过预处理后,对模型进行微调。通过在相关领域数据上继续训练模型,使其更好地适应该领域的语义和用法,商其坤介绍:“我们采用600多个标准用户问题进行召回测试,发现召回率可以提升20%以上。”

提质增效赋能文化传播

AI小语可以帮助用户提高对中华思想文化术语的理解和记忆效率,可以自动化生成术语的解释和相关学习内容,有效降低了教学内容研发和更新成本。同时,在中华思想文化的海外传播方面也可以发挥作用。商其坤说,通过数字化平台,借助大模型本身的多语言能力,AI小语能够触及全球更多用户,扩大了中华思想文化术语的传播范围,赋能了中华优秀传统文化对外传播。

商其坤还介绍道,用户在使用AI小语时,不必指定自己要了解的领域,AI小语会自动根据用户关心的内容进行跨库分析,输出答案。对于复杂的术语或概念,如“天人合一”,AI小语能够结合多个术语库的内容,提供全面、深入的解读。

对于AI小语入选新闻出版业人工智能大模型创新应用优秀案例,商其坤说:“新闻出版产品是文化传播的重要途径,而人工智能大模型在新闻出版产业的创新应用,为产业的升级和发展提供了新的动力。”

在商其坤看来,AI技术在新闻出版业的应用推广价值体现在多个方面。一是优化用户体验。AI对话助手通过互动式学习和个性化教学,大幅提高了用户对术语的理解和记忆效率,从而提升用户的学习体验和满意度。二是扩大传播范围。AI助手拥有较强的多语言能力,有利于触达更多海外用户,助力中国文化出海,提升我国新闻出版产业的国际影响力,增强国家的文化软实力。三是提升内容生产效率。通过人工智能大模型技术,自动化生成高质量内容,提高内容生产效率,优化出版流程,助力从“纸质出版”“数字出版”走向“智慧出版”。四是推动产业多元化发展。AI助手的形态可便捷地接入电子书、在线课程等其他场景,推动出版形态的多元化,为出版产业提供新的发展机遇。

在商其坤看来,AI小语丰富了出版产品形态,提升了内容生产的效率和市场竞争力,有利于扩大中华优秀传统文化传播的范围和影响力,具有较高的推广价值。(李婧璇)

来源: 中国新闻出版广电报