腾讯分布式系统节点调度方法专利揭秘:提升稳定性的关键

发表时间: 2024-06-07 10:32

金融界2024年6月7日消息,天眼查知识产权信息显示,腾讯科技(深圳)有限公司申请一项名为“应用于分布式系统的节点调度方法及相关装置“,公开号CN202410576782.7,申请日期为2024年5月。

专利摘要显示,本申请的实施例揭示了应用于分布式系统的节点调度方法及相关装置。分布式系统所包含的节点上部署有推理模型,同一个推理模型部署在至少两个节点上,分布式系统用于响应客户端的模型推理请求。该方法包括:响应于模型注册请求,保存待注册模型的模型信息;通过预设服务获取分布式系统中的可用节点,基于可用节点的配置信息对可用节点进行评分;根据待注册模型的期望部署节点数量以及可用节点的分数,选取相应数量的可用节点作为用于部署待注册模型的目标节点;向分布式系统广播目标节点与待注册模型的关联信息,使得目标节点根据关联信息加载待注册模型的模型信息以完成模型注册。本申请能够提升分布式系统的稳定性。

本文源自金融界