美林数据创新专利：多语言Pipeline轻量模型构建，融合Python、Scala、Java

金融界2024年4月12日消息，据国家知识产权局公告，美林数据技术股份有限公司申请一项名为“一种多语言Pipeline轻量模型构建方法“，公开号CN117873461A，申请日期为2023年12月。

专利摘要显示，本申请属于机器学习技术领域，尤其涉及一种多语言Pipeline轻量模型构建方法，步骤一、Python通用算法模型的开发：设计python和scala,java语言之间离线批量数据传输结构；基于Spark、Mleap框架开发python算子，实现spark Dataframe在scala和python语言之间数据传输；步骤二、ML Pipeline模型训练流程搭建：基于业务场景，选择算子搭建机器学习流水线模型，调用模型的序列化方法，生成最终的MLeap Bundle模型。步骤三、基于MLeap Runtime的实时预测服务搭建：搭建mleap runtime运行池环境，将Spark MLlib模型序列化成MLeap格式，部署一个预测服务，加载序列化的模型并处理实际的预测请求。该方法使用Python和Scala，Java三种不同的语言以及相关的机器学习库和框架混合建模，提出了端到端的多语言机器学习pipeline，从而充分发挥它们各自的优势。

本文源自金融界