微软推出全新开源LLM开发工具集:PromptFlow

发表时间: 2023-11-10 14:41

微软最近发布了一套基于大型语言模型(LLM)的全新AI应用开发工具集 —— Prompt Flow

Prompt Flow 是一套在简化基于 LLM 的人工智能应用的端到端开发周期的开发工具。它涵盖了从创意、原型制作、测试、评估、部署到监控的全过程。它使得提示(prompt)工程变得更加容易,并使开发者能够构建高质量的 LLM 应用。

记录自己体验并探索 Prompt Flow 的基本用法。流程可以通过命令行界面(CLI)管理,或使用 Visual Studio Code 扩展程序。

请注意,建议使用 Python 3.9 与 Prompt Flow 搭配使用。

点赞关注,解锁更多干货。

准备环境

按照以下命令安装所需的 Python 包。这也会创建一个 CLI pf

$ pip install promptflow promptflow-tools

创建我们的第一个流程

成功安装后,我们现在应该能够使用 pf 了。

$ pf flow init --flow ./gpt_chatbot --type chat

创建 API 连接

在运行或测试创建的流程之前,我们需要创建一个 API 连接。Prompt Flow 将对各种 LLM 服务提供商的 API 访问抽象为 API 连接

当我们使用 OpenAI API 时,可以通过以下命令创建其 API 连接:

$ pf connection create \  --file ./gpt_chatbot/openai.yaml \  --set api_key=<OpenAI API key> \  --name open_ai_connection

如果我们需要使用 Azure OpenAI,命令应该进行调整:

$ pf connection create \  --file ./gpt_chatbot/azure_openai.yaml \  --set api_key=<API Key> api_base=<Azure API base> \  --name open_ai_connection

现在是时候运行 gpt_chatbot 流程并开始与 LLM 互动了。使用以下命令以交互模式启动聊天。

$ pf flow test --flow ./gpt_chatbot --interactive

应该能够看到类似于下面的输出:

=========================================Welcome to chat flow, Template Chat Flow.Press Enter to send your message.You can quit with ctrl+C.=========================================User:

在 Visual Studio Code 中,开发者可以使用 Prompt Flow for VS Code 扩展以可视化方式管理流程。

添加图片注释,不超过 140 字(可选)

安装后,点击扩展图标后,你应该能够看到类似的面板。

添加图片注释,不超过 140 字(可选)


如果当前 VS Code 的 Python 环境没有安装 promptflowpromptflow-tools,你可能会看到上图所示的画面,并提示安装依赖。

一旦点击 Install dependencies,然后点击 Select Python Interpreter 按钮选择要使用的 Python 解释器,将能够按照 install instructions 完成依赖安装。

现在,我们将点击 Create new flow 来构建一个新流程。

添加图片注释,不超过 140 字(可选)

选择 Chat flow with a template 来创建同名流程 gpt_chatbot。如果一切正常,应该能够通过点击 FLOWS 面板中的刷新图标看到它。

添加图片注释,不超过 140 字(可选)

点击gpt_chatbot 打开可视化编辑器面板。在聊天部分,让我们选择刚刚在 CLI 场景中创建的连接 open_ai_connection。完成其他模型设置后,我们可以点击面板顶部的三角按钮运行流程。

现在,我们就进入与选择交互模式时类似的互动体验。

我是superpenglife,一个拥有十年经验的Python、机器学习、深度学习、数据分析和大模型工程师。我的目标是为你提供关于各种清晰且实用的指南。

你的关注、点赞是对我最大的支持。