微软和英伟达发布新工具以帮助开发人员运行和配置AI模型

微软和英伟达在最近的活动中宣布了一些新的工具，旨在帮助开发人员在Windows PC上运行和配置AI模型。

Windows AI Studio

微软推出了Windows AI Studio，这是一个新的中心，开发人员可以在其中访问AI模型并根据自己的需求进行调整。通过Windows AI Studio，开发人员可以从现有的Azure AI Studio和其他服务中访问开发工具和模型。它还提供了一个端到端的“引导式工作区设置”，具有模型配置UI和步骤说明，以微调各种小型语言模型（SLM），例如Phi、Llama 2和Mistral。

TensorRT-LLM更新

英伟达发布了TensorRT-LLM的更新，旨在提供更高效地运行大型语言模型（LLM）的能力。这次的更新将TensorRT-LLM带到了搭载8GB或更多内存的GeForce RTX 30和40系列GPU的PC上。

TensorRT-LLM与OpenAI的Chat API兼容

英伟达还计划通过一个新的封装使其TensorRT-LLM与OpenAI的Chat API兼容。这将允许开发人员在他们的PC上本地运行LLM，这对于那些担心在云中存储私人数据的人来说是理想的。英伟达表示，下一个TensorRT-LLM 6.0版本将提供高达五倍更快的推断速度，并支持新的Mistral 7B和Nemotron-3 8B模型。