网站主题类型,品牌营销推广策划公司,网站维护工程师薪酬,游戏设计vLLM 是一个 Python 库,支持以下 GPU 变体。选择您的 GPU 类型以查看供应商特定的说明: 1. NVIDIA CUDA vLLM 包含预编译的 C++ 和 CUDA(12.1)二进制文件。 2. AMD ROCm vLLM 支持配备 ROCm 6.3 的 AMD GPU。 注意 此设备没有预构建的 wheel 包,因此您必须使用预构建的 Do…vLLM 是一个 Python 库,支持以下 GPU 变体。选择您的 GPU 类型以查看供应商特定的说明: 1. NVIDIA CUDA vLLM 包含预编译的 C++ 和 CUDA(12.1)二进制文件。 2. AMD ROCm vLLM 支持配备 ROCm 6.3 的 AMD GPU。 注意 此设备没有预构建的 wheel 包,因此您必须使用预构建的 Docker 镜像或从源代码构建 vLLM。 3. Intel XPU vLLM 初步支持在 Intel GPU 平台上进行基本模型推理和服务。 注意 此设备没有预构建的 wheel 包或镜像,因此您必须从源代码构建 vLLM。
一、要求
操作系统:LinuxPython:3.9 – 3.12 1. NVIDIA CUDAGPU:计算能力 7.0 或更高(例如 V100、T4、RTX20xx、A100、L4、H100 等) 2. AMD ROCmGPU:MI200s (gfx90a)、MI300 (gfx942)、Radeon RX