网站开发工程师简介,郑州网站建设贴吧,电子商务网站建设的意义是什么意思,百度站长工具验证一、bge-reranker-v2-m3 模型
bge-reranker-v2-m3 是一个基于深度学习的文本排序模型#xff0c;由北京智源人工智能研究院#xff08;BAAI#xff09;开发。该模型主要用于信息检索和自然语言处理任务#xff0c;特别是在需要重新排序候选文本的场景中表现优异。
bge-re…一、bge-reranker-v2-m3 模型
bge-reranker-v2-m3 是一个基于深度学习的文本排序模型由北京智源人工智能研究院BAAI开发。该模型主要用于信息检索和自然语言处理任务特别是在需要重新排序候选文本的场景中表现优异。
bge-reranker-v2-m3 主要用于对检索结果进行重新排序能够根据查询与候选文本的相关性进行更精准的排序。它适用于问答系统、文档检索、推荐系统等场景。该模型采用了先进的预训练语言模型架构结合了大规模语料库的微调。v2-m3 版本在性能和效率上进行了优化支持多语言处理能力能够更好地处理跨语言检索任务。
bge-reranker-v2-m3 在多个公开基准测试中表现出色特别是在中文文本排序任务中展现了较强的性能。模型对长文本和复杂查询具有较好的适应性能够捕捉更细粒度的语义相关性。
二、Docker 与 vLLM 的作用
Docker 提供容器化环境解决依赖冲突和部署一致性问题适合快速部署复杂模型。 vLLM 是高效推理框架针对大语言模型优化支持高吞吐量推理和显存管理能加速 bge-reranker-v2-m3 这类大规模模型的本地运行。
三、本地运行的核心优势
隐私保护数据无需上传云端适合敏感场景。定制化可调整模型参数或微调以适应特定任务。成本可控长期使用比云服务成本更低。
此方案适合开发者、研究人员快速验证 bge-reranker-v2-m3 能力或集成到本地 NLP pipeline 中。
四、Docker 安装与配置
下载并执行 Docker 官方安装脚本
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh# 启动Docker服务
sudo systemctl start docker
sudo systemctl enable docker配置国内 Docker 镜像源与 GPU
vim /etc/docker/daemon.json{dns: [8.8.8.8,8.8.4.4],registry-mirrors: [https://docker.m.daocloud.io/,https://huecker.io/,https://dockerhub.timeweb.cloud,https://noohub.ru/,https://dockerproxy.com,https://docker.mirrors.ustc.edu.cn,https://docker.nju.edu.cn,https://registry.docker-cn.com,http://hub-mirror.c.163.com],runtimes: {nvidia: {args: [],path: nvidia-container-runtime}}
}五、使用 vLLM 官方 Docker 镜像
vLLM 提供了用于部署的官方 Docker 镜像该镜像可用于运行与 OpenAI 兼容的服务器官方示例脚本如下
docker run --runtime nvidia --gpus all \-v ~/.cache/huggingface:/root/.cache/huggingface \--env HUGGING_FACE_HUB_TOKENsecret \-p 8000:8000 \--ipchost \vllm/vllm-openai:latest \--model mistralai/Mistral-7B-v0.1官方脚本从 huggingface 下载模型可能会遇到网络问题因此我们从 modelscope 下载 BAAI/bge-reranker-v2-m3对脚本修改一点点细节
docker run --name bge-reranker-v2-m3 -d --runtime nvidia --gpus all \-v ~/.cache/modelscope:/root/.cache/huggingface \--env VLLM_USE_MODELSCOPETrue \-p 8001:8000 \--ipchost \vllm/vllm-openai:latest \--model BAAI/bge-reranker-v2-m3 \--gpu_memory_utilization 0.9这里我们可以使用 ipchost 标志或 --shm-size 标志来允许容器访问主机的共享内存。vLLM 使用 PyTorch它在底层使用共享内存来在进程之间共享数据特别是对于张量并行推理。镜像标签 (vllm/vllm-openai:latest) 之后添加引擎参数 (engine-args)。 六、GPU 使用情况
nvidia-smi参考文档
https://docs.vllm.com.cn/en/latest/deployment/docker.htmlhttps://modelscope.cn/models/BAAI/bge-reranker-v2-m3/summaryhttps://www.runoob.com/docker/ubuntu-docker-install.html
