双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录

大模型推理:vllm多机多卡分布式本地部署 我是一台机器启动了一个docker,将docker当作一个节点,在docker里面执行ray start --head --port=6379,将另一台机器的docker作为worker节点,并加入到ray cluster中,如果机器间的通信没有问题,worker节点在几秒内就能加入集群。值得注意的是多机多卡部署的推理框架,也适用于单机多卡,单机单卡,这里不过多赘述。确保head节点的IP与指定的通信网卡的IP一致,同时,检查/etc/hosts里面的IP对应的主机名与docker的主机名是一致的。 阅读详情
AI摘要

本文详细记录了使用vllm在12G显存的双卡环境中部署Yi-34B模型的过程,涉及显存分配策略、modelscope配置和Gradio的使用问题,包括如何解决Gradio的网络环境限制以获取外网分享链接。

这里是 B 站【双显卡部署 Yi-34B 大模型 - vLLM + Gradio 踩坑记录】 的详细笔记,请和那边的视频一同食用效果更佳!

引言

上次介绍了怎么用 vllm 去部署 Yi-34B 的 Int4 版本。这次尝试下 12G 显存的双卡部署,因为这个模型即使是 int4 的版本,也差不多需要至少 20G 的显存,所以如果是 12G 显存的话,也至少需要两块显卡。我这里尝试下用两个 3080Ti 跑起来这个模型。

整个过程其实和上个视频的过程是类似的,本来觉得整个过程应该比较顺利,但最后发现还是踩了不少坑,这里我用这个视频把整个过程记录一下供大家参考。

所以请参考 只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型 以及 视频 一起看。

TL;DR

  1. 12G 双卡部署需要额外的参数,不然会容易出现显存不足的报错,这部分参数在其他显存紧张的场景同样适用
  2. Gradio 所提供的 share link 需要注意网络环境,必须先让它下载 frp,然后关闭网络加速才能看到 share link

一键部署 vllm 处理显存不足的问题

先安装 vllm 和 modelscope

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple vllm modelscope

然后我们从文档这里可以看到 vllm 其实是支持 modelscope 一键部署的,就是说我们没必要自己去下载 modelscope 里的模型,在启动 vllm 的时候它会帮我们进行下载。

export MODELSCOPE_CACHE=/root/autodl-tmp
export VLLM_USE_MODELSCOPE=True
export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:64
python -m vllm.entrypoints.openai.api_server \
    --model 01ai/Yi-34B-Chat-4bits \
    --served-model-name 01ai/Yi-34B-Chat-4bits \
    --trust-remote-code \
    --max-model-len 2048 
大模型推理:vllm多机多卡分布式本地部署1 ubuntu中采用docker和vllm进行多机多卡大模型本地部署 阅读详情

相关推荐

大模型vllm总结与代码理解

在生成新 token 时,其需要新的"问题"(Query)来查询所有历史"信息"(Key)并获取相关的"内容"(Value)。最终的表示是多个信息源的加权组合。将需要用到的KV Cache拆分成多个Block进行存储,每个Block内有多个KV,不管Batch内每个请求的输入输出序列多长,都可以按需申请Block存储,不过申请太多多余的空间。通过LLMEngine产生对象llm_engine以执行llm中的方法,执行vllm/engine/llm_engine.py中的step()方法逐步处理请求。

weixin_45320238的博客 984

多机多卡推理部署大模型

python多机多卡推理部署大模型

NLP与推荐算法 5933

从入门到精通:激光器恒流驱动电路的设计与选型指南

本文深入解析了激光器恒流驱动电路的设计与选型。文章从基础电路原理讲起,对比了简易恒流源与高精度运放反馈方案的优劣,并重点阐述了如何为不同功率与精度要求的激光器项目选择合适的恒流驱动方案,强调了恒流源对于保障激光器稳定工作、防止热失控及延长寿命的核心作用。

grafana6viz的博客 713

脑机接口最新发展动态报告 (2024-2025)

脑机接口动态

高山 4112

PLDM实战解析:传感器与效应器在智能监控系统中的应用

本文深入解析了PLDM(平台级数据模型)中传感器与效应器两大核心组件在智能监控系统中的应用。传感器负责感知硬件状态,分为数值型与状态型,提供精准的“体检报告”;效应器则负责执行控制指令,实现从监控到操作的闭环。文章通过实战案例,阐述了如何利用这些标准化组件构建高效、自动化的智能监控系统,并探讨了平台描述记录与事件机制等关键技术。

k6l7m8n9的博客 876

SpringBoot+Vue实现图片上传

SpringBoot+Vue实现图片上传

叶♥璃 2737

ubuntu17.04 UHD 驱动出错

ubuntu 17.04 源码安装UHD

xrh003的博客 1万+

Numpy快速入门(np)!看这一篇就够了

Numpy快速入门(np)!看这一篇就够了

weixin_74009895的博客 2681

A.特定领域知识图谱知识推理方案:知识图谱推理算法综述[五]-GeniePath会自动过滤多度“邻居“的图神经网络算法。

构图对于GNN格外重要。那么怎样构图才有信息、有意义呢?如果节点的邻居只有自己,即邻接矩阵为对角阵时,GNN会退化成一个DNN模型。图中每个节点都是孤立的,相当图信息并不能相比其他方法带来增益。如果图特别稠密,比如是一个clique,即每个节点都和所有其他节点有边连接。同样的,这样的图信息同样是信息熵为0。经验上讲,节点度分布有区分度的图是相对有价值的。查看图的节点度分布。比如二类分类,分析正负例的图拓扑当然,构图和实际场景强相关。

丨汀、的博客 437

解锁RK3588性能密码:模式切换与散热实战指南

本文探讨了RK3588 SoC芯片的性能模式切换与散热管理实践。RK3588作为高性能处理器,在不同应用场景下需要灵活调整性能模式(如Performance、Ondemand等)以平衡性能与功耗。文章详细介绍了通过命令行和设备树配置进行模式切换的方法,并分析了各模式的特点及适用场景。同时,针对高负载下的散热问题,阐述了热传导、对流和辐射等散热原理,提出了采用石墨烯导热片、均热板、小型风扇等硬件散热方案,以及动态电压频率调节(DVFS)等软件优化策略。通过实际案例说明,合理的性能模式切换与高效的散热管理能显著

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 357

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

上一篇: 只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型
下一篇: Yi-34B 本地部署简单测试
arkohut
博客等级 码龄3年 401粉丝 14原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值