【AI开发:语言】一、Yi-34B超大模型本地部署CPU和GPU版

双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录 上次介绍了怎么用 vllm 去部署 Yi-34B 的 Int4 版本。这次尝试下 12G 显存的双卡部署,因为这个模型即使是 int4 的版本,也差不多需要至少 20G 的显存,所以如果是 12G 显存的话,也至少需要两块显卡。我这里尝试下用两个 3080Ti 跑起来这个模型。整个过程其实和上个视频的过程是类似的,本来觉得整个过程应该比较顺利,但最后发现还是踩了不少坑,这里我用这个视频把整个过程记录一下供大家参考。 阅读详情

前言

        Yi-34B大模型,相关的类型还有LLaMA2-70B和Falcon-180B,此文章着重Yi-34B的CPU版本本地部署和使用,还有一些相关的部署和初步使用的问题解决。

        整理的完整工具包(均为官方版本):AI开发工具包官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘123云盘为您提供AI开发工具包最新版正式版官方版绿色版下载,AI开发工具包安卓版手机版apk免费下载安装到手机,支持电脑端一键快捷安装icon-default.png?t=N7T8https://www.123pan.com/s/b5zTTd-tyaH.html%E6%8F%90%E5%8F%96%E7%A0%81:rnwi

一、相关下载

Yi-34B-Chat:(我使用的是这个,可以转换为GGUF,并且可以量化)

始智AI-wisemodel-中国AI开源创新社区

Yi-34B-Chat-4bits:(这个是量化完成的,不能转换为GGUF)

始智AI-wisemodel-中国AI开源创新社区

koboldcpp(运行模型的工具)

Releases · LostRuins/koboldcpp · GitHub

二、关于llama.cpp的操作

        要在CPU上跑起来,需要注意两点,一是GGUF模型,二就是量化,llama.cpp的主要目标是能够在各种硬件上实现LLM(大型语言模型)推理,无论是本地还是云端,都只需最少的设置,并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化,以加快推理速度并减少内存使用。

1.创建llama.cpp项目

#windows 10
#进入D盘
D:
#下载llama.cpp项目
git clone https://github.com/ggerganov/llama.cpp
#进入下载的文件夹
cd llama.cpp
#创建构建文件夹
mkdir build

2.下载编译工具

NET Framework 4.8 Developer Pack - CHS Language Pack(Visual Studio 2022需要4.6及以上.net版本)

下载 .NET Framework 4.8 Developer Pack - CHS Language Pack

Visual Studio 2022

创建基于网络的安装 - Visual Studio (Windows) | Microsoft Learn

CMake

Download CMake

3.下载llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git

4.编译llama.cpp

打开CMAKE

点击Configura,处理错误:

CMake Error at CMakeLists.txt:2 (project):
Generator
Visual Studio 17 2022
could not find any instance of Visual Studio.
Configuring incomplete, errors occurred!

解决:这是因为VS Studio的扩展没有安装上,需要MSBuild,Desktop C++

再次点击Configura

再点击Generate

再点击Open Project,并在VS里右边第一个选项上右键,点击生成

生成成功后,会存储在我们之前建立的build目录下

例如本项目的地址:D:\llama.cpp\build\bin

三、转换模型

        转换模型会直接用llama.cpp项目中的convert.py量化会用到我们生成的quantize.exe。

1.安装虚拟环境

参考【AI开发:环境篇】Anaconda安装和基础命令-CSDN博客

2.创建一个虚拟环境来运行py文件

conda create --name llama python=3.9

3.激活环境

conda activate llama

1

4.安装llama.cpp相关环境

D:
cd llama.cpp
pip install -r requirements.txt

5.开始转换convert.py

#python .\convert.py 模型目录
python .\convert.py D:\BaiduNetdiskDownload\Yi-34B-Chat

6.试运行

模型的精度是F32,我的电脑是32G内存,测试了下,跑不动,我们打算做到4B的,准备的量化。

启动

启动页面

性能堪忧

发送一个 你好,电脑就要爆炸了的感觉,等了30分钟都没给我回复。干脆也就不浪费时间了,结束进程,准备量化。

7.量化模型

        当然精度越高,效果越好,但是目前我们的测试机 是跑不动那么大的模型的。所以我们先用8位的来进行测试。

#quantize.exe gguf文件 目标Q4_0.gguf Q8_0
#quantize.exe 量化工具
#gguf文件 要量化的模型
#目标Q4_0.gguf 自定义量化后文件名
#Q8_0 8位 Q4_0 4位 Q16_0 16位
D:
cd D:\llama.cpp\build\bin\Debug
./quantize.exe D:\BaiduNetdiskDownload\Yi-34B-Chat\ggml-model-f32.gguf D:\BaiduNetdiskDownload\Yi-34B-Chat\ggml-model-Q8_0.gguf Q8_0

四、运行4位

我承认,我肤浅了,没跑起来。。。还是阻塞,切换4位吧。

终于跑起来了哦!但是 CPU的反应真的是慢啊。

http://localhost:5001/#

五、在GPU上运行4位

测试电脑,8核32G,1060 16g显卡,配置略低。

只需要拷贝 KoboldCpp.exe(注意和noCUDA的区别)还有模型文件ggml-model-Q4_0.gguf

虽然配置略低,但是速度已经有了很大的提升,真是不错呢。

六、KoboldCpp的API接口

        好在KoboldCpp提供API接口,我们可以通过接口进行二次开发,这里运行的模型就可以作为一台小型服务器了。

七、关于KoboldCpp的配置说明

  1. Vulkan: Vulkan是一个由Khronos Group开发的低开销、跨平台的2D和3D图形API,它也提供了计算着色器功能,可以用于执行通用的GPU加速计算任务。在KoboldCpp中,Vulkan可以作为一种后端技术,用于加速文本生成过程中的计算密集型任务。使用Vulkan可以提高程序的运行速度,尤其是在具有兼容Vulkan的GPU的系统上。

  2. CLBlast: CLBlast是一个开源的、针对OpenCL优化的BLAS(基础线性代数子程序)库。BLAS库提供了一系列标准的低级线性代数操作,如矩阵乘法、向量加法等,这些操作是许多科学计算和机器学习算法的基础。CLBlast专门针对OpenCL平台进行了优化,以提高在各种设备上的性能,包括GPU、CPU等。在KoboldCpp中,启用CLBlast可以利用这个库的优化,从而加速文本生成过程中的计算任务。

  3. Cublas: Cublas是NVIDIA提供的一个库,它提供了针对其GPU的优化BLAS实现。Cublas同样提供了一系列标准的线性代数操作,但与CLBlast不同,Cublas是专门为NVIDIA的CUDA平台设计的。这意味着,如果你有一个NVIDIA的GPU,使用Cublas可以显著提高计算性能。然而,Cublas是闭源的,并且只能在NVIDIA的硬件上运行。

这个参数大概就是上面所述,根据你自己的设备性能来进行调整,其他设置就是字面意思了。

【AI开发:语言】二、Qwen1.5-7B模型本地部署CPU和GPU版 Kobold和LM Studio各有千秋吧,一个是简单,另外一个就是功能多。所以在使用的时候我们可以根据自己的需求来选择。 阅读详情

相关推荐

零一万物Yi系列大模型技术解析与本地部署指南

大语言模型作为AI领域的核心技术,通过Transformer架构实现语义理解与生成。其核心原理是基于海量数据预训练和微调,具备强大的泛化能力。在工程实践中,混合专家(MoE)架构和动态稀疏计算等创新技术显著提升了模型效率。以零一万物开源的Yi系列为例,该模型采用动态token处理和多粒度稀疏化设计,支持在消费级显卡运行百亿参数模型。这类技术特别适合智能客服、知识管理等企业场景,实测显示Yi-7B在中文任务上准确率达92.3%。部署时需注意CUDA内存优化和生成参数调整,通过4bit量化和flash atte

weixin_33708633的博客 1011

koboldcpp完全指南:从安装到精通的AI模型部署新范式

你是否还在为本地部署AI模型的复杂流程而困扰?是否想要一个无需繁琐配置就能运行多种GGML和GGUF模型的解决方案?本文将带你全面掌握koboldcpp——这款源自KoboldAI的轻量级AI部署工具,从基础安装到高级优化,让你轻松实现本地化AI文本生成、图像创建和语音处理。 ## 什么是koboldcpp koboldcpp是一款基于llama.cpp开发的一站式AI部署工具,它将强大的功能

gitblog_00618的博客 1721

KoboldCpp vs Ollama vs llama.cpp 全面对比(2026工程视角)

本文对比分析了KoboldCpp、Ollama和llama.cpp三大本地AI推理工具的核心差异。llama.cpp作为基础引擎性能最强但上手困难;KoboldCpp在其基础上增加了UI界面,适合娱乐创作;Ollama则提供最简化的模型管理和API服务。性能实测显示:llama.cpp>KoboldCpp>Ollama。选型建议:新手用Ollama快速入门,玩家选KoboldCpp获得交互体验,工程师用llama.cpp追求极致性能。三者定位清晰:性能极限、使用体验和开发效率各有所长。

刘一说的IT专栏 921

【亲测免费】 koboldcpp-rocm 项目使用指南

`koboldcpp-rocm` 是一个用于在边缘设备上进行 AI 推理的简单单文件解决方案。它允许用户通过 KoboldAI 的 UI 运行各种 GGML 模型,并利用 AMD ROCm 进行加速。该项目基于 `llama.cpp` 和 `KoboldCpp`,由 YellowRoseCx 维护,旨在为使用 AMD GPU 的用户提供高效的 AI 文本生成软件。 ## 2. 项目快速启动 #...

gitblog_01085的博客 2651

Tomcat 启用RewriteValve 失败,如何解决?

🏆 本文收录于《全栈Bug调优(实战版)》专栏,致力于分享我在项目实战过程中遇到的各类Bug及其原因,并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者,本文将为你指引出一条更高效的Bug修复之路,助你早日登顶,迈向财富自由的梦想🚀!同时,欢迎大家关注、收藏、订阅本专栏,更多精彩内容正在持续更新中。让我们一起进步,Up!Up!Up!    备注: 部分问题/难题源自互联网,但经过精心筛选和整理,保证每一条解决方案都经过实战验证,真实可靠。

**My Coding Family** 1985

Mac查看以太网信息,IP地址,查看配置桥接网络,使得虚拟机和本机ping通--linux系统part

4. 在本机的终端中使用ping命令,查看是否能够ping通虚拟机系统,如下图所示已经ping通。3-查看IP为192.168.1.244,还可以看到一些具体信息,如TCP/IP,DNS等;2-打开centos,进入管理员root模式(使用su命令加上输入管理员密码)然后使用ifconfig命令查看端口地址,如下所示为192.168.1.248。3-在虚拟机内使用ping命令,测试是否和网络连通,如下图所示已经ping通。打开虚拟机设置-点击网络适配器-选择桥接网络。1-打开设置,选择网络。

m0_65485230的博客 1549

零一万物模型官方 Yi-34B 模型本地离线运行部署使用笔记(物理机和docker两种部署方式),200K 超长文本内容,34B 干翻一众 70B 模型,打榜分数那么高,这模型到底行不行?

零一万物模型官方 Yi-34B 模型本地离线运行部署使用笔记(物理机和docker两种部署方式),200K 超长文本内容,34B 干翻一众 70B 模型,打榜分数那么高,这模型到底行不行? 目前最具公信力的 HuggingFace 榜单中,包括 Yi-34B 在内,排在它前面的模型只有 26 个,但是其中 48% (14个)都是 Yi-34B 和 Yi-34B 200K 的变体模型,其中第一名是来自社区用户 fblgit 的 “LLaMa Yi 34B”

代码讲故事 5753

关于动态存储器dram中rank,bank,device之间的关系

DEVICE_WIDTH表示设备的带宽(单位bit),每个列(column)包含DEVICE_WIDTH 位(bit),每一行(row)包含NUM_COLS个column。   而每一个bank包含NUM_ROWS个行(row)。所以一个设备(device)的存储容量为PER_DEVICE_STORAGE =NUM_ROWS*NUM_COLS*DEVICE_WIDTH*NUM_BANKS (i

wyj7260的专栏 4734

零一万物模型折腾笔记:官方 Yi-34B 模型基础使用

当争议和流量都消失后,或许现在是个合适的时间点,来抛开情绪、客观的聊聊这个 34B 模型本身,尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场景中的真实表现和对硬件的性能要求。 或许,这会对也想在本地私有化部署和运行模型的你有帮助,本篇是第一篇相关内容。

折腾技术 5297

高效爬取懂车帝车型数据:从静态解析到动态反爬实战

本文详细解析了如何高效爬取懂车帝车型数据,从静态HTML解析到动态接口反爬的完整实战路径。文章重点介绍了使用浏览器开发者工具定位数据、应对CSS混淆与参数加密等反爬策略,并提供了整合静态与动态抓取逻辑的Python代码示例,帮助开发者稳健地获取结构化车型信息。

wind6的博客 939

用OpenIPC复活你的旧摄像头:手把手教你给君正T31芯片设备刷开源固件

本文详细介绍了如何使用OpenIPC项目为君正T31芯片的旧摄像头刷入开源固件,解锁更多功能并延长设备寿命。从硬件识别、风险控制到详细刷机步骤和后期配置,手把手教你将闲置摄像头改造为智能监控设备,实现隐私可控、功能扩展等优势。

weixin_30790841的博客 772

10 分钟快速上手 Dolphin 2.9.1 Yi 1.5 34b:开源大模型本地部署新手教程

想在自己的电脑上运行一个能写代码、能对话、还能调用工具的开源大模型吗?Dolphin 2.9.1 Yi 1.5 34b 就是这样一个优秀的选择。它是基于零一万物 Yi-1.5-34B 微调的开源大模型,采用 Apache 2.0 协议(可免费商用),MMLU 评测高达 77.4 分,支持 8K 上下文与 ChatML 对话格式。本文是一篇面向新手的开源大模型本地部署教程,带你 10 分钟完成从下载

gitblog_01099的博客 618

systemView的安装使用

systemView的安装使用

qq_33712422的博客 3989

Miniconda环境下部署Yi-34B大模型的资源规划

本文介绍在Miniconda环境下部署Yi-34B大模型的完整资源规划方案,涵盖显存、内存、磁盘及依赖管理要求。通过conda环境隔离、国内源加速、多卡推理配置和量化优化,实现高效、可复现的模型部署,适用于A6000/H100等高性能GPU场景。

weixin_42515842的博客 471

路径规划 | 图解Informed RRT*算法(附ROS C++/Python/Matlab仿真)

Informed RRT*算法针对RRT*算法进行了采样优化,用椭圆采样代替全局均匀采样,避免了RRT*算法搜索树上产生过多冗余分支的缺陷。本文图解Informed RRT*原理,并提供ROS C++/Python/Matlab三种实现加深理解

FRIGIDWINTER的博客 7502

C++怎么学?零基础也可以,一份完整学习路线图助你搞定!

提供一条清晰、系统且实践导向的C++学习路径。从基础语法、面向对象、泛型编程、异常处理,逐步深入STL、智能指针、并发编程等现代C++高级特性。无论是新手还是希望提升,通过系统学习与项目实践,助您将理论知识转化为实际解决问题的能力。

Lion_Long的博客 4035

Yi-6B / Yi-34B 微调实战指南:基于 DeepSpeed 的 SFT 与 LoRA 完整教程

本文以开源仓库 [finetune/README.md](https://link.gitcode.com/i/14a1ba1283c2a88bce15122fe40beba3) 为核心,系统讲解 Yi-6B 与 Yi-34B 基础模型的监督微调(SFT)全流程:从 Docker 镜像与本地 conda 环境搭建、硬件选型,到数据准备、脚本运行、核心训练参数逐项解析,再到基于 DeepSpeed

gitblog_01156的博客 475

车载摄像头EMC问题剖析

车载摄像头作为智能驾驶核心部件,其EMC问题日益突出。某案例中,摄像头在48MHz~175MHz频段辐射超标。通过控制变量法排查,发现网络变压器地环路和共模抑制不足是主因。整改措施包括优化接地隔离、增加共模滤波器和使用屏蔽网线,最终通过EMC测试。案例表明,EMC问题需从系统耦合角度解决,建议设计阶段预防地环路,在高速信号链中加入滤波隔离措施。全文150字。

硬核科技 273

Yi-6B大模型入门指南:零基础30分钟本地部署完整教程

Yi-6B是由01.AI开发的开源双语大语言模型,专为个人和学术用途设计。这个强大的AI模型在中文和英文任务上都表现出色,特别适合初学者入门大模型领域。在本篇完整教程中,我将手把手教你如何在30分钟内完成Yi-6B的本地部署,让你快速体验这个优秀的中英双语大语言模型! ## 🚀 为什么选择Yi-6B大模型? Yi-6B是一个60亿参数的开源大语言模型,具有以下核心优势: - **卓越的双语

gitblog_00069的博客 381

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Yi:从零训练的双语开源大语言模型实战指南

Yi 是 01.AI 从零开始训练的双语(中英)开源大语言模型,覆盖 6B、9B、34B 等参数规模,并提供了 Base、Chat 以及 200K 长上下文三类变体。仓库不仅托管模型权重,还内置推理演示、SFT 微调与 AWQ/GPTQ 量化的可运行脚本。本文面向有 Python 基础、准备在本地部署或二次开发 Yi 的开发者,带你从安装一路做到微调与量化。 ## 一、快速上手 🚀 先确认运

gitblog_00415的博客 834

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

告别显存焦虑:Yi大模型训练GPU配置指南2025

你是否曾因GPU显存不足导致训练中断?是否在消费级显卡与专业卡之间难以抉择?本文将系统梳理Yi系列模型训练的硬件需求,通过实测数据与场景化配置方案,帮你用最低成本实现高效训练。读完本文你将掌握:不同规模Yi模型的显存基准线、消费级与企业级GPU的选型策略、量化技术如何降低硬件门槛,以及多卡协同训练的实战配置。 ## 一、显存需求基准:从6B到34B模型的硬件门槛 Yi系列模型对GPU显存的需求...

gitblog_01073的博客 902

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

如何快速部署Yi-1.5-34B模型?5分钟上手的完整推理教程与代码示例

想要体验强大的中文大语言模型推理能力吗?本文将为您提供最快速的Yi-1.5-34B模型部署指南,让您在短短5分钟内完成环境配置并开始使用这个340亿参数的先进AI模型。Yi-1.5-34B作为01.AI推出的升级版大语言模型,在编程、数学、推理和指令跟随方面表现卓越,是中文AI应用开发的理想选择。🚀 ## 📋 准备工作:环境要求与依赖安装 在开始部署Yi-1.5-34B模型之前,您需要确保

gitblog_00262的博客 467

【亲测免费】 Yi-34B-Chat模型的配置与环境要求

Yi-34B-Chat模型的配置与环境要求 引言 在当前AI技术飞速发展的时代,大语言模型的性能和可用性成为关注的焦点。Yi-34B-Chat模型作为01.AI团队推出的下一代开源大型语言模型,以其卓越的双语能力和出色的语言理解性能,在众多领域中展现了巨大的应用潜力。然而,为了确保模型能够高效稳定地运行,正确的环境配置和依赖管理是至关重要的。本文旨在详细说明Yi-34B-Chat模型的环境要求和配...

gitblog_02516的博客 468

终极指南:如何高效部署Yi-1.5-34B大模型的模型分片与device_map参数优化实践

🚀 在生产环境中部署34B参数的大型语言模型Yi-1.5-34B是一项挑战性任务,特别是如何有效管理68GB的巨大模型权重并实现多GPU并行推理。本文将为您提供一套完整的**生产级部署Yi-1.5-34B解决方案**,重点讲解**模型分片加载策略**和**device_map参数优化技巧**,帮助您快速上手并优化推理性能。 ## 📊 Yi-1.5-34B模型架构概览 Yi-1.5-34B是

gitblog_00147的博客 606

Yi-Coder-1.5B入门:从安装到生成第一个AI代码

本文介绍了如何在星图GPU平台上一键自动化部署【ollama】Yi-Coder-1.5B镜像,快速搭建AI代码生成环境。该轻量级模型支持52种编程语言,能够根据自然语言描述自动生成代码,例如快速创建Python函数、React组件或SQL查询,显著提升开发效率,特别适合快速原型开发和编程学习。

weixin_29476595的博客 277

Yi-9B-200K-Q4_K_S-GGUF模型完全指南:从下载到部署的AI大模型本地运行教程

Yi-9B-200K-Q4_K_S-GGUF是一款高效的量化版AI大模型,基于01-ai/Yi-9B-200K基础模型优化而来,支持中英双语处理,特别适合资源有限的设备实现本地部署。本教程将带你完成从环境准备到模型运行的全流程,让你轻松体验大模型的强大能力。 ## 📋 模型核心特性与优势 ### 为什么选择Q4_K_S量化版本? Yi-9B-200K-Q4_K_S-GGUF采用GGUF格式量

gitblog_00171的博客 471
上一篇: 【AI开发:环境篇】Anaconda安装和基础命令
下一篇: 【AI开发:语言】二、Qwen1.5-7B模型本地部署CPU和GPU版
迈向儿时
博客等级 码龄19年 92粉丝 32原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迈向儿时

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值