Yi-34B 本地部署简单测试

双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录 上次介绍了怎么用 vllm 去部署 Yi-34B 的 Int4 版本。这次尝试下 12G 显存的双卡部署,因为这个模型即使是 int4 的版本,也差不多需要至少 20G 的显存,所以如果是 12G 显存的话,也至少需要两块显卡。我这里尝试下用两个 3080Ti 跑起来这个模型。整个过程其实和上个视频的过程是类似的,本来觉得整个过程应该比较顺利,但最后发现还是踩了不少坑,这里我用这个视频把整个过程记录一下供大家参考。 阅读详情

这里是 B 站 本地测试 Yi-34B 大模型|LM Studio + Mac M1 Max 的笔记,请到视频那边看 Yi-34B 对于下面 7 个问题的回答。

LM Studio 本地跑一下 Yi-34B 的量化版本并记录几个题目的回答。

题目从 国内外十大语言模型之横向对比评测【模型评测08】 的几个能跑的题目魔改而来。

1. 多语言能力

yesterday 我 eat 了 three 个 hamburger,每个 cost 我三 dollar,total 多少 money?

2. 逻辑推理

小明有三个苹果,小红给了他两个橘子,然后他又从小华那里得到了两个苹果。
之后,小明吃掉了一个苹果和一个橘子,又去百货商店卖掉了两个苹果,买了一个椰子、两颗卷心菜和三个橘子。
请问,现在小明手上有多少个水果,多少个蔬菜?

3. 地理知识 + 思维链

请一步步思考并告诉我中美洲除墨西哥外第四大的国家是哪个?

4. 常识

家里来了几位客人,我现在急需利用冰箱现有食材做一道菜,打开冰箱,发现里面只有胡萝卜、明矾、泡泡糖和螺丝,应该怎样做出一道美味的菜肴?

5. Json 处理

假设你正在管理一个图书馆的数据库。你需要为图书馆最近购买的五本书生成一个 JSON 格式的目录。
这五本书分别是:
《哈利·波特与魔法石》,作者:J.K.罗琳,出版年份:一九九七年。
《One Hundred Years of Solitude》,作者:加布里埃尔·加西亚·马尔克斯,出版年份:1967 年 5 月。
《挪威的森林》,作者:村上春树,出版年份:1987-11-12。
《The Little Prince》,作者:安东尼·德·圣 - 埃克苏佩里,出版年份:1943.02。
《乔布斯传》,作者:沃尔特·艾萨克森,出版年份:2011-1。
生成的 JSON 格式的字段为“中文标题”、“英文标题”、“作者姓”、“作者名”、“出版年”。

6. tool

TOOLS = [
    {
    "name": "text_analyzer",
    "description": "Analyzes the given text and provides keyword extraction, sentiment analysis, and summary.",
    "parameters": {
        "type": "object",
        "properties": {
            "text": {"description": "The text to be analyzed", "type": "string"},
            "analysis_type": {"description": "Type of analysis (keywords, sentiment, summary)", "type": "string"}
        },
        "required": ["text", "analysis_type"]
    }
},
{
    "name": "image_processor",
    "description": "Performs different processing operations on input images, such as filters, cropping, rotation.",
    "parameters": {
        "type": "object",
        "properties": {
            "image_path": {"description": "Path of the image file", "type": "string"},
            "operation": {"description": "Type of processing (filters, crop, rotate, etc.)", "type": "string"}
        },
        "required": ["image_path", "operation"]
    }
},
{
    "name": "data_visualization_generator",
    "description": "Generates different types of visualization charts based on input data.",
    "parameters": {
        "type": "object",
        "properties": {
            "data_set": {"description": "Path of the data set file (CSV/JSON)", "type": "string"},
            "chart_type": {"description": "Type of chart (line, bar, pie, etc.)", "type": "string"}
        },
        "required": ["data_set", "chart_type"]
    }
},
{
    "name": "natural_language_query_system",
    "description": "Answers questions in natural language about a specific domain.",
    "parameters": {
        "type": "object",
        "properties": {
            "question": {"description": "The question to be answered", "type": "string"},
            "domain": {"description": "Domain of the question (e.g., history, science)", "type": "string"}
        },
        "required": ["question", "domain"]
    }
},
{
    "name": "recipe_recommender",
    "description": "Recommends recipes based on a list of ingredients.",
    "parameters": {
        "type": "object",
        "properties": {
            "ingredients": {"description": "List of ingredients", "type": "array", "items": {"type": "string"}}
        },
        "required": ["ingredients"]
    }
},
{
    "name": "language_translator",
    "description": "Translates text from one language to another.",
    "parameters": {
        "type": "object",
        "properties": {
            "source_text": {"description": "Text to be translated", "type": "string"},
            "source_language": {"description": "Code of the source language", "type": "string"},
            "target_language": {"description": "Code of the target language", "type": "string"}
        },
        "required": ["source_text", "source_language", "target_language"]
    }
}]

你有权限使用上述工具,请根据用户的提问给出具体应该使用的工具,并将用户提问转化为该工具的参数。

用户提问 1:我有一张图片,文件路径为 /images/sunset.jpg。请应用一个高对比度滤镜。
用户提问 2:我家里有鸡蛋、牛奶和面粉。请推荐一些可以做的食谱。

请依次返回两个问题的答案。

7. 上下文记忆

  1. 这一轮的数字是 1,请记住
  2. 这一轮的数字是 2,请记住。并和之前所有轮的数字相加
  3. 这一轮的数字是 3,请记住。并和之前所有轮的数字相加
  4. 这一轮的数字是 6,请记住。并和之前所有轮的数字相加
  5. 这一轮的数字是 12,请记住。并和之前所有轮的数字相加
  6. 这一轮的数字是 24,请记住。并和之前所有轮的数字相加
  7. 这一轮的数字是 48,请记住。并和之前所有轮的数字相加
只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型 上次介绍了用 vllm 去部署 mixtral 8x7b 的 GPTQ 量化版本,只是跑了一下 benchmark,这次玩一下 Yi-34b 这个模型的量化版本,看看怎么使用 vllm 直接暴露出来一个 API 服务。 阅读详情

相关推荐

LM Studio-简化安装和使用开源大模型 | OpenAI API 文字转语音本地运行程序分享

这样既节省了调用API的成本,又能发挥大模型的强大能力。,最近用上了LM Studio,对比Ollama,LM Studio还支持Win端,支持的模型更多,客户端本身就可以多轮对话,而且还支持启动类似OpenAI的API的本地HTTP服务器。实测,dolphin-2.6-mistral 7B模型在我Mac M1 Max 32G的电脑上运行速度很快,生成质量不错,而且dolphin是可以生成NSFW内容的。也就是说,如果你之前做过一些应用,用的是OpenAI API的模型,那现在可以非常方便转成本地模型。

张伟的专栏 1万+

【大模型部署实践-3】3个能在3090上跑起来的4bits量化Chat模型(baichuan2-13b、InternLM-20b、Yi-34b)

3090上部署13b以上的LLM(记录分享)

qq_40302568的博客 2665

【rt-thread实战解析】从零到一:基于STM32与LAN8720A的以太网驱动配置全流程

本文详细解析了在RT-Thread操作系统上为STM32F407配置LAN8720A以太网驱动的全流程。从硬件连接自查、CubeMX工程创建、PHY复位函数编写,到RT-Thread工程配置、LwIP协议栈集成,最后进行实际上电测试与网络调试,手把手指导开发者避开常见陷阱,实现稳定的以太网连接。

m2n3b4v5c6的博客 528

零一万物模型官方 Yi-34B 模型本地离线运行部署使用笔记(物理机和docker两种部署方式),200K 超长文本内容,34B 干翻一众 70B 模型,打榜分数那么高,这模型到底行不行?

零一万物模型官方 Yi-34B 模型本地离线运行部署使用笔记(物理机和docker两种部署方式),200K 超长文本内容,34B 干翻一众 70B 模型,打榜分数那么高,这模型到底行不行? 目前最具公信力的 HuggingFace 榜单中,包括 Yi-34B 在内,排在它前面的模型只有 26 个,但是其中 48% (14个)都是 Yi-34B 和 Yi-34B 200K 的变体模型,其中第一名是来自社区用户 fblgit 的 “LLaMa Yi 34B”

代码讲故事 5753

从零抓包分析AVDTP:用Wireshark解密蓝牙音频传输全流程

本文详细介绍了如何使用Wireshark抓包工具分析AVDTP协议,解密蓝牙音频传输的全流程。从实验环境搭建到信令交互解析,再到媒体流传输深度分析,逐步揭示蓝牙音频传输的技术本质,帮助开发者深入理解AVDTP协议的工作机制。

sun99的博客 204

贝塞尔曲线原理--曲线生成--路径规划--matlab代码

贝塞尔曲线有着很多特殊的性质, 在图形设计和路径规划中应用都非常广泛, 在路径规划中贝塞尔曲线完全由其控制点决定其形状, n个控制点对应着n-1阶的贝塞尔曲线,并且可以通过递归的方式来绘制.

bob595078694的博客 1万+

在AutoDL上部署Yi-34B大模型

在AutoDL-3090上部署Yi-34B-Chat-4bits

何以问_的博客 1400

YOLOv8【第七章:损失函数篇·第1节】一文搞定,IoU系列损失函数!

🏆 本文收录于 《YOLOv8实战:从入门到深度优化》 专栏。该专栏系统复现并梳理全网各类 YOLOv8 改进与实战案例(当前已覆盖分类 / 检测 / 分割 / 追踪 / 关键点 / OBB 检测等方向),坚持持续更新 + 深度解析,质量分长期稳定在 97 分以上,可视为当前市面上 覆盖较全、更新较快、实战导向极强 的 YOLO 改进系列内容之一。

**My Coding Family** 1203

【AI开发:语言】一、Yi-34B超大模型本地部署CPU和GPU版

Yi-34B大模型,相关的类型还有LLaMA2-70B和Falcon-180B,此文章着重Yi-34B的CPU版本本地部署和使用,还有一些相关的部署和初步使用的问题解决。

3214

【C语言】一文带你拿捏分支和循环语句(一万字详细讲解)

if/switch语句、while/fo/do...while循环语句、goto语句详解

StackFrame 1237

合肥工业大学操作系统实验9

依据操作系统课程所介绍的页面置换算法与动态内存分配的原理,本实验的目的是掌握OPT、FIFO、LRU、LFU、Clock等页面置换算法;掌握可用空间表及分配方法;掌握边界标识法以及伙伴系统的内存分配方法和回收方法。从而深入理解操作系统的内存管理。从而加深对教材上页面置换算法与动态内存分配的理解。

Martin-share的博客 1096

零一万物模型折腾笔记:官方 Yi-34B 模型基础使用

当争议和流量都消失后,或许现在是个合适的时间点,来抛开情绪、客观的聊聊这个 34B 模型本身,尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场景中的真实表现和对硬件的性能要求。 或许,这会对也想在本地私有化部署和运行模型的你有帮助,本篇是第一篇相关内容。

折腾技术 5297

YOLOv12涨点改进| Kimi团队 2026 |独家创新首发、注意力改进篇|爆火AttnRes残差自注意力模块,含多种创新改进,借助残差思想,缓解细节信息在传播过程中被稀释,促进YOLOv12涨点

🔥本文提出AttnRes残差自注意力模块改进YOLOv12模型,通过深度维度的注意力加权机制替代传统固定残差累加方式。该模块能自适应选择更有价值的历史层特征进行聚合,缓解浅层信息在深层传播中被稀释的问题,提升小目标和复杂场景的检测能力。文章详细介绍了模块结构、原理及优势,并提供了完整的代码实现和配置方法,包括三种改进方案:yolov12n_AttnRes.yaml、yolov12n_AttnRes-2.yaml和yolov12n_A2C2f_AttnRes2D.yaml。

Ai缝合怪、助力小伙伴高效发论文 183

Qwen2.5-7B vs Yi-34B实战对比:小参数模型的效率优势分析

参数规模≠实际效能:Qwen2.5-7B 凭借架构优化与精细化训练,在多数日常任务中表现接近甚至超越更大模型。部署效率决定落地速度:Qwen2.5-7B 可在消费级 GPU 上实现分钟级部署,而 Yi-34B 需要专业级硬件支持。结构化能力是工程关键:在 API 调用、数据提取等生产场景中,Qwen2.5 对 JSON 的原生支持大幅降低开发成本。长上下文不再是大模型专属:Qwen2.5 支持 131K 上下文,已能满足绝大多数长文本需求。综合性价比更高。

weixin_29781865的博客 1035

手把手教你学Simulink——基于Simulink的全双工无线通信仿真建模示例

目录手把手教你学Simulink——基于Simulink的全双工无线通信仿真建模示例一、背景介绍二、所需工具和环境三、步骤详解步骤1:创建Simulink模型步骤2:设计输入信号步骤3:添加调制模块步骤4:添加自干扰消除模块步骤5:添加AWGN信道步骤6:添加接收端处理步骤7:添加解调模块步骤8:计算误码率(BER)步骤9:添加显示模块步骤10:设置仿真参数步骤11:运行仿真并分析结果四、总结 全双工(Full-Duplex)无线通信技术允许在同一频段上同时进行数据的发送和接收,这与传统的半双工(Half-

MHD0815的博客 184

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Yi-34B推理速度对比:A100 vs V100

在大规模语言模型(LLM)部署中,GPU的选择直接影响推理性能与成本效益。NVIDIA A100和V100作为两代数据中心级旗舰GPU,常被用于基准测试与实际生产环境。本文以Yi-34B模型为测试对象,从**延迟(Latency)**、**吞吐量(Throughput)** 和**成本效率(Cost Efficiency)** 三个维度,深入对比两者在不同配置下的推理表现,为企业级部署提供决策参考...

gitblog_00907的博客 1877

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

LLMs之Yi-6B:Yi-6B的简介、安装、使用方法之详细攻略

​ LLMs之Yi-6B:Yi-6B的简介、安装、使用方法之详细攻略 目录 Yi-6B的简介 Yi-6B的安装 Yi-6B的使用方法 Yi-6B的简介 2023年11月02日,零一万物发布首款开源大模型Yi-6B 和 Yi-34B。Yi 系列模型是由 01.AI 的开发人员从零开始训练的大型语言模型。第一个公开发布的版本包括两个双语(英语/中文)基础模型,参数规模分别为 6B 和 34B。它们都是使用 4K 序列长度进行训练的,且在推理时可以扩展到32K。 GitHub地址:htt

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 4391

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Qwen2.5-7B vs Yi-34B性能对比:编程任务执行效率实测报告

本次实测表明,参数规模并非决定编程任务表现的唯一因素。Qwen2.5-7B 与 Yi-34B 各有千秋,适用于不同层级的技术需求。Qwen2.5-7B是“轻骑兵”:速度快、成本低、结构化能力强,适合大多数日常开发辅助任务。Yi-34B是“重型坦克”:推理深、记忆长、逻辑严密,适合高复杂度、高可靠性要求的工程场景。📌最终选型建议矩阵使用场景推荐模型IDE 插件、代码补全自动化脚本生成API 接口文档转代码算法竞赛辅助解题✅ Yi-34B系统架构设计建议✅ Yi-34B代码审查与缺陷检测。

weixin_42230607的博客 1061

3分钟选对Yi模型:6B/9B/34B版本深度测评与硬件适配指南

还在为选择哪个Yi模型版本而纠结?面对6B、9B和34B等多种参数规模的模型,如何判断哪款最适合你的业务场景和硬件条件?本文将从性能表现、硬件需求和典型应用场景三个维度,为你提供一站式的Yi模型选择指南,帮助你用最低成本发挥模型最大价值。 ## 一、模型家族全景:参数规模与核心能力对比 Yi系列模型目前已形成覆盖6B到34B参数规模的完整产品线,包括Base模型、Chat对话模型和VL多模态模...

gitblog_00479的博客 1169

Qwen2.5-7B vs Yi-34B推理速度对比:GPU利用率实测

通过对Qwen2.5-7B与Yi-34BQwen2.5-7B 凭借轻量架构与高度优化,在推理速度、延迟控制和资源利用率方面全面领先,特别适合需要快速响应的在线服务场景;Yi-34B 虽然参数规模更大、语言能力更强,但在消费级 GPU 上推理效率偏低,更适合离线分析或配备专业级算力的私有化部署;GPU 利用率并非唯一衡量标准:高利用率若伴随低吞吐,则可能反映的是 memory bottleneck 而非计算效率;工程优化至关重要。

weixin_42594427的博客 792

Yi-34B 与 Llama 2的异同和优劣

模型规模:Llama 2 提供了多种参数规模的模型,包括7B、13B 和 70B 参数版本,以满足不同应用场景的需求 [42]。训练数据:Llama 2 在超过 2 万亿个公开来源的 token上进行了预训练,相比前代模型,训练数据量增加了 40%[44]。上下文长度:Llama 2 的上下文窗口从2048 个 token 扩展到 4096 个 token,使其能够处理更长的输入并生成更长的文本段落 [44]。架构优化:Llam。

具身机器人和通用AI 873

Yi-34B开源大模型:参数效率拐点下的部署与微调实战

大模型参数效率是平衡性能与资源的关键。Yi-34B通过分组查询注意力(GQA)和高质量训练数据,在34B参数量级实现接近70B模型的能力,显著降低显存需求。这一突破使消费级显卡部署成为可能,并支持LoRA等高效微调,快速构建行业专属模型。在中文长文本理解、多轮对话等场景中表现优异,为开发者提供了高性价比的基座选择。

weixin_29053383的博客 306

Miniconda环境下部署Yi-34B大模型的资源规划

本文介绍在Miniconda环境下部署Yi-34B大模型的完整资源规划方案,涵盖显存、内存、磁盘及依赖管理要求。通过conda环境隔离、国内源加速、多卡推理配置和量化优化,实现高效、可复现的模型部署,适用于A6000/H100等高性能GPU场景。

weixin_42515842的博客 471

李开复创办的零一万物发布大模型Yi-34B 估值超10亿美元

雷递网 乐天 11月6日创新工场董事长李开复博士带队创办的AI 2.0公司零一万物,今日正式开源发布首款预训练大模型 Yi-34B。“Yi” 系列大模型:命名来自“一”的拼音,“Yi”中的“Y”上下颠倒,巧妙形同汉字的 “人”,结合AI里的 i,代表 Human + AI。零一万物创始人及CEO李开复博士表示:“零一万物坚定进军全球第一梯队目标,从招的第一个人,写的第一行代码,设计的第一个模型开始...

leijianping_ce的博客 2167

探索未来对话的新境界:OrionStar-Yi-34B-Chat

探索未来对话的新境界:OrionStar-Yi-34B-Chat 在这个人工智能日益渗透日常生活的时代,一款名为OrionStar-Yi-34B-Chat的开源项目正迅速引起业界关注。这款由猎户星空基于零一万物的Yi-34B模型深度优化而成的聊天助手,不仅是技术进步的结晶,也是推动AI对话技术边界的一大步。下面,我们将深入了解这一令人瞩目的开源项目,探索其背后的科技力量以及广泛的应用前景。 项目介...

gitblog_00083的博客 582

终极指南:Yi模型家族从6B到34B参数规模的选择策略

Yi模型家族作为开源社区备受瞩目的AI模型系列,提供了从6B到34B不同参数规模的选择,满足从个人开发者到企业级应用的多样化需求。本文将深入解析各参数版本的性能表现、硬件需求和适用场景,帮助你快速找到最适合的AI模型解决方案。 ## 📊 直观对比:6B vs 34B核心性能差异 Yi模型家族的不同参数版本在各项基准测试中展现出显著差异。以下是Chat模型在多维度任务中的表现对比: [![Y

gitblog_00158的博客 456
上一篇: 双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录
下一篇: C-Eval 大语言模型测评 - lm evaluation harness + vllm 跑测评
arkohut
博客等级 码龄3年 401粉丝 14原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值