【实测】单卡跑满血版DeepSeek|CSGHub集成KTransformers

部署ktransformers,加载本地大模型 阅读详情

近日,CSGHub集成了 KTransformers框架,为开发者提供了一种超低成本的大模型推理方案,使AI模型能够在低端硬件上高效运行,而无需依赖昂贵的高端GPU资源。

KTransformers 推理引擎

KTransformers 是由清华大学 KVCache.AI 团队与 APPROACHING.AI 合作开发的开源项目,专注于为研究者和开发者提供本地部署的解决方案。 它旨在降低大模型推理的资源占用,提升易用性,并提供本地推理友好的环境,让大模型推理更轻量。KTransformers 兼容 Hugging Face Transformers API,并支持 OpenAI 和 Ollama 等标准 RESTful API,这使得开发者能够在消费级硬件上轻松运行大语言模型,而无需高端 GPU 集群或昂贵的云端服务。

技术案例展示

本地671B DeepSeek-Coder-V3/R1高效推理:仅使用14GB VRAM和382GB DRAM量化版部署Q4_K_M版本。

硬件需求:

    • 显存(VRAM):14GB
    • 内存(DRAM):382GB
    • 部署环境:支持桌面级硬件(无需 GPU 集群)

性能基准测试

指标KTransformers 性能(tokens/s)对比基线(llama.cpp 2×32核)加速倍数
预填充速度54.21(32核) → 74.36(双路 2×32核) → **286.55**(V0.3 AMX优化)10.3127.79×
解码速度8.73(32核) → 11.26(双路 2×32核) → **13.69**(V0.3 专家选择)4.513.03×

KTransformers 的解码速度比 llama.cpp 提升高达 3.03 倍。在 消费级桌面硬件(24GB VRAM)上实现 671B参数 的DeepSeek-Coder-V3/R1量化模型(Q4_K_M)全量推理,打破千亿级模型必须依赖高端GPU集群的传统限制。

KTransformers 的核心技术特性

异构计算: 支持 GPU 和 CPU 协同工作,灵活分配计算任务,充分利用硬件资源。

性能优化: 采用量化内核和稀疏注意力机制,显著提升长上下文推理效率,降低内存占用。

成本效益: 能够在低成本硬件上运行大型模型,例如,只需 24GB VRAM 的显卡即可运行 DeepSeek-R1 等,大幅降低了硬件成本。

在TechNode “KTransformers enables DeepSeek-R1 with low-cost graphics card” 实测数据显示,搭载KTransformers的RTX 4090D(24GB显存)可流畅运行DeepSeek-R1-671B模型,预处理速度达286 tokens/秒,生成速度14 tokens/秒,硬件成本低于 70,000 RMB,较传统A100/H100方案直降95%以上。

KTransformers跑DeepSeek实测

单卡启动DeepSeek R1 需要的资源:

选择好模型后,一键启动

GPU Memory 只占用12G左右

将接口集到CSGChat中,‌DeepSeek满血测试题实测

CSGHub 集成 KTransformers

CSGHub 作为企业级大模型资产管理与应用平台,致力于为开发者和企业提供一站式大模型管理、推理与部署解决方案。 此次集成 KTransformers 后,用户可以直接在 CSGHub 平台上选择 KTransformers 作为推理引擎,享受更快的推理速度、更低的资源消耗,同时保持对主流模型的兼容性。

OpenCSG社区用户可以直接在社区的专属实例页面使用 KTransformers 作为推理引擎,也可以自己下载部署 CSGHub,在本地环境中使用 KTransformers。

释放本地推理的强大潜力

KTransformers 让大模型推理不再受限于云计算平台。 通过 CSGHub 集成 KTransformers,核心优势:

成本优化: 利用 KTransformers 优化的内核,即使在消费级硬件上也能运行大型 LLM,显著降低硬件成本。

简化部署: CSGHub 提供简单易用的界面,让您轻松部署和管理基于 KTransformers 的模型,告别繁琐的配置。

安全性提升: 将敏感数据保留在本地环境中,降低云端推理带来的安全风险。

社区支持: OpenCSG 社区的用户可以在专属实例页面使用 KTransformers,也可以选择本地部署 CSGHub,根据自身需求定制环境。

CSGHub 多引擎支持:满足多样化推理需求

CSGHub 目前集成了 VLLM、SGLang、TGI、llama.cpp、KTransformers、MindIE 六大文生文推理引擎,涵盖了高吞吐量、高效缓存、低延迟本地推理、分布式部署等不同特点,满足各种模型推理需求。

推理引擎主要特点适用场景
VLLM高吞吐量、分页注意力管理、支持 FlashAttention、广泛硬件兼容大规模生产级部署:适用于大规模推理任务,追求极致吞吐
SGLang高效后端优化、支持 RadixAttention、灵活的前端语言、适配多模态大规模生产级部署:适用于复杂提示、多模态输入和链式调用
TGI生产级稳定性、支持流式输出、量化优化、多种 LLM 支持高兼容性平台部署:适用于生产环境部署,确保低延迟推理
llama.cpp轻量级、适用于 CPU、离线本地运行、高效 C++ 实现低资源轻量部署:适用于资源受限环境和隐私要求较高的场景
KTransformers低延迟高吞吐、优化 KV 缓存、兼容多个计算后端超低资源部署:适用于高性能推理,如对话系统和长文本生成
MindIE专为 Ascend 设备优化、高效算子融合、低时延高吞吐华为算力部署:适用于 Ascend AI 计算场景,如企业级推理和云端部署

如何选择合适的推理引擎?

  1. 追求极致吞吐量和可扩展性? VLLM 和 SGLang 是大规模生产部署的首选。
  2. 需要高稳定性和可靠性? TGI 是生产环境的最佳选择,确保低延迟推理。
  3. 算力资源有限且注重隐私? llama.cpp 适用于离线、CPU 环境,注重资源效率和数据安全。
  4. 希望低成本、高性能地运行 LLM? KTransformers 让你在普通硬件上也能获得出色的推理体验。
  5. 使用华为 Ascend 平台? MindIE 专为 Ascend 设备优化,性能更上一层楼。

展望未来

OpenCSG社区将持续创新,引领大模型推理新方向。CSGHub 将持续迭代优化推理引擎生态,不断引入更多高效推理引擎,以全面适配多样化的应用场景。OpenCSG致力于降低大模型使用门槛,帮助开发者在不同算力环境下灵活部署模型,并提供高效、可定制的推理能力。我们的愿景是打造最强大、最通用的 LLM 应用基座,为客户提供最具性价比的模型基础。

参考链接

KTransformers开源项目:https://github.com/kvcache-ai/ktransformers

技术细节:https://zhuanlan.zhihu.com/p/714877271

TechNode文章:https://technode.com/2025/02/17/tsinghua-universitys-ktransformers-enables-full-powered-deepseek-r1-with-low-cost-graphics-card/

CSGHub开源项目:https://github.com/OpenCSGs/CSGHub

OpenCSG官网:https://opencsg.com/

清华大学KVCache.AI团队联合趋境科技联合的KTransformers开源项目为什么那么厉害 KTransformers是一个由清华大学KVAV.AI团队开发的开源项目,旨在优化大语言模型(LLM)的推理性能,特别是在有限显存资源下运行大型模型。 阅读详情

相关推荐

KTransformers:一个灵活的框架,用于体验前沿的 LLM 推理优化

通过用一行代码实现和注入一个优化模块,用户可以访问与 Transformers 兼容的接口、符合 OpenAI 和 Ollama 的 RESTful API,甚至还有一个简化的类似 ChatGPT 的网页用户界面。要使用提供的内核,用户只需创建一个基于 YAML 的注入模板,并在使用 Transformers 模型之前添加对 `optimize_and_load_gguf` 的调用。如果您需要其他功能,请告诉我们。遍历模型的所有子模块,匹配您在 YAML 规则文件中指定的规则,并用指定的高级模块替换它们。

u013250861的博客 1109

KTransformers:让显卡轻松驾驭满血DeepSeek的秘籍!

嘿,各位技术小伙伴们!在这个AI遍地开花的时代,大模型推理似乎成了我们日常工作的“家常便饭”。但你有没有遇到过这样的尴尬:明明显卡性能爆棚,却只能眼巴巴地看着那些庞然大物(比如DeepSeek)在内存中挣扎?别急,今天咱们就来聊聊一个神奇的开源项目——KTransformers,它能让你的显卡如虎添翼,流畅运行满血DeepSeek!话不多说,咱们这就开整!好了,说了这么多关于KTransformers的内容,相信你已经对它有了初步的了解。

夜夜夜夜 1万+

HttpClient跳过HTTPS证书验证的3种实战方法(含完整代码示例)

本文详细介绍了HttpClient跳过HTTPS证书验证的3种实战方法,包括自定义TrustManager、SSLContext配置和HttpClientBuilder高级定制,并提供完整代码示例。这些方法适用于开发和测试环境,帮助开发者快速解决自签名证书或未认证证书导致的HTTPS请求失败问题,但需注意生产环境的安全风险。

weixin_29213655的博客 534

KTransformers:清华开源框架让单卡24G显存跑DeepSeek-R1 671B大模型,推理速度飙升!+ 实践

KTransformers:告别天价显卡!国产框架让单卡24G显存跑DeepSeek-R1 671B大模型:推理速度飙升

nfkjdx的博客 8198

Rclone替代RaiDrive?零广告免费挂载Alist WebDAV到Windows资源管理器(含自启脚本)

本文详细介绍了如何使用开源工具Rclone替代RaiDrive,实现零广告、全免费的Alist WebDAV挂载方案。通过深入解析配置参数、提供完整的自启动解决方案和解决常见问题,帮助用户在Windows资源管理器中高效管理云存储,提升使用体验。

weixin_33709364的博客 642

NuPlayer 之 Renderer

触发postDrainAudioQueue_l()或postDrainVideoQueue()开始渲染。解码器输出数据 → NuPlayer::Decoder::onMessageReceived。音频数据存入mAudioQueue,视频数据存入mVideoQueue。• 每次写入后通过mNotifyConsumed通知解码器。• 通过AudioSink::write()写入音频设备。• 根据VSync信号和音频时钟调整渲染时机。• 通过Surface直接提交给显示系统。

aningxiaoxixi的博客 321

DeepSeek-R1:使用KTransformers部署(保姆级教程)

KTransformers作为一个开源框架,专门为优化大规模语言模型的推理过程而设计。它支持GPU/CPU异构计算,并针对MoE架构的稀疏性进行了特别优化,可以有效降低硬件要求,允许用户在有限的资源下运行像DeepSeek-R1这样庞大的模型。例如,KTransformers实现了24GB显存环境下本地运行DeepSeek-R1满血版的能力,大大降低了部署成本和技术门槛。

趋吉避凶的博客 1万+

详解各类以太网标准10BASE-T/100BASE-T4/100BASE-FX/1000BASE-X等

以太网是现实世界中最普遍的一种计算机网络。以太网有两类:第一类是经典以太网,第二类是交换式以太网,使用了一种称为交换机的设备连接不同的计算机。经典以太网是以太网的原始形式,运行速度从3-10 Mbps不等;而交换式以太网正是广泛应用的以太网,可运行在100Mbps、1000Mbps和10000Mbps高速率,分别以快速以太网、千兆以太网和万兆以太网的形式呈现

不积跬步,无以至千里! 5万+

清华开源KTransformers-让24GB显卡流畅运行满血DeepSeek-R1

在AI技术飞速发展的今天,大语言模型(LLM)的应用越来越广泛。然而,本地运行这些模型,尤其是像DeepSeek-R1这样的大模型,往往需要高性能的硬件支持,这让许多开发者和研究人员望而却步。今天,为大家推荐一款由清华大学 MADSys 和 Approaching.AI 专为优化大模型本地推理体验而设计的开源框架--KTransformers。它支持在单卡24GB VRAM的GPU上运行满血版的DeepSeek-R1,较llama.cpp而言,预填充阶段性能提升高达27.79倍!

AIBigModel的博客 2857

基于分位数回归的静态CoVaR计算 案例与代码

原文链接:https://bbs.pinggu.org/thread-7925441-1-1.html 一、静态CoVaR模型介绍 二、资料简介 实现对相关期刊论文进行论文重现,解决实证分析中的技术操作问题。里面包含了每一步详细的步骤,可以方便的利用这个手册解决大部分利用分位数回归计算静态CoVaR的论文的模型实现问题。即从数据下载到模型实现一整条操作步骤。 关键词:【分位数回归】【Co...

ChenQihome9的博客 7506

飞行机械臂设计

其后对飞行机械臂系统的机 理模型和基于 ADAMS 的物理模型进行了控制系统的搭建,对于机理模 型,设计了三个输入通道,分别是俯仰力矩,翻滚力矩与偏航力矩,控 制量为翻滚角,俯仰角,偏航角。四旋翼无人机自身具有独特的优势,在无人机上增加机械臂,整个 机体系统相当于一架空中行动自如的空中机器人,可以适应更多的应用场合,能够实现空中抓取,运输载荷,巡航监视等任务。的函数模块如图 4-8 所示,可见输入为 U1,U2,U3,U4,分别对应总力矩,俯仰力矩,翻滚力矩,偏航力矩,控制 量为俯仰角,翻滚角,偏航角。

coldmood77的博客 2921

一文看懂KTransformers:大模型推理的革新利器

大模型发展面临算力与成本困境,云服务器租赁贵且不稳定,本地部署硬件成本高。KTransformers 开源项目应运而生,它能在有限资源下实现大模型本地高效部署,通过异构计算、量化与算子优化、CUDA Graph 加速等技术,提升推理效率,降低成本。虽存在推理速度慢、模型支持有限和 CPU 依赖等局限,但未来有望在多领域广泛应用,推动人工智能技术发展。

weixin_43940494的博客 4781

2023年美高赛HiMCM:A题蒲公英 思路

蒲公英,通常称为蒲公英,是一种原产于欧亚大陆的植物,现在在世界各地都可以找到[1]。这种植物很容易通过其亮黄色的花朵(图1)和独特的“马勃”种子头(图2)来识别。该头部的每颗种子都附着在一个类似降落伞的结构上,称为“冠毛”,有利于风的传播[2]。如果处于“马勃”阶段的单个蒲公英毗邻一块开阔的一公顷土地,请创建一个数学模型来预测蒲公英在 1、2、3、6 和 12个月内的传播情况。确保您的模型考虑了各种气候条件(例如温带、干旱和热带气候)对蒲公英生长的影响。2. 蒲 公英、人类和其他植物之间的关系很复杂。

斌擎科技 7404

Transformers 介绍和详细说明

Transformers以其独特的编码器-解码器结构、多头注意力机制以及位置编码等特性,解决了传统循环神经网络(RNN)和卷积神经网络(CNN)在处理长距离依赖和并行计算方面的不足。:为了提高Transformers模型的可解释性和鲁棒性,研究人员正在探索新的方法和工具来分析和理解模型的行为和决策过程。:为了允许模型同时关注输入序列的不同子空间,多头自注意力机制将自注意力过程并行执行多次(通常为8次或更多),每次使用不同的线性变换矩阵来生成查询、键和值。可以根据需要替换为其他预训练模型的名称。

MrLi的博客 3204

【PINN高级教程】范式融合与前沿应用 第5讲:贝叶斯推断与生成式建模的深度融合

正规化流(Normalizing Flow, NF)通过一系列可逆变换把简单分布映射为复杂后验,从而获得更好的表达能力。算子学习保持映射的物理正确性。贝叶斯推断给出了自然的框架,但直接对高维函数空间做采样(如 MCMC)几乎不可行。1️⃣ 在自己的 PDE 上跑一遍完整的 Bayesian PINN 流模型。的学习机制深度融合,以在保持物理一致性的前提下,高效地从后验分布中采样。2️⃣ 将每个 θ 直接映射到 FNO 权重,得到不同解的采样。的后验 p(θ∣x,y)p(θ∣x,y) 进行近似。

u012133341的博客 474

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

27倍性能!清华开源神器让24GB显卡流畅运行满血DeepSeek

导读在AI技术飞速发展的今天,大语言模型(LLM)的应用越来越广泛。然而,本地运行这些模型,尤其是像DeepSeek-R1这样的大模型,往往需要高性能的硬件支持,这让许多开发者和研究人员望而却步。今天,我们为大家推荐一款由清华大学 MADSys 和 Approaching.AI 专为优化大模型本地推理体验而设计的开源框架–KTransformers。它支持在单卡24GB VRAM的GPU上运行满血版的DeepSeek-R1,性能提升高达27.79倍!

m0_59235245的博客 5230

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

ktransformer本地部署deepseek-R1笔记

基于ktransformer本地部署deepseek-R1的笔记

starvapour的博客 2498

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Transformer宝藏入门教程,五天肝疯了—Transformer最全面的入门指南

随着 BERT、GPT 等大规模语言模型的兴起,越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用。本文档教程里包括了自然语言处理、Transformer模型、注意力机制、pytorch、微调预训练模型、翻译任务、序列标注任务、文本摘要等等模块《Transformers快速入门》电子书。是Hugging Face开发的一个NLP工具包,支持加载大多数现有的预训练模型;教程是帮助自然语言处理(NLP)初学者快速熟悉 Transformers 库的使用方法,它通过具体的实例,一步步。

DAMOXINGHAITAI的博客 3220

清华开源KTransformers:低资源部署满血DeepSeek,速度提升28倍

KTransformers 是一个由清华大学 MADSys 团队和 Approaching.AI 共同开发的开源框架,专注于优化大模型的推理性能。它通过模块注入和异构计算策略,显著提升了大模型在本地部署时的性能和效率。

人工智能讲师分享前沿技术 4137

【大模型】图解Transformers架构

对于Transformers的重要性我想不用多说了。先来个整体视角:再逐步分解开来:Transformer 是一种神经网络,擅长理解序列数据的上下文并从中生成新的数据。它们是首个仅依赖自注意力机制,而不使用 RNN 或卷积的模型。想象一个用于语言翻译的 Transformer 是一个黑盒子。🎩• 输入:一句话(某种语言)。• 输出:它的翻译。但是,这个黑盒子内部发生了什么?让我们一探究竟!🔍• 输入:西班牙语句子 “¿De quién es?

m0_59163425的博客 2964

AI战升级:千亿大模型如何重塑网络安全未来?

AI以黑客的身份学习了自动化攻击技术,并且成功率相当高。根据伊利诺伊大学香槟分校研究团队的最新研究,既然攻击者已经与时俱进,利用AI新技术进行破坏,防御方自然不会坐以待毙,正在积极将AI大模型纳入反制策略,最近发生了一件大事:刚刚完成10亿融资的新生代网络安全领军企业长亭科技,与同为清华系的AI基础设施厂商趋境科技联手,发布了新一代安全大模型解决方案。此次合作将至此,网络安全行业正式迈入千亿大模型时代。

南 阳 的博客 2066

汇总!7种大模型的部署方法!

选择部署框架的关键在于任务需求。只有根据实际需求来确定合适的框架,才能确保项目的顺利推进和成功实现。因此,在选择部署框架时,我们应该深入了解框架的特性、优缺点以及适用场景,综合考虑项目规模、技术栈、资源等因素,从而选择最适合的框架来支撑项目的实施。这样不仅可以提高开发效率,还能降低项目风险,确保项目的顺利推进和最终成功。

python1222_的博客 6857

大模型工具KTransformer的安装

但是本文仅介绍KTransformer的安装方法,由于本地的GPU太老,导致无法正常的运行KTransformer,但是编译安装的过程没什么问题。如果要使用KTransformer的Chat功能,需要把模型路径放在KTransformer安装的根目录上,也就是git clone之后cd进去的那一个路径。子模组 'third_party/llama.cpp'(https://github.com/ggerganov/llama.cpp.git)已对路径 'third_party/llama.cpp' 注册。

weixin_55010563的博客 1777

记录ktransformers的搭建过程

ktransformers 环境搭建全过程记录

yuxiangking的博客 8220

【人工智能】本地部署 KTransformers并加载大模型笔记

本文介绍了本地部署KTransformers框架并加载大模型的详细步骤。首先说明该框架特点及适用场景,然后分步骤讲解环境搭建:包括CUDA安装、CMake配置、conda环境创建、PyTorch等依赖安装。接着介绍从源码编译安装KTransformers的多种方式(简单安装/多CPU支持/多并发支持)。 第三部分列举了安装过程中可能遇到的4类常见问题及解决方案,涉及CUDA环境变量、符号未定义等问题。最后重点演示如何部署DeepSeek-V3大模型,详细说明各运行参数含义,包括最大令牌数、批处理大小等关键配

从善若水的博客 2299

低成本使用满血版DeepSeek R1!基于KTransformer框架的DeepSeek R1 671B本地部署教程

清华大学KVCache.AI团队(同时也是 Mooncake PD 分离推理框架的开发团队)与趋境科技于 2 月 10 日推出了 KTransformers 开源项目,通过一系列创新技术,使得只需一块 24G 显存的 4090D 显卡便能在本地运行全参数的 DeepSeek-R1,并实现了 286 tokens/s 的 Prefill 速度和 14tokens/s 的生成速度。我们先简单了解下 KTransformers 这个项目。

SJJS_1的博客 4520
上一篇: Moonlight-16B-A3B: 变革性的高效大语言模型,凭借Muon优化器打破训练效率极限
下一篇: HF-Mirror停用?别慌!免翻墙|OpenCSG帮你轻松下载模型!
OpenCSG
博客等级 码龄3年 1679粉丝 575原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值