Yi-34B微调训练

具备超强多轮对话能力,南方科大开源SUS-Chat-34B模型,Open LLM Leaderboard领先 在训练数据迭代的过程中,采用精细化的筛选方法,提炼出与模型能力最相关的数据子集,通过在百亿参数级别的模型上进行了快速多次实验,根据通用任务榜单的综合性能标准,确定了最优的数据分布。通过这种策略,模型能够更有效地学习和适应复杂的语言模式和指令,从而在各种评估中表现出更高的性能和更强的适应能力。这使得SUS-Chat-34B在多数指标,尤其是涉及数理逻辑的基准测试中,因为有更加正确的思考方式,指令对齐带来的模型性能降低的问题有所缓解,同时在部分基准测试中获得了相比于预训练模型Fewshot更高的得分。 阅读详情

环境安装

  • 基础环境

# 创建环境
conda create -n llama_factory python=3.10
conda activate llama_factory
# 按照个人情况选择CUDA版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# 安装微调工具
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt
# 安装分布式加速训练库
pip install deepspeed
  • 下载模型

# 镜像地址:https://hf-mirror.com/
conda activate base
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False 01-ai/Yi-34B-Chat --local-dir Yi-34B-Chat
# 若下载中断导致文件校验失败,可通过--include或--exclude指定多个文件,以空格分隔

训练过程

  • 配置文件

# 参考:https://github.com/hiyouga/LLaMA-Factory/issues/256
vi ds_config_lora.json
{
    "bfloat16": {
        "enabled": false
    },
    "fp16": {
        "enabled": "auto"
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "betas": "auto",
            "eps": "auto",
            "weight_decay": "auto"
        }
    },
    "scheduler": {
        "type": "WarmupLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        },
        "overlap_comm": true,
        "contiguous_gradients": true,
        "sub_group_size": 1e9,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_fp16_weights_on_model_save": true
    },
    "gradient_accumulation_steps": "auto",
    "gradient_clipping": "auto",
    "steps_per_print": 1e5,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
  • 训练脚本

deepspeed --include localhost:0,1,2,3,4,5,6,7 src/train_bash.py \
    --stage sft \
    --do_train \
    --model_name_or_path /path/to/model/Yi-34B-Chat/ \
    --dataset alpaca_gpt4_zh \
    --template yi \
    --finetuning_type lora \
    --lora_target k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj \
    --output_dir ./yi_sft_checkpoint \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 5e-5 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --fp16 \
    --deepspeed "./ds_config_lora.json"

ZeRO-1:分割Optimizer States;ZeRO-2:分割Optimizer States与Gradients;ZeRO-3:分割Optimizer States、Gradients与Parameters

  • 量化训练

--quantization_bit 4
# ValueError: DeepSpeed ZeRO-3 is incompatible with quantization.
# 注意:参数配置行之间不要保留注释,会导致其后的配置不生效

常见问题

内存占用超高

since you are offloading both parameters and optimizer state to CPU you would need roughly 18 bytes per model parameter. That means for 7B model you would need ~126GB of CPU memory. Please see page 3 of https://arxiv.org/pdf/1910.02054.pdf for a discussion of the memory breakdown.

参考:How to calculate the cpu memory required for DeepSpeedZeRoOffload initialization? · Issue #3606 · microsoft/DeepSpeed · GitHub

通过启用DeepSpeed的ZeRO-3优化,可直接将模型拆分加载到显存中,初始化和训练过程中一直保持较低的内存占用。

参考文档

零一万物-Yi技术报告细节分享 本次给大家带来Yi的技术报告内容,Yi模型也开源比较久了,开源不易,且用且珍惜。Yi-6B模型的扩展深度到Yi-9B模型研究也比较有意思,尤其是通过余弦相似度来选择模型扩展层的方法。吃果冻不吐果冻皮专注AI工程化(LLM/MLOps/LLMOps)落地。131篇原创内容公众号2024年2月大模型文章集锦。 阅读详情

相关推荐

Yi: Open Foundation Models by 01.AI

我们介绍了Yi模型家族,这是一系列语言和多模态模型,展示了强大的多维能力。Yi模型族基于6B和34B预训练的语言模型,然后我们将它们扩展到聊天模型、200K长上下文模型、深度放大模型和视觉语言模型。我们的基本模型在MMLU等广泛的基准测试上实现了强大的性能,我们微调的聊天模型在AlpacaEval和Chatbot Arena等主要评估平台上提供了强大的人类偏好率。在我们可扩展的超级计算基础设施和经典的transformer架构的基础上,我们将Yi模型的性能主要归因于我们的数据工程工作所带来的数据质量。

c_cpp_csharp的专栏 201

零一科技Yi-34B Chat大模型环境搭建&推理

国产大模型此起彼伏,各种刷榜。作为没有能力训练的我们,只能跟着大佬开源的模型尝试下效果,零一科技23年底发布的Yi大模型,之前就有尝试,现汇总总结下,OK,我们开始吧。

zzq1989_的专栏 2220

AI辅助Unity UI开发:从设计稿到Prefab的自动化实践

在游戏开发中,UI界面构建常涉及大量重复性工作,如UGUI布局、Prefab制作等。通过AI代码生成技术,可将设计稿自动转换为可编译的工程结构,其原理是结合结构化描述与项目规范,生成编辑器脚本,从而提升开发效率并减少人为错误。这一方法尤其适用于需要快速迭代的客户端开发场景,能有效降低UI卡顿风险。本文以Codex为例,详细介绍了从设计稿解析到Prefab生成的完整链路,并分享了Codex安装、接入DeepSeek等实操经验,帮助开发者将机械搬运交给AI,聚焦更高价值的设计决策。

weixin_27676369的博客 326

【Yi-34B-Chat-Int4】使用4个2080Ti显卡11G版本,运行Yi-34B模型,5年前老显卡是支持的,可以正常运行,速度 21 words/s,vllm要求算力在7以上的显卡就可以

11月24日,零一万物基正式发布并开源微调模型 Yi-34B-Chat,可申请免费商用。同时,零一万物还为开发者提供了 4bit/8bit 量化版模型,Yi-34B-Chat 4bit 量化版模型可以直接在消费级显卡(如RTX3090)上使用。 但是人家没有说是一张就行,经测试需要 42G 显存

freewebsys的专栏 5329

LEC/FORMAL --- PARTIII debug

lec(logic equivalence checking)又叫formal check,是对ic design的综合,PR前后的设计进行逻辑对比检查的工具/手段,保证综合不改变rtl原始的logic function。目前用的较多的就是C家的formal工具。接下来介绍一下lec过程中遇到的问题以及debug手段。...

sinat_27691203的博客 7716

基于Python的信用卡欺诈检测机器学习案例报告

当今时代,在线支付已成为一种高效便捷的支付方式,我们可以突破时间和空间的限制,输入我们的信用卡各项信息就可以完成在线支付。但随之而来的是这种支付方式也具备一定的风险性,我们无法辨别对方是否是恶意套取我们资金的非法分子。当信用卡信息数据泄露导致金钱失窃并最终失去客户忠诚度和公司声誉时,组织、消费者、银行和商家都会面临风险。2017 年,未经授权的信用卡操作达到了惊人的 1670 万受害者。此外,据美国联邦贸易委员会 (FTC) 报告,2017 年信用卡欺诈索赔数量比上一年高出 40%。

weixin_45673389的博客 6698

LLM - 大模型速递之 Yi-34B 入门与 LoRA 微调

零一万物 Yi-34B-Chat 模型简介与 LoRA 实战。

BITDDD小栈 4809

深度强化学习 | 基于SAC算法的动态避障(ROS C++仿真)

本文介绍了基于SAC(软性演员-评论家)算法的机器人运动规划方法,通过PyTorch框架实现了端到端训练,并部署到Python和ROS C++中。实验结果显示,基于SAC算法的智能体在动态避障任务中表现良好,能实现从起点到终点的无碰撞导航。

FRIGIDWINTER的博客 8226

猎户星空发布Yi-34B微调模型:OrionStar-Yi-34B-Chat的优势探析

最近,猎户星空公司推出的OrionStar-Yi-34B-Chat模型,作为基于零一万物开源Yi-34B模型的改进版,不仅在语言理解和生成方面取得了显著成就,也在开源AI领域树立了新的标杆。在实际应用中,OrionStar-Yi-34B-Chat表现出了强大的交互对话能力、精准的语义理解和高效的知识问答能力。中文理解能力:在C-Eval评测基准中,OrionStar-Yi-34B-Chat以77.7分的成绩领先于其他国产大模型,展现了其对中文语境的深刻理解。AI快站模型免费加速下载。

nulifancuoAI的博客 849

循环神经网络(RNN)原理及BPTT算法

因循环神经网络基于ANN之上,理解ANN有助于理解RNN,所以阅读此文,建议先阅读。

L 1770

华为OD机试 - 小扇和小船的数字游戏 - 二进制(Python/JS/C/C++ 2024 C卷 200分)

二进制表示:任何数 n 的二进制表示中,要找到下一个有相同数量的1的数,我们需要在最低位的0后面的最低位的1进行操作。右侧交换法则:找到右侧的第一个0,位于第一个1的左边,将这个0变成1(提升这个位),并将这个1变成0(下移这个位)。调整尾部1:为了得到最小的数,将所有低于已交换的1的位重置,使得所有1尽可能靠右。

学Java,找哪吒 1163

【亲测免费】 Yi-34B-Chat模型的配置与环境要求

Yi-34B-Chat模型的配置与环境要求 引言 在当前AI技术飞速发展的时代,大语言模型的性能和可用性成为关注的焦点。Yi-34B-Chat模型作为01.AI团队推出的下一代开源大型语言模型,以其卓越的双语能力和出色的语言理解性能,在众多领域中展现了巨大的应用潜力。然而,为了确保模型能够高效稳定地运行,正确的环境配置和依赖管理是至关重要的。本文旨在详细说明Yi-34B-Chat模型的环境要求和配...

gitblog_02516的博客 468

大模型部署指南:SGLang 框架

本文介绍使用 SGLang 框架部署大模型

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 1620

详细说一下yi 34b的整个结构,和基本原理和流程

Yi-34B通过长上下文架构与高效训练技术,在34B规模实现超越70B模型的性能(如Hugging Face双料冠军27)。其Apache 2.0开源协议推动企业级应用,如千页PDF解析、多轮对话系统等场景。未来演进方向包括多模态扩展(如Ovis2-34B3)和推理端进一步优化。

具身机器人和通用AI 1160

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Yi-1.5-34B性能评测:超越同量级模型的数学推理与代码生成能力深度对比

Yi-1.5-34B是HuggingFace镜像/Rose项目下的重要模型,作为Yi模型的升级版,它在500B高质量语料上持续预训练,并在3M多样化微调样本上进行了优化,在数学推理与代码生成能力方面展现出超越同量级模型的出色表现。 ## 模型概述:强大的基础架构与核心优势 🚀 Yi-1.5-34B属于Base模型,在3.6T预训练 tokens 的加持下,具备了强大的语言理解和生成基础。从项

gitblog_01152的博客 293

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Yi-34B开源大模型:参数效率拐点下的部署与微调实战

大模型参数效率是平衡性能与资源的关键。Yi-34B通过分组查询注意力(GQA)和高质量训练数据,在34B参数量级实现接近70B模型的能力,显著降低显存需求。这一突破使消费级显卡部署成为可能,并支持LoRA等高效微调,快速构建行业专属模型。在中文长文本理解、多轮对话等场景中表现优异,为开发者提供了高性价比的基座选择。

weixin_29053383的博客 306

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Yi大模型技术解析与应用实践:从基础推理到专业微调

Yi系列大语言模型作为新一代双语开源大模型,在语言理解、常识推理、代码生成等任务上展现出色表现。本文将深入解析Yi模型的技术架构,提供多种实践路径,并展示其在真实场景中的应用价值。 ## 概念解析:Yi模型架构与核心优势 Yi系列模型基于Transformer架构开发,采用与Llama相同的模型结构,但并非Llama的衍生品。这一设计选择使得Yi能够充分利用Llama生态的稳定性和兼容性,同时

gitblog_00580的博客 381

论文导读:消费级大模型Yi (零一万物技术揭密)

Yi模型家族是一系列展示出强大多维能力的自然语言和多模态模型。Yi模型家族基于6B和34B预训练语言模型,然后我们将其扩展到聊天模型、20万长上下文模型、深度扩展模型和视觉-语言模型。

渡江客涂鸦板 8840

Yi:从零训练的双语开源大语言模型实战指南

Yi 是 01.AI 从零开始训练的双语(中英)开源大语言模型,覆盖 6B、9B、34B 等参数规模,并提供了 Base、Chat 以及 200K 长上下文三类变体。仓库不仅托管模型权重,还内置推理演示、SFT 微调与 AWQ/GPTQ 量化的可运行脚本。本文面向有 Python 基础、准备在本地部署或二次开发 Yi 的开发者,带你从安装一路做到微调与量化。 ## 一、快速上手 🚀 先确认运

gitblog_00415的博客 834

Rose/YI-1.5-34B-SFT微调实战:基于Lora技术优化模型心智能力的完整指南

欢迎来到大语言模型微调的世界!今天我将为大家详细介绍如何通过**Lora技术**对**YI-1.5-34B-SFT模型**进行心智能力优化的完整实战教程。这个基于弱智吧数据集的微调项目,能够显著提升模型在逻辑推理和幽默理解方面的表现,让AI助手变得更加聪明有趣。🚀 ## 📊 项目核心亮点与模型参数 **Rose/YI-1.5-34B-SFT**是一个专门针对中文语境优化的智能对话模型,通过

gitblog_00086的博客 638

swift 训练InternVL2

【代码】swift 训练InternVL2。

具身机器人和通用AI 886

Rose/YI-1.5-34B-SFT高级技巧:弱智吧数据集训练提升模型交互能力

Rose/YI-1.5-34B-SFT是一款基于Llama架构的强大AI模型,通过使用弱智吧数据集进行训练,能够显著提升模型的交互能力和回答趣味性。本文将详细介绍如何利用该模型的训练脚本,通过简单步骤实现模型性能的优化,让你的AI助手更懂用户需求。 ## 一、为什么选择弱智吧数据集进行训练? 弱智吧数据集以其独特的问答风格和贴近日常的交互场景而闻名,包含大量生活化、趣味性的对话样本。使用该数据

gitblog_00764的博客 747

Yi-1.5-34B多语言能力实测:中文理解与英文编码任务的惊艳表现

**Yi-1.5-34B大语言模型**在双语处理能力上展现出了令人惊艳的表现!作为一款拥有340亿参数的先进AI模型,Yi-1.5-34B不仅在中文理解方面表现出色,在英文编码任务上同样展现了卓越的能力。这款由中国01.AI开发的大语言模型,基于5000亿token的高质量语料进行持续预训练,并在300万个多样化微调样本上进行了精细调优,真正实现了中英文双语能力的完美平衡。 ## 🔥 Yi-1

gitblog_00318的博客 404

Yi-VL多模态大模型实战:推理优化与LoRA微调全流程

多模态大模型通过视觉编码器与语言模型协同工作,实现图文联合理解与生成。其核心原理是将图像编码为视觉token,与文本token融合后自回归生成。技术价值在于以较低成本适配垂直场景,如文档理解、视觉问答等。工程实践中,推理阶段需关注显存优化与预处理一致性,微调则常采用LoRA降低训练门槛。本文以Yi-VL为例,详细拆解从环境搭建、推理加速到LoRA微调的数据构造与参数配置,提供可复现的实践路径,帮助开发者快速落地多模态应用。

weixin_29039773的博客 236

零一万物Yi-1.5开源,34B/9B/6B多尺寸,34B超Qwen1.5-72B

近年来,大型语言模型(LLM)在各个领域展现出惊人的能力,为人们的生活和工作带来了巨大的改变。然而,大多数开源 LLM 的性能仍然无法与闭源模型相媲美,这限制了 LLM 在科研和商业领域的进一步应用。为了推动 LLM 的开源发展,零一万物团队推出了全新一代的开源语言模型——Yi-1.5,并提供 34B/9B/6B 三种不同尺寸,旨在为研究人员和开发者提供更多选择,助力 LLM 的发展与应用。Huggingface模型下载:AI快站模型免费加速下载:01-ai。

nulifancuoAI的博客 1802
上一篇: 水印识别和位置检测效果展示
lsjlnd
博客等级 码龄18年 23粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值