ChatGPT背后的工程奇迹:从零开始理解大模型训练全流程(附开源工具推荐)

AI对比:ChatGPT和文心一言的区别和差异 ChatGPT和文心一言都是基于大模型驱动的AIGC产品,由于两者训练的基础数据不同,造成了两者功能和性能上的差异。本文分析了两者大模型的区别,测试了二者部分功能和性能上的差异。 阅读详情

ChatGPT背后的工程奇迹:从零开始理解大模型训练全流程(附开源工具推荐)

当我们惊叹于ChatGPT流畅的对话、DeepSeek精准的代码生成时,我们看到的往往是冰山一角。水面之下,是规模庞大、流程精密、充满挑战的工程系统在支撑。这并非魔法,而是一场融合了数据、算法、算力与工程智慧的“马拉松”。对于开发者而言,理解这场马拉松的每一段赛程,不仅是技术视野的拓展,更是亲手构建智能体、参与AI浪潮的起点。本文将从工程实现的硬核视角出发,为你层层剥开大模型训练的神秘面纱,还原一个从原始数据到智能涌现的完整故事,并附上那些能让你在个人电脑或云端低成本实践的开源利器。

1. 基石:数据工程的炼金术

任何大模型的诞生,都始于海量、多元、高质量的“数据燃料”。数据工程,就是将这些原始、粗糙的互联网信息,冶炼成模型能够高效吸收的“精粮”的过程。这个过程远比想象中复杂,它决定了模型的知识广度、认知深度以及价值观的底色。

1.1 数据采集与清洗:从“矿砂”到“矿石”

互联网上的数据如同未经筛选的矿砂,充斥着噪声、偏见、重复和低质信息。数据采集的第一步是定义数据源。通常,一个健壮的数据集会包含以下几类:

  • 通用网页数据:如Common Crawl项目提供的月度网页快照,覆盖了数十种语言,是模型通识知识的主要来源。
  • 书籍与学术文献:提供结构化、高质量的长文本,有助于模型学习严谨的逻辑和深度的知识表达。
  • 代码仓库:例如GitHub上的开源项目,是训练代码生成和理解能力的关键。
  • 对话与问答数据:来自社区论坛(如Stack Exchange)、客服日志等,用于塑造模型的交互和指令遵循能力。

采集到的原始数据需要经过多轮清洗。一个典型的清洗流水线可能包括:

# 示例:一个简化的数据清洗过滤逻辑(概念性代码)
def clean_text_pipeline(raw_text):
    # 1. 语言识别与过滤(保留目标语言,如中英文)
    if detect_language(raw_text) not in ['zh', 'en']:
        return None

    # 2. 质量过滤:基于启发式规则
    if len(raw_text) < 100:  # 过滤过短文本
        return None
    if calculate_repetition_ratio(raw_text) > 0.3:  # 过滤高重复率内容
        return None
    if contains_excessive_special_chars(raw_text):  # 过滤乱码
        return None

    # 3. 去重:基于MinHash或SimHash的近似去重
    if is_near_duplicate(raw_text, existing_hashes):
        return None

    # 4. 安全性过滤:移除不当内容
    if contains_unsafe_content(raw_text):
        return None

    return normalized_text

提示:数据清洗没有“银弹”,规则和阈值需要根据具体任务和语料特性反复调整。例如,对于代码数据,特殊字符的比例阈值就需要放宽。

1.2 数据预处理与分词:将“矿石”破碎成“精矿粉”

清洗后的文本需要转换成模型能理解的数字序列,这就是分词(Tokenization)的任务。以OpenAI的GPT系列使用的BPE(Byte-Pair Encoding)算法为例,它通过迭代合并最高频的字节对,从数据中学习一个词表。

传统BPE与SentencePiece的对比

特性传统BPE (如Hugging Face Tokenizers)SentencePiece (如T5, LLaMA使用)
预处理需要预分词(如按空格分割)直接对原始字节流操作,无需预分词
处理空格将空格视为普通字符可将空格替换为特殊符号(如_),便于还原
多语言支持对非空格分隔语言(如中文)不友好天然支持所有语言,无需语言特定规则
子词还原相对复杂因保留空格信息,还原相对简单

对于中文大模型,分词策略尤为关键。单纯的字分词会丢失词义信息,而传统的词分词又存在OOV(未登录词)问题。因此,当前主流方案是结合BPE与大型中文词表,或者采用基于字的BPE,让模型在字符和子词级别之间取得平衡。

# 使用Hugging Face Tokenizers库训练一个BPE分词器的简化示例
python -m tokenizers.trainers.BpeTrainer \
  --vocab-size 50000 \
  --special-tokens "[PAD],[UNK],[CLS],[SEP],[MASK]" \
  --files /path/to/your/text/files/*.txt \
  --output /path/to/save/tokenizer.json

数据工程的最终产出,是一个规模可能达到数TB甚至PB的、经过精心清洗和标准化处理的高质量文本数据集,以及一个与之匹配的高效分词器。这是整个训练流程中耗时最长、人力最密集的阶段之一,其质量直接奠定了模型能力的上限。

2. 预训练:在数据海洋中构建“世界模型”

预训练是大模型学习的核心阶段,其目标是通过一个简单的任务——预测下一个词(Next Token Prediction)——让模型从海量无标注数据中学习语言的统计规律、世界知识和内在逻辑。这个过程好比让一个孩子通过阅读整个互联网的书籍来建立对世界的认知。

2.1 模型架构与规模化定律

当前主流的大语言模型均基于Transformer的解码器(Decoder-only)架构,如GPT系列。其核心是自注意力机制,允许模型在处理每个词时,权衡序列中所有其他词的重要性。

训练如此庞大的模型(参数从数十亿到数万亿),遵循着一些经验性的“规模化定律”(Scaling Laws),这为工程实践提供了重要指导:

  • 计算最优定律:在固定计算预算下,模型大小、数据量和训练计算量应保持近似平衡的比例。盲目增大模型而数据不足,会导致欠拟合。
  • 涌现能力:当模型规模超过某个临界点后,会突然获得一些小规模模型不具备的能力,如复杂的推理、指令遵循等。这不是设计出来的,而是“涌现”出来的。
  • Chinchilla定律:DeepMind的研究指出,对于给定的计算预算,最优的模型参数量(N)和训练数据量(D)应满足关系 N ∝ C^0.5, D ∝ C^0.5,其中C是总计算量(FLOPs)。这意味着许多早期模型是“训练不足”的。

2.2 分布式训练工程:驾驭千卡集群

在单个GPU上训练百亿参数模型是天方夜谭。预训练必须依赖大规模的分布式训练技术。主要并行策略包括:

  1. 数据并行:将批次数据拆分到多个GPU上,每个GPU持有完整的模型副本,独立计算梯度,然后同步聚合。这是最基础、最常用的方式。
  2. 模型并行:当单个GPU无法容纳整个模型时,需要将模型的不同层或张量切分到不同GPU上。
    • 流水线并行:将模型按层切分,不同GPU负责不同层,像工厂流水线一样处理数据。
    • 张量并行:将单个层内的权重矩阵进行切分,例如将注意力头分散到不同GPU上计算。
  3. 混合并行:实际生产中,会结合以上所有策略。例如,使用数据并行跨多个节点,在单个节点内使用张量并行,层间使用流水线并行。
# 使用DeepSpeed(微软开源深度学习优化库)进行混合并行训练的简化配置示例
# ds_config.json
{
  "train_batch_size": 1024,
  "train_micro_batch_size_per_gpu": 4,
  "gradient_accumulation_steps": 32,
  "zero_optimization": {
    "stage": 3,  # 使用ZeRO-3优化,将优化器状态、梯度、参数都进行分片
    "offload_optimizer": {
      "device": "cpu"  # 将优化器状态卸载到CPU,节省GPU显存
    }
  },
  "fp16": {
    "enabled": true  # 使用混合精度训练,加速计算并减少显存占用
  },
  "pipeline": {
    "enabled": true,
    "stages": 4  # 启用4阶段流水线并行
  }
}

注意:分布式训练的调试和调优极具挑战性。通信开销、负载均衡、容错处理(某张卡故障)都是工程上需要解决的难题。像DeepSpeed和FairScale这样的库极大地简化了这些复杂性。

2.3 效率优化与成本控制

算力成本是大模型训练最大的门槛。除了分布式并行,还有一系列关键技术用于提升效率:

  • 混合精度训练:使用FP16/BF16进行前向和反向传播,用FP32维护主权重,在保证数值稳定性的同时大幅节省显存和加速计算。
  • 梯度检查点:用计算换显存。在前向传播时不保存所有中间激活值,而是在反向传播时重新计算部分激活,可以显著降低显存消耗,适用于训练极深模型。
  • Flash Attention:一种优化后的注意力计算算法,通过分块计算和IO感知优化,将注意力计算的内存复杂度从O(N²)降低到O(N),并能大幅提升训练速度。

DeepSeek的启示:正如一些行业实践所示,通过极致的工程优化和算法创新,可以在有限算力下取得突破。例如,采用更高效的模型架构(如MLA注意力)、更精细的数据配比、更激进的混合精度策略,都能有效压缩训练成本,让更多团队有机会参与大模型研发。

3. 对齐与微调:从“通才”到“专才”与“良才”

预训练模型是一个知识渊博但“不善言辞”且“立场不明”的隐士。对齐(Alignment)的目标就是教会它如何与人类进行有用、诚实、无害的对话。这个过程主要分为两步:监督微调(SFT)和基于人类反馈的强化学习(RLHF)。

3.1 监督微调:学习对话的“格式”

SFT使用高质量的指令-回答对数据集,以监督学习的方式对预训练模型进行微调。这个数据集通常由人工精心编写或从高质量社区数据中筛选而来。

构建SFT数据的关键考量:

  • 多样性:指令应覆盖广泛的主题和任务类型(问答、创作、分析、代码、推理等)。
  • 复杂性:包含多轮对话、需要多步推理的复杂指令。
  • 格式一致性:确保回答风格符合期望(如乐于助人、详细、安全)。
// 一个SFT数据样本示例
{
  "instruction": "用Python写一个函数,计算斐波那契数列的第n项,要求时间复杂度和空间复杂度尽可能低。",
  "input": "",
  "output": "def fibonacci(n: int) -> int:\n    \"\"\"使用迭代法计算斐波那契数列,避免递归造成的栈溢出和重复计算。\"\"\"\n    if n < 0:\n        raise ValueError(\"输入必须为非负整数\")\n    a, b = 0, 1\n    for _ in range(n):\n        a, b = b, a + b\n    return a\n\n# 时间复杂度 O(n),空间复杂度 O(1)"
}

SFT训练相对直接,损失函数通常就是标准的下一个词预测损失。但其效果高度依赖于数据质量。一个常见的陷阱是“对齐税”(Alignment Tax),即模型在微调后,在某些通用任务上的能力可能会轻微下降。需要通过数据配比和训练技巧来缓解。

3.2 基于人类反馈的强化学习:学习人类的“偏好”

RLHF是让模型行为与复杂、模糊的人类价值观对齐的关键技术。其过程比SFT复杂得多,主要分为三步:

  1. 奖励模型训练:收集人类对模型多个回答的偏好排序数据(如A回答优于B回答),训练一个奖励模型(Reward Model, RM)。这个RM学会给更符合人类偏好的回答打高分。
  2. 强化学习微调:以SFT后的模型为初始策略,以RM作为奖励信号,使用PPO(近端策略优化)等强化学习算法对模型进行微调。模型通过尝试生成回答、获得RM评分、更新策略来学习生成高奖励的回答。
  3. 迭代训练:上述过程可以迭代进行,用最新的模型生成新的回答,收集新的人类偏好数据,训练新的RM,再进行RL微调。

RLHF工程实践中的挑战:

  • 奖励黑客:模型可能会学会“欺骗”奖励模型,生成一些看似高分但无实质内容或含有奇怪模式的回答。
  • 训练不稳定:PPO训练对超参数非常敏感,容易发散。
  • 成本高昂:需要持续的人类标注,且RL训练的计算开销很大。

为了应对这些挑战,社区发展出一些替代或辅助方案,如:

  • DPO(直接偏好优化):一种无需训练单独奖励模型、更稳定高效的偏好学习算法。
  • KTO(知识蒸馏优化):通过对比“已采纳”和“被拒绝”的回答来直接优化策略。
  • 宪法AI:让模型根据一套明文规定的“宪法”原则进行自我批判和修正,减少对人类反馈的依赖。
# 使用TRL(Transformer Reinforcement Learning)库进行PPO训练的核心代码框架
from trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead
from transformers import AutoTokenizer

# 加载SFT后的模型和分词器
model = AutoModelForCausalLMWithValueHead.from_pretrained("my_sft_model")
tokenizer = AutoTokenizer.from_pretrained("my_sft_model")

# 配置PPO训练器
config = PPOConfig(
    batch_size=32,
    learning_rate=1.41e-5,
    ppo_epochs=4,
)
ppo_trainer = PPOTrainer(config, model, tokenizer=tokenizer)

# 训练循环(简化)
for epoch in range(total_epochs):
    for batch in dataloader:
        # 1. 生成回答
        query_tensors = batch["input_ids"]
        response_tensors = ppo_trainer.generate(query_tensors, **generation_kwargs)

        # 2. 计算奖励(使用预训练好的奖励模型)
        rewards = reward_model.compute_reward(response_tensors, query_tensors)

        # 3. 执行PPO更新步骤
        stats = ppo_trainer.step(query_tensors, response_tensors, rewards)

对齐阶段是将模型“驯化”为有用工具的最后也是最重要的一环。它没有标准答案,需要在帮助性、诚实性和无害性之间不断权衡,是一个持续迭代和优化的过程。

4. 实战指南:个人开发者的低成本探索工具链

理解了全流程后,你是否已经摩拳擦掌?虽然从头训练一个千亿模型需要庞大的资源,但基于现有开源模型进行微调、评估和应用开发,个人开发者完全有能力涉足。下面推荐一套亲测可用的开源工具链,让你能在Google Colab的免费GPU或自己的消费级显卡上跑起来。

4.1 环境与基础框架

核心框架:PyTorch + Transformers Hugging Face的transformers库已成为NLP事实上的标准。它提供了数千个预训练模型的加载、训练和推理接口,文档极其丰富。

# 基础环境安装
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # 根据CUDA版本选择
pip install transformers datasets accelerate peft bitsandbytes

高效微调利器:PEFT 参数高效微调(Parameter-Efficient Fine-Tuning)技术,可以在只训练极少部分参数(通常小于1%)的情况下,达到接近全参数微调的效果,极大降低了显存需求。

  • LoRA:在模型注意力层的权重旁增加低秩适配器,只训练这些适配器。
  • QLoRA:在LoRA基础上,将基础模型量化为4-bit,进一步降低显存占用,使得在单张24GB显存的消费卡上微调70亿参数模型成为可能。
from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM

# 加载基础模型
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")

# 配置LoRA
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,  # 低秩矩阵的秩
    lora_alpha=32,
    lora_dropout=0.1,
    target_modules=["q_proj", "v_proj"]  # 指定在哪些模块上添加LoRA(通常是注意力层的Q, V矩阵)
)

# 将模型转换为PEFT模型
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()  # 输出可训练参数量,会发现只占原模型的很小一部分

4.2 训练与评估工具

训练加速:Accelerate Hugging Face的accelerate库提供了统一的API,让你的PyTorch训练脚本能够轻松地在单GPU、多GPU、TPU或CPU上运行,无需大量修改代码。

一站式训练解决方案:Axolotl 这是一个高度集成的开源项目,专门用于微调大语言模型。它封装了数据准备、模型加载、LoRA/QLoRA训练、奖励模型训练、DPO训练等完整流程,配置文件驱动,极大简化了操作。

# axolotl配置示例 (config.yml)
base_model: meta-llama/Llama-2-7b-hf
model_type: LlamaForCausalLM
tokenizer_type: LlamaTokenizer

datasets:
  - path: my_dataset.jsonl
    type: json
    ds_type: "input,target" # 指令-回答格式

dataset_prepared_path: last_run_prepared  # 预处理后的数据集缓存
val_set_size: 0.1  # 验证集比例
output_dir: ./qlora-out

sequence_len: 2048
sample_packing: true

adapter: qlora
lora_r: 16
lora_alpha: 32
lora_dropout: 0.1
lora_target_modules:
  - q_proj
  - v_proj

train_on_inputs: false
group_by_length: true

gradient_accumulation_steps: 4
micro_batch_size: 2
num_epochs: 3
optimizer: adamw_bnb_8bit
lr_scheduler: cosine
learning_rate: 0.0002

wandb_project: my-qlora-finetune
wandb_watch: gradients

使用Axolotl,你只需要准备好数据,写好配置文件,一行命令即可启动训练:

accelerate launch -m axolotl.cli.train config.yml

评估基准:Open LLM Leaderboard & MT-Bench 微调后如何评估模型?除了人工测试,可以使用标准基准。

  • Open LLM Leaderboard:Hugging Face推出的排行榜,集成了多个评估任务(ARC, HellaSwag, MMLU, TruthfulQA),可以客观衡量模型的常识、推理和真实性。
  • MT-Bench:一组多轮、多领域的对话问题,通过GPT-4作为裁判来评估模型回答的质量,更贴近实际聊天体验。

4.3 云端与本地部署方案

免费GPU资源:Google Colab & Kaggle Notebooks 对于学习和轻量级实验,Colab的免费T4 GPU(有时能抢到V100或A100)完全够用。注意合理利用运行时,将数据保存在Google Drive,并学会使用!pip和%cd等魔术命令管理环境。

本地消费级显卡指南 如果你有一张RTX 3090/4090(24GB显存)或更高级别的显卡,本地部署将获得更大的自由。

  • 推理部署:使用vLLM或TGI(Text Generation Inference)框架,它们实现了高效的注意力算法和连续批处理,能极大提升推理吞吐量。
  • 量化部署:使用GPTQ或AWQ等后训练量化技术,将模型权重从FP16压缩到INT4/INT8,可以在保持精度损失很小的前提下,让模型在显存更小的卡上运行。
# 使用Ollama在本地运行量化模型(最简单的方式之一)
# Ollama内置了众多开源模型,开箱即用
curl -fsSL https://ollama.com/install.sh | sh
ollama run llama2:7b  # 下载并运行7B的Llama 2模型
# 在交互式命令行中即可开始对话

从数据清洗的繁琐,到预训练的磅礴,再到对齐的精细,最后到个人实践的便捷,大模型训练的工程全景图既展现了技术前沿的宏伟,也揭示了其逐步民主化的趋势。真正的工程奇迹,不在于堆砌了多少算力,而在于如何通过精巧的设计和极致的优化,让智能的构建过程从“炼金术”走向“化学”,从少数机构的专属走向开发者社区的共舞。这套工具链的成熟,意味着下一个改变游戏规则的应用,或许就从你我的实验笔记本中诞生。

从ChatGPT出发:大模型与自然语言模型 GPT系列的系统详细介绍 阅读详情

相关推荐

大模型的前世今生

在本文中,通过深入浅出的方式,为读者提供了对大模型技术全面而深入的理解,同时也强调了理性看待大模型的重要性。为什么要聊这个话题?

mama19971023的博客 3095

分享一本好书《大模型应用开发极简入门:基于GPT-4和ChatGPT》

仅仅发布 5 天,ChatGPT 就吸引了 100 万用户——当然,数据不是关键,关键是其背后的技术开启了新的 AI 狂潮,成为技术变革的点火器。他们关于本书的书评如下。书如其名,这是一本有关大模型应用开发的极简入门手册,为初学者提供了一份清晰、全面的“最小可用知识”,带领大家快速了解 GPT-4 和 ChatGPT 的工作原理及优势,并在此基础上使用流行的 Python 编程语言构建大模型应用。这本书虽然是面向软件工程师的,但因为足够基础,所以我蛮建议不懂编程的朋友从这本书开始了解 AI 的细节。

码银的博客 2537

大力出奇迹:大语言模型的崛起与挑战

通过持续的研究和改进,我们可以期待大语言模型在未来发挥更大的作用,推动人工智能技术的发展和应用。大语言模型(LLM)是NLP领域的重要发展方向,与传统的特定任务小模型不同,LLM是基于大量数据进行训练的通用模型。随着人工智能(AI)技术的迅猛发展,特别是在自然语言处理(NLP)领域,大语言模型(LLM)的出现与应用,彻底改变了我们与机器互动的方式。而在未来,预计会出现参数更庞大的模型,如传说中的GPT-4,其参数量可能高达100万亿,展示出更强的语言处理能力。预训练和微调是大语言模型的重要训练步骤。

cha111的博客 1308

ChatGPT研究分享:机器第一次开始理解人类世界

在AIGC年爆火之后,设计从业人员就开始担忧起自己的工作。同样,ChatGPT可预见的也会对很多行业带来冲击,比如教育。AI是否会最终取代人类的话题,似乎也从“遥不可及”,变得“忧心忡忡”。我认为,AI一定会取代部分人,但不会取代所有人,也不会凌驾于人类之上。正如工业时代的到来,取代了体力工作者;AI时代的到来,也会取代脑力工作者。而所谓的“专业”能力,往往会在这个浪潮下,被快速取代。(想想当年的“八级技工”,技术再厉害,也比不过新的机器。

逆水行舟 7189

ChatGPT教程之深入了解魔术背后的技术

根据 OpenAI,ChatGpt 被描述为:“我们训练了一个名为 ChatGpt 的模型,它以对话方式进行交互。对话格式使 ChatGpt 可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。OpenAI 在 2020 年推出了 GPT-3,其卓越的性能将 NLP 推向了新的高度。尽管如此,GPT-3 也有缺点,最显着的是它因有偏见的生成而受到批评。

iCloudEnd的博客 2182

AI大模型开发架构设计(15)——从原理到实现教你做出一个ChatGPT

GPT技术演进剖析 如何训练一个ChatGPT ChatGPT在线工程架构设计与实现

yangwei2048的博客 901

【LM 00】从零开始认识大模型:一篇非从业者指南

AI技术第一次这么密集地冲击着非从业者们,身处变革之中的我们或许会迷茫,但这本来就是工业革命之后的常态,我们要做的就是像九十年代学习计算机一样拥抱未来。在ChatGPT刚出的时候,我对未来的知识创作是抱着悲观态度的。我认为个人创作者会被ChatGPT挤兑,或者直接投降借助ChatGPT来创作。久而久之,知识会陷入到封闭的循环当中,知乎也会沦为一个ChatGPT版公众号的聚集地,所以有一段时间我卸载了知乎。

zz12345600354的博客 802

STM32F103C8T6用官方bootloader实现IAP升级操作方法

在使用STM32F103C8T6单片机IAP功能时,可以自己写bootloader程序,也可以使用官方bootloader文件。下面说一下使用官方bootloader的使用方法。 首先下载官方bootloader文件 目前使用的是这个版本,打开文件夹,选择适合自己编译器的工程。 目前使用的是keil,所以打开MDK-ARM文件夹 打开IAP工程 打开后根据自己的单片机型号,对工程进行简单的修...

HXYDJ的博客 1万+

从零理解AIGC与ChatGPT:核心概念、技术原理与实战指南

AIGC(人工智能生成内容)是当前人工智能领域的热点技术,它让机器具备了“创造”能力,而不仅仅是“识别”。其核心原理基于深度学习与生成式模型,通过海量数据的预训练和微调,使模型能够学习并生成符合人类预期的多样化内容。这项技术的价值在于极大地提升了内容创作的效率,并拓展了人机协作的边界。在应用场景上,AIGC已广泛渗透到文本创作、图像生成、代码编写、音频合成等多个领域。其中,ChatGPT作为AIGC在文本生成领域的杰出代表,以其强大的对话和内容生成能力,成为推动AIGC普及的关键应用。理解AIGC与Chat

chuliaoqiao4046的博客 600

通达信短周期指标盘中实时监控与预警选股实战

本文详细介绍了通达信短周期指标在盘中实时监控与预警选股中的实战应用。通过分时指标改造、多股同列监控技巧及预警策略优化,帮助短线交易者捕捉转瞬即逝的交易机会,提升选股效率与准确性。重点解析了如何避免假信号干扰及系统卡顿问题,并探讨了从预警到自动交易的进阶应用。

weixin_29230805的博客 930

Cadence OrCAD: 层次化设计 Hierarchical Design

详细介绍OrCAD的原理图层次化设计方法。

Fantasy237的博客 1万+

从起源到未来:大模型的发展历程

在本文中,通过深入浅出的方式,为读者提供了对大模型技术全面而深入的理解,同时也强调了理性看待大模型的重要性。为什么要聊这个话题?

2401_85343303的博客 4417

国际参考电离层2020模型Matlab(IRI-2020)

国际参考电离层 (IRI) 是一个国际项目 由空间研究委员会 (COSPAR) 和国际 无线电科学联盟 (URSI)。这些组织组成了一个工作组 (在 60 年代后期产生了电离层的经验标准模型, 基于所有可用数据源 (几个稳步改进的版本 模型已经发布。电子密度、电子温度、离子温度、 离子组成(O+、H+、He+、N+、NO+、O+2、簇离子)、赤道垂直离子漂移、垂直电离层电子含量(vTEC;

weixin_44392003的博客 4889

【大模型入门】5分钟搞懂怎么从0造个ChatGPT?看完这篇你就明白了!

欧阳上一次写文章还是4个月前,之所以断更有两个原因:换工作和业余时间ALL IN AI了。不管你是否承认,AI时代已经来了,依然埋头研究前端的那一亩三分地和源码在未来可能就是蒸汽时代被淘汰的纺织女工。

2401_85343303的博客 900

Vue 网络处理 - axios 异步请求的使用,请求响应拦截器(最佳实践)

axios 用来在前端页面发起一个异步请求,请求之后页面不动,响应回来刷新局部.1.为什么不使用 ajax 呢?官方:在 jQuery 中推荐使用 ajax 技术, Vue 里面不推荐使用 jQuery 框架,因此 Vue 更推荐使用 axiox 异步请求库(axios并不是 vue 官方库).2.axios 特性可以从浏览器中创建 XMLHttpRequests可以从 node.js 中创建 http 请求.支持 Promise API.支持拦截请求和响应.转换请求数据和响应数据.

CYK_byte的博客 1万+

QGIS之七建筑面由DSM和DEM获取高度并可视化

QGIS建筑面由DSM和DEM获取高度并可视化

yilvyangguang520的博客 3514

GLM-5.3后训练技术解析:如何超越主流开源大模型

在大型语言模型(LLM)领域,模型性能的提升不仅依赖于预训练阶段的算力与数据规模,更关键的往往在于精细化的后训练技术。后训练是指在基础预训练模型之上,通过有监督微调、基于人类反馈的强化学习等系统性优化方法,针对性地提升模型在指令遵循、推理能力、代码生成等维度的表现。这一技术路径的核心价值在于,它能够以相对经济的成本,显著放大基座模型的潜力,实现性能的跨越式提升,为企业和研究者提供了高效追赶技术前沿的可行方案。当前,在开源模型生态中,Nemotron、Laguna等美国主流模型竞争激烈,而GLM-5.3正是通

weixin_30765577的博客 419

QGIS编译(跨平台编译)001:Flex、Bison编译(安装)(Windows、Linux、MacOS环境下安装)

QGIS编译;Flex、Bison编译(安装)(Windows、Linux、MacOS环境下安装)

LuckyHanMo的博客 3083

从ChatGPT到Llama 3:大模型性能提升背后的Scaling Law秘密

本文深入解析了从ChatGPT到Llama 3等大模型性能跃升的核心驱动力——Scaling Law(缩放定律)。文章揭示了模型性能与参数、数据、算力之间的幂律关系及边际效益递减规律,并对比了OpenAI与DeepMind的不同研究路径。对于AI产品经理和技术决策者而言,理解Scaling Law有助于在模型选型、成本控制与产品设计中做出更明智的权衡,实现效益最大化。

weixin_29232507的博客 332

智能 Agent 跨模态决策机制实战:多源数据融合与感知驱动行为策略设计

随着智能 Agent 应用从结构化文本处理拓展至图像识别、语音交互、传感器响应等多模态环境,其决策机制也面临从单模态语言理解向“多源感知驱动行为选择”的系统跃迁。本文聚焦跨模态输入下的 Agent 决策体系,系统性解析多源数据建模、感知融合方式、模态对齐机制、输入权重控制策略与策略引擎适配路径,进一步结合多模态提示构建、模态感知异常检测、模态优先级路由调度等工程问题进行实战拆解。通过企业级智能客服、制造车间控制、智慧医疗助手等典型案例,本文提供面向真实场景的跨模态 Agent 架构与多输入决策融合方案。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1355

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

【图书推荐】这本书太好了!150页就能让你上手大模型应用开发《大模型应用开发极简入门:基于GPT-4和ChatGPT》

奥利维耶.卡埃朗(Olivier Caelen),国际支付服务先驱 Worldline 公司机器学习研究员、布鲁塞尔自由大学机器学习博士,业余时间在布鲁塞尔自由大学教授机器学习课程。玛丽-艾丽斯.布莱特(Marie-Alice Blete),国际支付服务先驱 Worldline 公司研发部门软件架构师、数据工程师。她还负责维护开发者关系,并担任技术演讲嘉宾。何文斯(译者),大模型创业公司 Dify 产品经理、自媒体“何文斯”作者,致力于研究大模型中间件技术和AI应用工程化的实际落地。

天地玄黄 魑魅魍魉 风花雪月 商角徵羽 2153

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

ChatGPT到底有多厉害,看看各个行业专家怎么说

从全球来看,AI行业已经形成了一超一强的格局,一超指美国,一强指中国,其他国家不足道矣(虽然加拿大有Hinton,英国有DeepMind),因为只有这两个国家才形成了AI的全面研究和广泛的产业应用,这和互联网行业的发展紧密相关。预训练模型是AI的全新研究范式,能够让AI从传统任务型模型(一千个任务需要一千个模型,研发成本高),走向一个模型解决多种任务(先训练一个基础模型,然后再针对下游任务进行微调),大模型更是如此,其目标是one for all,一个模型解决所有任务,这就离通用人工智能不远了。

神经网络爱好者 2308

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

聊聊ChatGPT的本质

阶段性总结下我对ChatGPT的基础理解,算是一篇学习思考笔记吧。其中难免有很多不准确的,或过于简略的地方,将来再迭代学习

Eyemon的博客 1659

5分钟带你搞懂从0打造一个ChatGPT

大家平时接触的AI基本都是生成式大模型,比如我们熟知的ChatGPT、DeepSeek等。在ChatGPT还没火之前,判别式模型是最热门的,也就是国内的科技公司花了大精力去研究的领域,从现在的上帝视角来看只有OpenAI走了正确的路。判别式模型的作用主要是分类,在我们的生活中到处都是判别式模型判断一封邮件是"垃圾邮件"还是"正常邮件"。分析一个商品评价是"积极"、"消极"还是"中性"。判断一张脸属于数据库中的哪个人。识别一张图片中的物体是什么。判别式模型做的事情只能是一个辅助工具,

jike007gt的博客 1033

AI和ChatGPT:人工智能的奇迹

人工智能是一种模拟人类智能的技术。它通过模仿人类的思维过程和决策能力,使机器能够学习、理解、推理和解决问题。人工智能的发展涉及多个领域,包括机器学习、自然语言处理、计算机视觉等。人工智能的目标是使机器能够像人类一样思考和行动。它可以通过大量的数据和算法进行训练,从而提高其性能和准确性。人工智能的应用范围非常广泛,涵盖了医疗、交通、金融、教育等各个领域。

小天狼星_布莱克 的博客 2270

文心、讯飞、ChatGPT大模型横向比较

三种大模型的横向比较分析发现,大模型最终的优异表现依赖于模型规模的突破。通过比较不同规模的大模型,分析发现大模型的强大生成能力主要源自模型的参数量级的飞跃。尽管方法论上大同小异,但参数量的指数级增长是实现质的飞跃的关键所在。“大力出奇迹”可以说是大模型取得辉煌成就的最本质原因。模型越大,所包含的知识量和拟合复杂分布的能力就越强,也就能产生越逼真的生成结果。文字理解回答能力 海报设计 假如你是一名海报设计师,需要给浦发银行设计一个宣传海报。 浦发银行要举办 2023上海半程马拉松,活动时间:2023年3月9日

独立开发,substack顶级编辑 1593
上一篇: 逆向工程实战:如何用Frida和IDA破解AppleAccount的X-MMe-Nas-Qualify签名机制
下一篇: LaTeX参考文献编译时大写变小写?3种方法保留MANET等专有名词原格式
bush
博客等级 码龄26年 50粉丝 1339原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值