【AI大模型】复旦大学出品:大规模语言模型·从理论到实践(附pdf)

大模型语言模型:从理论到实践 大规模语言模型(Large Language Models,LLM),也称大语言模型或大型语言模型,是一种由包含数百亿以上参数的深度神经网络构建的语言模型,通常使用自监督学习方法通过大量无标注文本进行训练。自2018年以来,Google、OpenAI、Meta、百度、华为等公司和研究机构都相继发布了包括BERT,GPT等在内多种模型,并在几乎所有自然语言处理任务中都表现出色。 阅读详情

复旦大学计算科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索,聚焦自然语言表示、信息抽取、鲁棒性和解释性分析等。兼任中国中文信息学会理事、中国中文信息学会理信息检索专委会常务委员、中国人工智能青年工作委员会常务委员、SIGIR

在这里插入图片描述

张奇教授主要编辑教材有:《自然语言处理导论》,《大规模语言模型:理论与实践》

《大规模语言模型·从理论到实践》旨在为对大语言模型感兴趣的读者提供一个入门指南,并可作为高年级本科生和研究生自然语言处理相关课程的大语言模型部分补充教材。

章节内容

下载当前版本: 完整版本链接获取

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

大语言模型涉及深度学习、自然语言处理、分布式计算、分布式计算等众多领域。因此,建议读者在阅读本书之前,首先系统地学习深度学习和自然语言处理的相关课程。在分布式计算和异构计算方面,读者需要具备基本的概念。如果希望在大语言模型训练和推理方面进行深入研究,还需要系统学习分布式系统、并行计算、CUDA 编程等相关知识。

本书围绕大语言模型构建的四个主要阶段:预训练、有监督微调、奖励建模和强化学习,详细介绍各阶段使用的算法、数据、难点以及实践经验。

张奇教授主要发表论文 :

1.Robust Lottery Tickets for Pre-trained Language Models 预训练语言模型的可靠彩票 ACL 2022 ACL 2022 年

2.Divide and Conquer: Text Semantic Matching with Disentangled Keywords and Intents 分而治之:文本语义匹配与分离的关键字和意图 ACL 2022 ACL 2022 年

3.CQG: A Simple and Effective Controlled Generation Framework for Multi-hop Question Generation CQG:一种简单有效的多跳问题生成受控生成框架 ACL 2022 ACL 2022 年

4.Flooding-X: Improving BERT’s Resistance to Adversarial Attacks via Loss-Restricted Fine-Tuning Flooding-X:通过损失限制微调提高 BERT 对对抗性攻击的抵抗力 ACL 2022 ACL 2022 年

5.MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective MINER:从信息论的角度改进词汇外命名实体识别 ACL 2022 ACL 2022 年

6.TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing TextFlint:用于自然语言处理的统一多语言鲁棒性评估工具包 ACL 2021 ACL 2021 年

7.Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders 具有面向主题的排名和上下文感知自动编码器的聊天记录的无监督摘要 AAAI 2021 AAAI 2021 年

8.Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling 基于显著性感知主题建模的面向主题的客户服务口语对话摘要 AAAI 2021AAAI 2021 年

包括:

  • Transformer、GPT基础、LLaMA基础;
  • 训练数据介绍与分析;
  • 分布式训练代码详解;
  • SFT部分(prompt、LoRA、deepspeech等);
  • 强化学习(RLHF等);
  • 大语言模型应用;
  • 大语言模型评估。

课件:

第一章 绪论
第二章 大语言模型基础
第三章 大语言模型预训练数据
第四章 分布式模型训练
第五章 有监督微调
第六章 强化学习
第七章 大语言模型应用
第八章 大语言模型评估

下面是目录,看下就知道了

在这里插入图片描述
在这里插入图片描述

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

复旦大学的第一本大模型中文书真的不要太强-《大规模语言模型 从理论到实践》 复旦大学NLP实验室的大牛教授们出书了!国内第一本全面介绍大语言模型的中文书,让普通人也能感受AI的魔力!📚全书8章,深入浅出,从基础理论到实战应用,一网打尽!🌟第一部分:语言模型基础,入门必读!🌟第二部分:预训练秘籍,构建数据的奥秘。🌟第三部分:指令理解与微调,让AI更懂你!🌟第四部分:扩展应用,评估技巧,让你的AI飞得更高!亮点:300+论文深度解读,作者团队亲授从0到1的训练全流程,绝对不容错过!复旦出品,必属精品!大模型方向的同学们,这本书是你的宝典,快去看看吧! 阅读详情

相关推荐

大规模语言模型:从理论到实践

大规模语言模型(Large Language Models,LLM),也称大规模语言模型 或大型语言模型 ,是一种 由包含数百亿以上参数的深度神经网络构建的语言模型,使用自监督学习方法通过大量无标注文 本进行训练。自 2018 年以来,Google、OpenAI、Meta、百度、华为等公司和研究机构都相继发布 了包括 BERT[1],GPT[6] 等在内多种模型,并在几乎所有自然语言处理任务中都表现出色。2019 年 大模型呈现爆发式的增长,特别是 2022 年 11 月 ChatGPT(Chat Generative Pre-trained Transformer) 发布后,更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互,从而实现包括问答、 分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识 掌握和对语言的理解。

大规模语言模型从理论到实践:模型基础、数据、强化学习、应用、评估

“推荐张奇、桂韬、郑锐、⻩萱菁合著的一本讲述大模型从理论到实践的书。关注公众号,可领取电子版。”全书目录1 绪论1.1 大规模语言模型基本概念1.2 大规模语言模型发展历程1.3 大规模语言模型构建流程1.4 本书的内容安排2 大语言模型基础2.1 Transformer 模型2.2 生成式预训练语言模型 GPT2.3 大语言模型结构3 ...

1528

大规模语言模型:从理论到实践 (张奇,桂韬,郑锐,⻩萱菁) (Z-Library)

大规模语言模型:从理论到实践 (张奇,桂韬,郑锐,⻩萱菁) (Z-Library)

重磅!首本大模型中文新书发布,复旦最新《大规模语言模型·从理论到实践》,理论+代码

大规模语言模型·从理论到实践》旨在为对大语言模型感兴趣的读者提供一个入门指南,并可作为高年级本科生和研究生自然语言处理相关课程的大语言模型部分补充教材。在撰写本书时,我们力求全面展现大模型研究的各个方面,并避免给出没有广泛共识的观点和结论。复旦大学自然语言处理实验室张奇教授、桂韬研究员、郑锐博士生以及黄萱菁教授结合之前在自然语言处理领域研究经验,以及分布式系统和并行计算的教学经验,通过在大语言模型实践和理论研究的过程中,历时 8 个月完成本书《大规模语言模型·从理论到实践》不可错过!

python1234_的博客 1232

大语言模型的工作原理与发展.pdf

随着人工智能领域的迅速发展,大语言模型已经成为了自然语言处理和人工智能研究的焦点之一。它们能够自动生成人类语言风格的文本,具有广泛的应用前景,如智能助手、自动文本生成、机器翻译等。本文将深入探讨大语言模型的工作原理,从基本概念到模型结构,再到训练方法和应用领域,带你一窥大语言模型的奥秘。

【AI大模型好书推荐】复旦大学出品:大规模语言模型·从理论到实践(附pdf)

复旦大学自然语言处理实验室张奇教授、桂韬研究员、郑锐博士生以及黄萱菁教授结合之前在自然语言处理领域研究经验,以及分布式系统和并行计算的教学经验,通过在大语言模型实践和理论研究的过程中,历时 8 个月完成本书《大规模语言模型·从理论到实践》不可错过!》旨在为对大语言模型感兴趣的读者提供一个入门指南,并可作为高年级本科生和研究生自然语言处理相关课程的大语言模型部分补充教材。

huang9604的博客 521

从IR Drop到EM分析:数字IC电源规划中那些没人明说的细节(以MTCMOS配置为例)

本文深入探讨数字IC后端设计中电源规划的关键细节,特别关注MTCMOS配置、电源网络电阻最小化和level shifter供电等实战技巧。通过分析IR Drop和EM问题,提供优化floorplan和powerplan的具体策略,帮助工程师避免常见陷阱,提升芯片设计的稳定性和可靠性。

q9w8e7r6t5的博客 514

【AI大模型好书推荐】复旦大学出品:大规模语言模型·从理论到实践,大模型入门到精通,收藏这篇就足够了!(附pdf)

《大规模语言模型·从理论到实践》旨在为对大语言模型感兴趣的读者提供一个入门指南,并可作为高年级本科生和研究生自然语言处理相关课程的大语言模型部分补充教材。

瓦罗兰特顶级C位的博客 1073

汇川AM系列PLC玩转CNC:手把手教你用File模式读取G代码文件(附避坑指南)

本文详细介绍了如何使用汇川AM系列PLC的File模式读取G代码文件,涵盖从CAD设计到PLC配置的全流程。特别针对路径格式、文件类型等常见问题提供避坑指南,帮助工程师快速实现CNC加工的自动化控制。

weixin_33582311的博客 411

快速入门必看!RT-DETR手把手训练自己的数据集去跑实验,基于 ultralytics 仓库源码改进,配置虚拟环境,准备数据集、训练、验证、推理测试 ,实现0到1的完整教学过程。

本文介绍了使用Ultralytics框架训练RT-DETR模型的全流程。首先需要创建Python 3.10虚拟环境,安装指定版本的PyTorch和相关依赖包。然后准备数据集,修改配置文件,并详细介绍训练、验证和推理三个核心步骤的代码实现。训练阶段使用RTDETR类加载模型配置,设置训练参数;验证阶段评估模型性能;推理阶段可对图片、视频等进行预测。文中还提供了清华大学镜像源加速下载,以及详细的参数配置说明,帮助用户快速搭建RT-DETR目标检测模型。

Ai缝合怪、助力小伙伴高效发论文 5570

大模型入门好书推荐 - 《大规模语言模型:从理论到实践》附PDF版

预训练阶段:介绍了如何利用包含数千亿甚至数万亿单词的训练数据,并借助超级计算机进行深度神经网络参数的训练。同时,探讨了如何构建训练数据以及高效地进行分布式训练。有监督微调阶段:讲解了如何利用少量高质量的数据集,通过提示学习和语境学习等方法,将语言模型转变为对话模型。这一阶段的难点在于如何构建训练数据及其内部关系。奖励建模和强化学习阶段:介绍了如何根据用户提示词,利用奖励模型评估模型补全结果的质量,并通过强化学习进一步优化模型性能。该阶段需要解决强化学习方法稳定性不高、超参数众多及模型收敛困难等问题。

qingkahui24689的博客 1940

Codex 100个真实案例 - 用AI生成游戏场景地图(随机地形+建筑)

本案例使用 Codex 从零构建一个游戏场景地图生成器!我们会用 Perlin 噪声算法生成自然逼真的随机地形(山脉、平原、河流、海洋),实现瓦片地图渲染系统,智能放置建筑物和资源点,最终在浏览器中提供可缩放、可拖拽的交互式地图预览,并支持一键导出高清 PNG 图片。整个过程完全用自然语言驱动 Codex 完成!

yueyeguzhuo的专栏 161

好书推荐 - 《大规模语言模型:从理论到实践》附PDF

预训练阶段:介绍了如何利用包含数千亿甚至数万亿单词的训练数据,并借助超级计算机进行深度神经网络参数的训练。同时,探讨了如何构建训练数据以及高效地进行分布式训练。有监督微调阶段:讲解了如何利用少量高质量的数据集,通过提示学习和语境学习等方法,将语言模型转变为对话模型。这一阶段的难点在于如何构建训练数据及其内部关系。奖励建模和强化学习阶段:介绍了如何根据用户提示词,利用奖励模型评估模型补全结果的质量,并通过强化学习进一步优化模型性能。该阶段需要解决强化学习方法稳定性不高、超参数众多及模型收敛困难等问题。

m0_70486148的博客 2701

手把手教你学Simulink--基于Simulink的开关磁阻电机电流斩波控制仿真建模

特点:定子和转子均由普通硅钢片叠压而成,没有永磁体或绕组在转子上。工作原理:利用转子旋转时不同位置的磁阻变化产生转矩。控制挑战:由于SRM的高度非线性和磁饱和效应,需要复杂的控制算法来优化性能。利用Simscape Electrical中的模块构建SRM的物理模型,配置参数如电阻、电感等。matlab深色版本% 添加SRM电机模块根据实际需求调整电机参数。通过上述步骤,我们简要介绍了如何基于Simulink进行开关磁阻电机的电流斩波控制仿真建模。

MHD0815的博客 308

【数据集】中国各类水文专业常用数据集合集

对中国各类水文专业常用数据集进行整理并总结

WW、forever的博客 9310

大模型新手必读!《大规模语言模型:从理论到实践》好书推荐,附PDF版

预训练阶段:介绍了如何利用包含数千亿甚至数万亿单词的训练数据,并借助超级计算机进行深度神经网络参数的训练。同时,探讨了如何构建训练数据以及高效地进行分布式训练。有监督微调阶段:讲解了如何利用少量高质量的数据集,通过提示学习和语境学习等方法,将语言模型转变为对话模型。这一阶段的难点在于如何构建训练数据及其内部关系。奖励建模和强化学习阶段:介绍了如何根据用户提示词,利用奖励模型评估模型补全结果的质量,并通过强化学习进一步优化模型性能。该阶段需要解决强化学习方法稳定性不高、超参数众多及模型收敛困难等问题。

2401_85325726的博客 1480

PCL 计算点云包围球【2025最新版】

包围球通常用于简单排斥,因为与球体相交的方程很简单,同样重要的是,旋转一个球体并不会改变其范围。因此,当包围球用于简单排斥时,如果球体中心是对象的原点,则可以忽略对象的方向。

点云侠的博客 2068

复旦大学:《大规模语言模型:从理论到实践》电子版

时间进入2024年,大模型的热潮不仅没有减退,反而随着OpenAI在年初发布的Sora视频大模型,再次引发了公众和学术界的广泛关注和讨论,进一步证明了大模型技术在当下乃至未来科技发展中的核心地位和不断扩大的影响力。作为一本既适合初学者入门,也适合高年级本科生和研究生作为教材的书籍,作者团队努力全面呈现大模型研究的各个方面,同时避免了没有广泛共识的观点和结论,确保读者能够在当前快速发展的大模型领域获得坚实的理论基础和实践指导。**这个领域的变化非常快,所以永远保持好奇,对新知识保持开放的态度是非常重要的。

python12345_的博客 1507

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

《大规模语言模型:从理论到实践(第 2 版)》PDF带你深入大模型世界

在人工智能领域,大语言模型(LLM)无疑是当下最炙手可热的话题之一。从改变人们交互方式的 ChatGPT,到各行各业基于大模型开发的创新应用,LLM 正以迅猛之势重塑科技生态与产业格局。

DEVELOPERAA的博客 1641

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

大模型书籍丨复旦大学张奇教授新书《大规模语言模型:理论到实践》pdf分享!

复旦大学计算科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索,聚焦自然语言表示、信息抽取、鲁棒性和解释性分析等。

pythonhy的博客 1251

大模型必读佳作:复旦大学推出的大模型领域首部中文力作,《大规模语言模型从理论到实践》

在信息爆炸的时代,自然语言处理(NLP)技术如同璀璨的星辰,照亮了我们与机器沟通的道路。而今,复旦大学自然语言处理实验室的教授团队,如同航海家般,为我们带来了一本指引大语言模型领域前行的明灯——《大语言模型入门与实践》。《大语言模型入门与实践》是一本值得我们每一个人去阅读的书籍。它不仅为我们提供了全面、深入的大语言模型知识,还分享了作者团队在NLP领域的宝贵经验和感悟。这本书的发布,将引领我们走向自然语言处理的新纪元,让我们共同期待这个美好的未来!

2401_84494441的博客 1651

大模型入门好书推荐:复旦大学自然语言处理实验室《大规模语言模型·从理论到实践》附PDF版

《大规模语言模型:从理论到实践》是一本由复旦大学计算机科学技术学院张奇教授领衔的团队编写的书籍,该书于2024年1月由电子工业出版社出版。  这本书不仅基于作者团队在自然语言处理领域的深厚研究经验,还融合了分布式系统和并行计算的教学经验,旨在帮助读者深入理解大语言模型的原理,并提供实际操作的指导和案例。

2401_85378759的博客 1313

《大规模语言模型-从理论到实践》附带PDF电子版

在当今人工智能领域,大规模语言模型成为了研究和应用的热点之一。它们以其大规模的参数和强大的性能表现,推动着机器学习和深度学习技术的发展。对于GPT 系列大规模语言模型的发展历程,有两点令人印象深刻。第一点是可拓展的训练架构与学习范式:Transformer 架构能够拓展到百亿、千亿甚至万亿参数规模,并且将预训练任务统一为预测下一个词这一通用学习范式;

2401_85375151的博客 1641

复旦大学:《大规模语言模型:从理论到实践》好书推荐

时间进入2024年,大模型的热潮不仅没有减退,反而随着OpenAI在年初发布的Sora视频大模型,再次引发了公众和学术界的广泛关注和讨论,进一步证明了大模型技术在当下乃至未来科技发展中的核心地位和不断扩大的影响力。作为一本既适合初学者入门,也适合高年级本科生和研究生作为教材的书籍,作者团队努力全面呈现大模型研究的各个方面,同时避免了没有广泛共识的观点和结论,确保读者能够在当前快速发展的大模型领域获得坚实的理论基础和实践指导。**这个领域的变化非常快,所以永远保持好奇,对新知识保持开放的态度是非常重要的。

python12345_的博客 1295
上一篇: 2024AI大模型畅销的三本书!从零入门大模型(附PDF)
下一篇: 外网都传疯了!哥大博士发布:LLM大模型 <生成式人工智能手册>!
Llama-Turbo
博客等级 码龄4年 9902粉丝 2028原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值