【LLM大模型】首个超越GPT-4o的开源模型:LLAMA3.1开源了

【AI大模型】LLaMa羊驼大模型详解 LLaMa模型结构:前面的词预测后面的词,经典的解码结构。位置编码用的是旋转自编码。大语言模型为什么取名为LLaMa(美洲鸵)?LLM发音困难。两个LL跟绕口令一样挑战舌头。大家想给它加点原音,帮助发音。有人加了A,就是LLaMa。3.模型的训练和数据:65B的模型使用2048块A100 80G的GPU,训练21天左右。(训练成本还是比较高的,训练的数据集同GPT一样)LLaMa模型训练的数据集。 阅读详情

今年4月份的时候,META发布了自己的第三代开源模型LLAMA3,并且在那次就说了LLAMA3目前还在训练当中。

到现在不到3个月,META的LLAMA3.1在今天已经正式发布

在这里插入图片描述

有意思的是,在今天发布的稍早时候,模型已经在Reddit上被泄露出来了,并且连模型的效果对比图都整出来。(这不知道是多少次META的模型被泄露了!)

在这里插入图片描述

开源模型的几个亮点

从官方放出的LLAMA3.1来看,有以下几个关键要点:

  • 模型上下文长度扩展:目前LLAMA3.1已经把模型上下文长度扩充到128K,对比于LLAMA2只有4k~8k,其提升幅度还是比较大
  • 模型开源版本覆盖8B、70B和405B
  • 模型效果更强:在多个测试集上效果都要优于GPT-4o模型
  • 训练数据大小:模型训练的数据集来自于公开的15T数据
  • 微调数据集:微调数据仅用了公开可用的指令微调数据集,同时也加上了自己合成的1500万个样本
  • 模型目前支持多语言:包括法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语(但好像还是暂时不支持)

从对比图上看,LLAMA3.1 405B模型在多个测试集上的效果都已经超越了OpenAI的GPT-4o模型。

从下面图片中可以看到,LLAMA3.1在boolq、gsm8k、hellaswag等多项测试中优于GPT-4o,仅有HumanEval、MMLU-social sciences、truthfulqa_mc1这三项测试中低于GPT-4o。

在这里插入图片描述

同时LLAMA3.1模型还有开源的70B、8B,并且这较小模型与具有相似参数数量的其他模型对比来看,在多个测试集上效果也更强:

在这里插入图片描述

目前可以在huggingface网站上下载LLAMA3.1,META提供了多个不同的版本,也包括经过指令微调过后的模型版本

https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738f

在这里插入图片描述

模型架构

META在模型训练的时候,用到了15万亿的token,同时在16000涨H100的GPU上进行训练。

在这里插入图片描述

由于模型高达405B的参数量级,META做出了两个关键点:

  • 没有使用MOE架构(混合专家模型),而是只使用decoder-only transformer进行训练,这是因为MOE架构的模型往往在训练的时候不稳定且难以收敛
  • 使用后训练技术(post-training),每次迭代都利用有监督的微调和偏好优化。这样可以在每次迭代的过程中使用高质量的合成数据提升模型在下游中的性能

模型实测效果

拿最近比较火的数学问题问LLAMA3.1,发现它还是回答错误

9.9和9.11哪个大?

在这里插入图片描述

第二道题主要是判断模型能不能识别用户的文字情绪。从结论上来看,对于句子中的情绪符号识别都比较准确。

Q2:请判断这些句子中表达的情绪:我的猫好可爱♥♥

在这里插入图片描述

第三题是逻辑推理

逻辑推理:赵三的父母结婚的时候,为什么没有邀请自己参加

在这里插入图片描述

在伦理逻辑上,模型知道了“赵三”是他们的孩子,所以不可能参加他们的婚礼

开源的LLMAM3.1能够超越GPT-4吗?

虽然这个405B的大模型在一定程度上已经超越了GPT-4o,但是超越了目前的4o模型,并不代表能够超越OpenAI的GPT-4模型,要知道4o是在GPT-4的基础上优化了两个版本(GPT-4 TURBO - GPT 4O)而得来的。

同时由于这个模型参数量过大,已经有网友觉得性价比不高,普通人想要在自己电脑上跑起来肯定是不现实:

在这里插入图片描述

要运行一个这么大的模型,本质上已经和调用OpenAI的API没有什么区别,普通人一样是玩不转的。

特别是上周OpenAI发布了自己的小模型GPT-4o mini,它在性能超越GPT-3.5的同时,价格还更加便宜:其价格比GPT-3.5 Turbo便宜超过60%,定价为每100万个输入token才15美分和每100万个输出token则为60美分(大约相当于一本标准书的2500页)。

在这里插入图片描述

从相应速度来看,GPT-4o mini明显比OpenAI其他模型推理速度要快得多。应该是因为其参数量不大,所以速度提升明显。

在这里插入图片描述

而LLAAM3.1从网友反馈来看,就算对Llama3.1-405B就算进行大幅度优化,其推理速度很慢,对硬件要求很高。这在硬件层面上就吓退了很多开发者了。

在这里插入图片描述

OpenAI目前都在开始卷小模型市场,GPT-4o mini或许能够成为最具性价比的大模型。因此一直走开源路线的LLAMA3.1还需要不断继续优化,成为普通人都能用到的一个性价比更好的大模型才是关键。

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容:

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容:

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容:

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容:

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

Llama最新开源大模型Llama3.1 Llama 3.1作为Meta推出的最新开源大模型,不仅在参数规模和性能上达到了新的高度,还在多语言支持、上下文长度扩展等方面取得了显著进步。其开源特性进一步推动了AI技术的普及和创新,标志着开源大模型在功能和性能上逐步接近甚至超越闭源模型。Meta通过云厂商使用费用、生态内间接变现以及广告服务等多种方式实现盈利。其中,广告业务是其核心收入来源,而生成式AI技术的应用则为未来增长提供了新的动力。此外,硬件产品销售和元宇宙生态系统的建设也为Meta的多元化收入贡献了重要部分。 阅读详情

相关推荐

Llama3.1以405B参数领先GPT-4o

Llama3.1以405B参数规模领先GPT-4o,并在多项基准测试中展现出强大的性能,尤其是在通用常识、可操纵性、数学、工具使用和多语言翻译等方面。

百态·数智思维 | 聚焦大数据、量化与未来AI 1924

LLA: Loss-aware Label Assignment for Dense Pedestrian Detection 原理与代码解析

给定一张输入图片 \(M\),假设共有 \(J\) 个anchor和 \(I\) 个GT,在一次前向传播中,我们可以得到分类得分预测 \(S(\theta, M)\in \mathbb{R}^{J\times N}\),其中 \(N\) 是类别数,\(\theta\) 是模型权重参数,同时可以得到bounding box预测 \(B(\theta, M)\in \mathbb{R}^{J\times 4}\)。

00000cj的博客 806

LLAMA 3.1 vs GPT4: 哪个在分析方面更聪明?

Middleware 是一个平台,使工程领导者能够从数据中得出可行的见解并改进流程,从而提高开发团队的效率。随着 AI 领域的快速发展,我们一直在努力在产品中集成 ML 模型,目标是从数据中提取可操作的见解。

hongfu951的专栏 1007

手把手教你用LLM大模型训练出属于自己的AI女友

你也想要这样的赛博女友吗?这几年大模型发展遍地开花,让我这种不懂深层次原理的也可以感受AI带来的美好,花了几天时间训练完成,这个教程手把手教你训练出属于自己的AI女友最好是30系或者40系,我是云服务器租的4090,也很便宜,如果你是本地环境可以参考,这里只讲linux系统,其他系统需要自己摸索注册之后,选择部署实例,这里我选择添加平台已有镜像,这里选择LlamaFactory微调环境,但是其他的也没什么太大区别,因为他这个环境不是最新的,还要进行更新右边输入磁盘200GB,选择部署。

python123456_的博客 2545

惊天逆转!Llama 3.1 完胜 GPT-4o,AI 开源新时代!

自从 Meta 开源了 Llama 3.1 405B 模型,Meta CEO 马克·扎克伯格在一次声明中表示,Meta 的长期目标是构建通用智能,并以负责任的方式将其开源,使所有人都能受益。在多个基准测试中,Llama 3.1 的表现令人惊艳。例如,在数学推理(GSM8K 基准测试)中,Llama 3.1 的得分为96.82%,超过了 GPT-4o 的94.24%。在代码生成(HumanEval 基准测试)方面,GPT-4o 以92.07%的得分略胜 Llama 3.1 的85.37%。

lhx17673139267的博客 1103

利用LTspice设计Pt100测温电路

是一种广泛使用的温度传感器,它属于(RTD, Resistance Temperature Detector)的类型,通常用于温度测量。在0°C时,的电阻值为100欧姆,且它的电阻值会随着温度的升高而升高。PT100热电阻温度阻值对应表)因此可以根据这一特性来检测出环境温度。

2301_77033628的博客 2421

[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora(部分)

llama系列大模型调研及关键信息整理,llama/standford-alpaca/alpaca-lora/chinese-llama-alpaca/belle等

chenyang2203的博客 4917

quartusII简易CPU设计

优点可以实现八种运算,数据的存取及运算都能很好的实现,上板也很成功。缺点首先由于自己知识储备的缺乏,只能实现较为简单的8种运算,也是最简单的直接寻址。其次为了方便操作,没有从外部输入数据,都是直接使用存储在存储器中的数据。后续发展后续会在此简易CPU的基础上增加一些功能对CPU进行完善,如算术运算可以考虑是补码运算,输入、输出采用存储缓冲等等,直至完整的全功能的处理器。收获通过这次实践,更熟悉Quartus软件的操作。能过更加清楚每个器件的操作,比如计数器,运算器,译码器等的实现功能。

Kong08242022的博客 3485

【AI模型】LLMA3发布和评测汇总

Llama 3支持中文,但并不完美。官方提到预训练数据集中有超过5%的非英语数据,覆盖超过30种语言,但主要语料库是英文的。Meta计划未来优化多语言支持。:Llama 3是一个开源模型。Meta AI平台提供了Llama 3的直接使用方式,服务区域包括美国和其他13个国家。:在英文提示下,Llama 3表现亮眼。但在中文提示下,表现不稳定,有时会出现幻觉。评测:书房读书后数量计算问题;不同空间开关灯泡映射问题;英文通过,中文可能会出现幻觉问题;From AI信息GAP。

AI_Gump的博客 1064

C++cgal库配置+VS2017

Cgal几何图形库在VS2017上的下载、安装与配置。想要一口气下载完所有安装配件的,可以去文章末尾的链接。httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。

dsn3S的博客 1491

别再只会用QTcpSocket了!手把手教你用QSslSocket为你的Qt网络应用加上SSL/TLS加密(附完整代码示例)

本文详细介绍了如何将Qt网络应用从QTcpSocket迁移到QSslSocket,实现SSL/TLS加密传输。通过对比API差异、解析核心机制和提供完整代码示例,帮助开发者快速掌握安全网络编程技巧,有效防范数据窃听和中间人攻击等安全风险。

weixin_30654583的博客 401

重磅首发!大模型LLM学习路线图来了!

ChatGPT的出现在全球掀起了AI大模型的浪潮,2023年可以被称为AI元年,AI大模型以一种野蛮的方式,闯入你我的生活之中。从问答对话到辅助编程,从图画解析到自主创作,AI所展现出来的能力,超出了多数人的预料,让不少人惊呼:“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。

xx_nm98的博客 3454

系统架构设计师【第1章】: 绪论 (核心总结)

系统架构 (System Architecture)是系统的一种整体的高层次的结构表示,是系统的骨架和根基,也决定了系统的健壮性和生命周期的长短。系统架构设计师是承担系统架构设计的核心角色,他不仅是连接用户需求和系统进一步设计与实现的桥梁,也是系统开发早期阶段质量保证的关键角色。通俗地说,系统架构 (System Architecture)

数据知道的博客 1万+

LLaMA的解读与其微调(含LLaMA 2):Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙

还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分,但但随着研究深入 为避免该文篇幅又过长,将把『第4部分 开源项目』抽取出来 独立成本文。

结构之法 算法之道 8万+

零基础做完YOLOv8船只检测系统:HRSC2016数据集 + 完整UI,稳过答辩

亲爱的同学,通过这篇教程,你已经掌握了“基于YOLOv8的HRSC2016微小船只检测系统”从数据集处理、模型训练到Tkinter界面开发的全流程。这个课题既贴合“海事智能化”的产业战略,又涵盖了“目标检测、深度学习、界面开发”等多个毕设评分点,非常适合作为计算机或海事工程专业的毕业设计。在实践中,你可能会遇到“海面背景复杂导致船只漏检”“微小船只识别精度不足”“UI与模型推理同步卡顿”等挑战——别担心,这些都是技术成长的必经之路。

FJN110的博客 110

部署模型:Libtorch使用笔记【Pytorch的C++版本】【把用Pytorch训练好的模型打包保存为.pt格式,使用Libtorch去加载.pt格式模型,在C++工程中去用就好了】

A : Libtorch是pytorch的C++版本,现在的很多大型项目都是用C++写的,想使用训练好的模型,需要通过caffe等方式去集成,比较麻烦。这里pytorch官方提出了Libtorch,我们就可以把pytorch训练好的模型,打包起来,直接在C++工程中去用就好了,相比较caffe等,非常方便!虽然对于许多需要动态性和易迭代性的场景来说,Python是一种合适且首选的语言,但在同样的情况下,Python的这些特性恰恰是不利的。生产环境是一个需要低延迟和有严格部署要求的领域,一般选择C++。

u013250861的博客 2951

刚刚,开源大模型的新王诞生了:超越GPT-4o,模型还能自动纠错

乍一看,Reflection 70B 似乎是横空出世,HyperWrite 的知名度并不高。但其实 Shumer 已是 AI 领域的创业老将了:2020 年,他与就 Jason Kuperberg 共同创立了 Otherside AI。从左至右分别为 Otherside AI 的联合创始人:Matt Shumer, Miles Feldstein 与 Jason Kuperberg。Otherside AI 凭借其当家产品 HyperWrite 收获了一波流量。

kaka0722ww的博客 1399

【PG高可用】一 PostgreSQL高可用方案repmgr部署(非常详细)

repmgr安装部署

DBA之路的博客 7058

AI大模型日报#0607:10家国产大模型、GPT-4o挑战高考作文 | OpenAI公开破解GPT-4新方法

AI大模型日报,爬虫+LLM自动生成,一文览尽每日AI大模型要点资讯!

常政·视角 2746

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain&#39;s apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath(&#39;DeepLearnToolbox&#39;));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand(&#39;state&#39;,0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W&#39;); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand(&#39;state&#39;,0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = &#39;sigm&#39;;%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, &#39;Too big error&#39;);```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand(&#39;state&#39;,0)sae = saesetup([784 100]);sae.ae{1}.activation_function = &#39;sigm&#39;;sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)&#39;)% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;;nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, &#39;Too big error&#39;);```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x&#39;,28,28,60000))/255;test_x = double(reshape(test_x&#39;,28,28,10000))/255;train_y = double(train_y&#39;);test_y = double(test_y&#39;);%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you&#39;ll get around 1.2% errorrand(&#39;state&#39;,0)cnn.layers = { struct(&#39;type&#39;, &#39;i&#39;) %input layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 6, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %sub sampling layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 12, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, &#39;Too big error&#39;);```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, &#39;Too big error&#39;);%% ex2 neural net with L2 weight decayrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex3 neural net with dropoutrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex4 neural net with sigmoid activation functionrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex5 plotting functionalityrand(&#39;state&#39;,0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = &#39;softmax&#39;; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand(&#39;state&#39;,0)nn = nnsetup([784 20 10]); nn.output = &#39;softmax&#39;; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【大模型】开源大模型汇总以及微调策略

自从ChatGPT出世以来,各个大厂/研究院都纷纷推出自己的大模型,大模型领域发展一日千里。随着“百模大战”热度的降低,有必要梳理一下目前主流的大模型以及其变种模型,回顾一下。注:汇总开源模型。

桐原因的博客 8822

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

爆了,Llama 3.5 405B 爆超GPT-4o,参数直接飙到405B,开源终于战胜了闭源大模型GPT-4o

并且 Llama 3.1 405B 在 ZeroSCROLLS/QUALITY 基准测试的得分为 95.2,也意味着其具有强大整合大量文本信息的能力,这些结果表明,LLaMA3.1 405B 模型在处理长文本方面出色,对于关注 LLM 在 RAG 方面性能的 AI 应用开发者来说,可谓是相当友好。而在「我一把把把住了」的拼音标注上,其表现也尚可。简单来说,最新发布的 Llama 3.1 405B 是 Meta 迄今为止最强大的模型,也是全球目前最强大的开源大模型,更是全球最强的大模型。

周红伟讲AI 1743

Llama 3:迄今最强开源大模型,性能媲美GPT-4!附下载教程!

1.Llama 3 介绍Llama 3是由Meta公司发布的大型语言模型,其在多个关键基准测试中性能优于业界先进同类模型,尤其在代码生成等任务上实现了全面领先。Llama 3在技术层面实现了显著的突破。它采用了更为先进的预训练策略,使其在理解自然语言方面的能力得到了显著提升。此外,Llama 3还优化了其解码器,使得生成的文本更具逻辑性与连贯性。这些改进使得Llama 3在对话生成、问答系统等应用场景中表现出色,为用户提供了更为优质的体验。02.Llama 3主要亮点超大规模训练数据。

2401_84208172的博客 2542

Llama 3 与 GPT-4:哪个更好?

Llama 3 与 GPT-4:哪个更好?

hongfu951的专栏 2404

史上最强开源模型Llama 3.1,媲美GPT-4o和Claude 3.5 Sonnet!

史上最强开源模型Llama 3.1,媲美GPT-4o和Claude 3.5 Sonnet!

hunteritself的博客 2576

Llama 3.1横空出世!开源巨无霸首次击溃闭源,全民GPT-4时代来临

开源新王Llama 3.1 405B,昨夜正式上线!在多项基准测试中,GPT-4o和Claude 3.5 Sonnet都被超越。也即是说,闭源SOTA模型,已经在被开源模型赶上。一夜之间,Llama 3.1 405B已成世界最强大模型。(同时上线的,还有新版70B和8B模型)LeCun总结了Llama 3.1模型家族的几大要点:- 405B的性能,与最好的闭源模型性能相当- 开源/免费使用权重和代码,允许进行微调、蒸馏到其他模型中,以及在任何地方部署。

weixin_58753619的博客 1055

大模型格局变天:Llama3.1 诞生

相信大家翘首企盼的都是同一个主角,Meta藏到现在的王牌、最被社区看好能直接叫板GPT-4o的新一代开源大模型—Llama 3.1系列,终于正式发布了。 鉴于4月公开的两个Llama 3小参数模型8B和70B表现不俗,令开发者们对\*参数版本的强悍性能充满期待。

2401_85327249的博客 1341
上一篇: LLM大模型:Langchain--如何使用大模型 2.0
下一篇: 【LLM大模型】Llama3.1 部署本地知识库应用
大模型部署
博客等级 码龄6年 7902粉丝 2052原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值