[知识点整理]中科院/国科大 自然语言处理nlp 期末考试知识点整理

国科大 自然语言处理 期末复习总结 学长的话:之前做的笔记,现在拿出来翻了一翻,我研一一直在实验室搬砖,课基本没怎么上,期末剩下两周开始复习nlp,ml,ai三门专业课,均分也有90+。所以现在还没复习的学弟学妹们不要慌,看看我整理的两个复习笔记,没问题的! 上次考试知识点 连词引起歧义的结构 编辑距离(插入、删除、替换、交换) 有限状态自动机与正则文法之间的转化 复杂特征集的交集 三元文法(Tri-grams) 评价机器翻译译文质量的方法 分词系统的准确率、召回率和F1 依存关系树的性能指标 正向最. 阅读详情
AI摘要

本文整理了2022年秋季学期网络安全学院自然语言处理课程的复习资料,涵盖了神经网络、词向量、注意力机制、预训练模型等核心知识点,以及2021年期末考试的相关题型。内容包括各种模型的结构、工作原理和应用场景。,

本文为2022秋网安学院的自然语言处理课程期末复习知识点整理,水平有限,整理的答案可能有错误或遗漏,欢迎大家指正。

文章的第二部分内容参考了学校学姐的文章,文章写的很好,大家可以关注她:(133条消息) 【一起入门NLP】中科院自然语言处理期末考试*总复习*:考前押题+考后题目回忆_国科大自然语言处理期末胡玥_vector<>的博客-CSDN博客

目录

第一部分 2022秋季课程期末知识点复习

第一章第二章 不考

第三章 神经网络

第四章 语言模型 词向量

第五章 注意力机制

第六章 基础任务

第七章 预训练语言模型

第八章 情感分析(不考)

第九章 信息抽取 *

第十章 问答系统

第十一章 阅读理解

第十二章 对话系统(不考)

第二部分 2021秋期末考中考察的知识点

填空题(20题)

简答题(6题)

综合题(计算题+模型结构分析题+模型设计题,3题)


第一部分 2022秋季课程期末知识点复习

第一章第二章 不考

第三章 神经网络

  1. 激活函数有哪些,对应的作用

    1. tanh

    2. sigmoid

    3. Relu

    4. 作用:增加网络的表达能力,给网络增加非线性因素

  2. 神经网络的参数学习方法,各自特点、区别,能解决什么样的问题

    1. 梯度下降:每次更新时使用所有样本,每次都朝着全局最优方向迭代,适用于样本不多的情况

    2. 随机梯度下降:每次更新只用1各样本,每次迭代不一定朝着全局最优,但最终结果往往是在全局最优解附近

    3. mini-batch梯度下降:每次更新时用b个样本(前两者的折中)

  3. 卷积神经网络的组成部分?各部分的作用

    1. 卷积层:减少模型参数,进行卷积运算

    2. 池化层:减少模型规模

    3. 全连接层:将池化层的单元平化

  4. 递归神经网络

    1. 网络结构包括哪些部分

      1. 输入层、隐藏层、输出层

      2. 参数包括:输入权重Wi、上一时刻权重Wh、输出权重Wo、偏置b

    2. 典型的参数学习方法

      1. BPTT

    3. BPTT算法的原理

      1. 基本思想和BP算法类似,都是将输出误差以某种形式反传给各层所有单元,各层按照本层误差修正个单元的连接权重

      2. 但BPTT的参数是共享的,每个时刻训练的都是相同的参数W和b。

      3. 且BPTT损失函数定义为每一个时刻的损失函数之和,它会在每一个时间步长内叠加所有对应权重的梯度

  5. RNN改进模型LSTM、GRU、Bi-LSTM各自是对之前算法什么问题做出的改进?以及做了哪些改进?

    1. LSTM是用来解决RNN的长距离依赖问题,它通过在循环单元内添加门结构来控制单元细胞状态来实现的

    2. GRU是用来解决RNN的长距离依赖问题和反向传播的梯度问题,可理解为LSTM的简化,它把LSTM的输入门和遗忘门合并为更新门,删除输出门新增了重置门。

    3. LSTM只能根据之前时刻的时序信息预测下一时刻的输出,但有些问题当前时刻的输出不仅与之前的状态有关,与未来的状态也有关系,Bi-LSTM就是为了解决这一问题,做到基于上下文判断。Bi-LSTM可看作两层神经网络,第一层第一层从句子的开头开始输入,第二层则从句子的最后一个词语输入,两层进行相同处理,并对得到的结果共同分析。

第四章 语言模型 词向量

  1. 统计语言模型建模方法(怎么用统计学习的方法构建语言模型)

    1. 统计语言模型的基本思想:用句子S=w1,w2,…,wn 的概率 p(S) 刻画句子的合理性

    2. 使用最大似然估计进行参数学习

    3. 用马尔可夫假设和n-gram模型来解决统计语言模型参数过多的问题

    4. 用数据平滑解决样本少引起的零概率问题

  2. 几种神经网络语言模型(DNN-NNLM、RNN-RNNLM)

    1. 模型架构

    2. 相比的优势和不足

      1. RNNLM的优势

        1. RNNLM 模型可以保留每个词的全部历史信息,不需简化为n-gram

        2. 引入词向量作为输入后不需要数据平滑

        3. 神经网络一般用RNN语言模型

    3. 输入、输出、要预测哪些参数、参数学习方法要掌握

      1. NNLM

        1. 输入:上文词向量拼接

        2. 输出:目标词概率

        3. 参数学习方法:BP

        4. 在训练语言模型同时也训练了词向量——预测的参数包括各模型参数和词向量

      2. RNNLM

        1. 直接输入:目标词的前一个词的词向量

        2. 间接输入:网络中的前文信息

        3. 输出:目标词概率

        4. 参数学习方法:BPTT

        5. 在训练语言模型同时也训练了词向量——预测的参数包括各模型参数和词向量

  3. 词向量

    1. 典型的词向量:CBOW、skip-gram、C&W要掌握学习方法和区别(输入、输出、学习方法)

      1. CBOW

        1. 输入:上下文词向量平均值

        2. 输出:目标词概率

        3. 参数学习方法:梯度下降法

      2. skip-gram

        1. 输入:目标词词向量

        2. 输出:上下文词概率

        3. 参数学习方法:梯度下降法

      3. C&W

        1. 输入:上下文及目标词词向量拼接

        2. 输出:上下文及目标词联合打分(正样本打高分、负样本打低分(负样本是将正样本序列中的中间词替换成其它词))

        3. 参数学习方法:采用pairwise的方式对文本片段进行优化

第五章 注意力机制

  1. 传统注意力机制

    1. 结构包括哪些模块

      1. 输入:K(集合)、Q

      2. 输出:V

      3. 三个阶段:

        1. 注意力打分函数

        2. softmax

        3. 加权求和

    2. 有哪些计算方法(有哪些注意力计算模式)

      1. 键值对模式 K!=V 是用V去加权求和计算输出值的

      2. 普通模式 K=V

    3. 不同类型的注意力机制是如何计算的?

      1. 软注意力 对输入句子的任意单词都计算概率,输出的是概率分布

      2. 硬注意力 直接从输入句子中找到某个单词,将其他单词硬性地认为对齐概率为0

      3. 全局注意力 计算attention时考虑encoding端序列中所有的词

      4. 局部注意力 软注意力和硬注意力的折中,在一个大小为D的窗口输出概率分布,窗口外的认为对齐概率为0

    4. 注意力机制在nlp领域的应用场景

      1. 在任何有“求和”的地方都能使用

      2. 宏观如机器翻译、图卷积的邻接节点聚集

  2. 注意力编码机制

    1. 对不同序列的不同编码方式

      1. 单一向量编码:将输入序列编码成单一向量表示(句表示、篇章表示、词的上下文表示)

      2. 不同序列间编码:将2个序列编码成二者融合的向量表示(匹配任务、阅读理解的混合层表示)

      3. 同一序列自编码:使用多头注意力编码对一个句子编码,起到句法分析器的作用

    2. 不同编码方式的计算方式

      1. 单一向量编码:句子各元素K序列与Q的关联关系

      2. 不同序列间编码:对K序列和Q序列编码

      3. 同一序列自编码:采用多头注意力机制,每头的Q=K=V且参数不共享,最后把各头的结果拼接

第六章 基础任务

  1. 文本分类和匹配了解基本技术思路即可

  2. 序列标注

    1. 马尔可夫、隐马尔可夫、隐马尔可夫+CRF 模型结构、组成部分有哪些、各组成部分的工作机制

      1. 马尔可夫模型

        1. 组成M =( S, π ,A) (三元组)

          1. S:模型中状态的集合

          2. A:与时间无关的状态转移概率矩阵

          3. p:初始状态空间的概率分布

      2. 隐马尔可夫模型

        1. 组成λ =( S, O, π ,A,B)或简写为 λ = (π ,A,B) (五元组)

          1. 状态序列Q:表示起决定作用的后台本质(天气)

          2. 观察序列O:表示观察到的前台现象(潮湿。。)

          3. B:给定状态下,观察值概率分布

自然语言处理(期末考点) 通常是在一个具体的属性上使用该方法,特别是离散值属性,比如下面的文本属性ocean_proximity。由上述信息可知,属性total_bedrooms的非空值有20433个,即空值有20640-20433=207个。轮廓系数(Silhouette Coefficient),[-1, 1],数值越大,聚类效果越好。位运算符:<< 左移, >> 右移, & 按位与, | 按位或, ^ 按位异或, ^ 按位取反。可以快速给出数据集的简单描述,具体包括:总行数、所有的属性名及其对应的值类型、非空值的数量等。 阅读详情

相关推荐

国科大《自然语言处理》复习(宗成庆老师)

国科大自然语言处理课程笔记(宗成庆老师课堂)

weixin_50232758的博客 2586

中科院自然语言处理期末考试复习:考前预测+考后回顾

自然语言处理(Natural Language Processing,简称NLP)是人工智能领域中的重要研究方向,它涉及处理和理解人类语言的能力。在中科院自然语言处理期末考试中,学生们需要掌握NLP的基本概念、常用技术和应用,并能够运用相关算法和工具进行实践。本文将回顾考试前的一些热门考题,并提供相应的代码示例。以上代码提供了一些常见的NLP任务的示例,希望能够帮助你复习和理解相关概念和技术。在实际的考试中,除了掌握基本概念和算法之外,理解原理并能够熟练运用相关工具和库也是非常重要的。

ZksProlog的博客 605

自然语言处理 期末大作业1

1. 其中<pad>加在较短序列后,直到同一batch内每个样本序列等长 2. 每个句子的开头要是<bos> 3. 每个句子的结尾是<eos> 4. 不存在的词

中国科学院大学宗成庆自然语言处理期末试卷(2018年)

中国科学院大学2018年自然语言处理期末考试,该试卷共包含七个大题

自然语言处理期末试题汇总

自然语言处理期末试题汇总

2019秋 自然语言处理期末考试卷1

1. 熵的定义和公式 2. 半词法的分词方法概述 3. 句法分析的任务和意义 4. 依存关系分析简述 5. 自动问答系统和搜索引擎区别 6. 信息检索+信息抽取

无源低通滤波器

无源RC滤波器“滤除”不需要的信号,因为它们分离并允许仅通过其频率的正弦输入信号,最简单的是无源低通滤波器网络。在低频应用(高达100kHz)中,无源滤波器通常使用简单的RC(电阻-电容)网络构建,而高频滤波器(高于100kHz)通常由RLC(电阻-电感-电容)元件制成。无源滤波器由电阻器、电容器和电感器等无源元件组成,没有放大元件(晶体管、运算放大器等),因此没有信号增益,因此它们的输出电平始终小于输入。滤波器是根据它们允许通过它们的信号的频率范围来命名的,同时阻挡或“衰减”其余部分。

weixin_44448586的博客 1万+

大疆航线文件解析指南:5分钟搞懂KMZ里的template.kml和waylines.wpml区别

本文深入解析大疆无人机航线文件KMZ中template.kml与waylines.wpml的核心区别。template.kml是定义任务框架和全局参数的可编辑模板,而waylines.wpml是包含精确执行指令的最终文件。理解两者差异对于高效规划航线、批量生成任务及进行二次开发至关重要。

sun99的博客 870

金融学习之十三——数据去极值和标准化处理

拿到数据后,数据中可能会存在一些超大或极小的值,这些值与其他的值离得较远,显得格格不入,我们称其为离群点,有时也称为异常点。对于这些值,它的存在会导致影响最终的分析结果,带偏我们的分析。举个简单的例子,10个人的收入分别为2000,2500,2300,2425,2512,2375,2700,2265,2345,10000000,只算前9个,平均值就是2380,但加上最后一个,平均值就是1002144.2,就可能严重带偏最后分析的结果。因此,对于这样的数据,我们需要将其去除或修改。 (一)数据去极值 数据去极

ryo007gnnu的博客 7169

人工蜂群优化算法(ABC)详解:原理、实现与应用

人工蜂群算法(Artificial Bee Colony, ABC)是Karaboga于2005年提出的一种群体智能优化算法,其灵感来源于蜜蜂群体在自然界中高效的采蜜行为。该算法通过模拟雇佣蜂、观察蜂和侦察蜂三种角色的分工协作来寻找最优解。在ABC算法中,每个潜在的解决方案被视为一个“食物源”,其质量由适应度函数评估。雇佣蜂负责在已知优质食物源附近进行局部开采;观察蜂根据雇佣蜂分享的信息,以一定概率选择并跟进优质食物源;侦察蜂则随机探索新区域,防止种群陷入局部最优。

qq_42212808的博客 394

寄存器与计数器设计(Verilog)

always @(posedge Reset or posedge Clock)//请在括号中补充敏感信号列表。always @(negedge Resetn , posedge Clock)//请在括号中补充敏感信号列表。always @(negedge Resetn,posedge Clock)//请在括号中补充敏感信号列表。//为了便于自动评测,请勿更改n的值。//为了便于自动评测,请勿更改n的值。//为了便于自动评测,请勿更改n的值。//为了便于自动评测,请勿更改n的值。

M_inherit的博客 368

2017年全国大学生电子设计竞赛综合测评题目解析——Multisim仿真

1.题目 给定两个单电源的双运放芯片READ2302G芯片(当时记得增益带宽积好像是6M),一片HD74LS74数字芯片双D触发器,需要详细电路图、手写报告,5个波形输出,测频,测幅,8:00公布题目,15:00停止答题,中间可以吃饭(也可以不吃继续做),15:00清场,休息一段时间后开始进场测试,打分。 2.要求 (1)一片运放搭建方波振荡电路,频率 20 KHz,误差 0.1 KHz,幅度 3...

DengFengLai123的博客 2万+

【测开求职】面试题:计算机网络 详细版整理

本篇文章是笔者为准备研究生复试和校招而写,因此主要针对问答,注重理解,而不在于细节计算。读者可以先查看上面的链接走一遍计算机网络的整体框架结构。其中,重点难点以及易混淆的知识点,笔者会用其他文章进行了详述,在知识点处贴好了链接,有需要的可以查阅。

vector的博客 5939

斑鬣狗优化算法(SHO)详解:从生物原理到代码实战

斑鬣狗优化算法(SHO)是一种新型元启发式优化算法,灵感来源于斑鬣狗的群体狩猎行为。该算法通过模拟斑鬣狗的包围猎物、协同狩猎和攻击猎物等生物行为,将优化问题转化为智能搜索过程。SHO算法包含探索与开发两个阶段,通过数学模型实现群体协作和自适应平衡,具有参数简单、收敛快等优势。文章系统介绍了SHO的生物基础、数学模型、实现方法(包括MATLAB和Python代码)、改进策略以及在函数优化、路径规划等领域的应用案例,最后讨论了算法的优势、局限性和未来研究方向。

qq_42212808的博客 237

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

上一篇: [知识点整理]中科院/国科大 网络与系统安全 期末考试知识点整理
下一篇: [S32K3从0入门]S32DS工程创建及烧录
ct5ctl
博客等级 码龄6年 35粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值