自然语言处理 Paddle NLP - 预训练语言模型及应用

自然语言,处理,paddle,nlp,训练,语言,模型,应用 · 浏览次数 : 222

小编点评

**基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理PaddleNLP-快递单信息抽取理解自然语言处理PaddleNLP-信息抽取技术及应用自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践自然语言处理PaddleNLP-情感分析技术及应用-理论自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践问答自然语言处理PaddleNLP-检索式文本问答-理论自然语言处理PaddleNLP-结构化数据问答-理论翻译自然语言处理PaddleNLP-文本翻译技术及应用-理论自然语言处理PaddleNLP-机器同传技术及应用-理论对话自然语言处理PaddleNLP-任务式对话系统-理论自然语言处理PaddleNLP-开放域对话系统-理论产业实践自然语言处理 Paddle NLP - 预训练模型产业实践课-理论什么是语言理解？关于疫情的一段对话：中国：我们这边快完了欧洲：我们这边快完了中国：我们好多了欧洲：我们好多了挑战：语言的复杂性和多样性多义/同义/歧义现象灵活多变的表达形式语言背后的环境知识以前没钱买华为，现在没钱买华为语言理解的四个粒度：字的理解 例如：藏词的理解 例如：苹果句子的理解 例如：我们这边快完了篇章的理解 例如：贸易制裁似乎成了美国政府在对华关系中惯用的大棒。然而，这大棒果真如美国政府所希望的那样灵验吗?好的表示是实现语言理解的基础：一个好的表示，是要具备通用涵义，并且与具体任务无关，是时又能根据具体任务，提供有用信息理解是针对任务的理解：字词，关注局部信息；句子篇章，关注文本的全局信息CBOW：基于临近词（上下文）预测词Skip-Ngram：基于词预测临近词（上下文）基于预训练的语义理解技术ELMo：第一个现代的语义理解模型利用两个LSTM，分别从左到右，从右到左的语言模型建模，实现建模上下文信息的目的。两层LSTM：从低层到高层，逐个获取不同层次的语言信息，从最低层单词特征，到最高层语文特征在获取了预训练模型特征以后，便可以应用到下游任务。

正文

基础
自然语言处理（NLP）
自然语言处理PaddleNLP-词向量应用展示
自然语言处理（NLP）-前预训练时代的自监督学习
自然语言处理PaddleNLP-预训练语言模型及应用
自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）
自然语言处理PaddleNLP-词法分析技术及其应用
自然语言处理PaddleNLP-快递单信息抽取
理解
自然语言处理PaddleNLP-信息抽取技术及应用
自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践
自然语言处理PaddleNLP-情感分析技术及应用-理论
自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践
问答
自然语言处理PaddleNLP-检索式文本问答-理论
自然语言处理PaddleNLP-结构化数据问答-理论
翻译
自然语言处理PaddleNLP-文本翻译技术及应用-理论
自然语言处理PaddleNLP-机器同传技术及应用-理论
对话
自然语言处理PaddleNLP-任务式对话系统-理论
自然语言处理PaddleNLP-开放域对话系统-理论
产业实践
自然语言处理 Paddle NLP - 预训练模型产业实践课-理论

什么是语言理解？

关于疫情的一段对话：

  • 中国：我们这边快完了

  • 欧洲：我们这边快完了

  • 中国：我们好多了

  • 欧洲：我们好多了

挑战：

  • 语言的复杂性和多样性
  1. 多义/同义/歧义现象
  2. 灵活多变的表达形式
  • 语言背后的环境知识
  1. 以前没钱买华为，现在没钱买华为

语言理解的四个粒度：

  • 字的理解 例如：藏
  • 词的理解 例如：苹果
  • 句子的理解 例如：我们这边快完了
  • 篇章的理解 例如：贸易制裁似乎成了美国政府在对华关系中惯用的大棒。然而，这大棒果真如美国政府所希望的那样灵验吗?

好的表示是实现语言理解的基础：一个好的表示，是要具备通用涵义，并且与具体任务无关，是时又能根据具体任务，提供有用信息
理解是针对任务的理解：字词，关注局部信息；句子篇章，关注文本的全局信息
image

CBOW：基于临近词（上下文）预测词
Skip-Ngram：基于词预测临近词（上下文）
image
image
image
image
image
image
image
image

基于预训练的语义理解技术

ELMo:第一个现代的语义理解模型
image

利用两个LSTM，分别从左到右，从右到左的语言模型建模，实现建模上下文信息的目的。
两层LSTM：从低层到高层，逐个获取不同层次的语言信息，从最低层单词特征，到最高层语文特征
image

在获取了预训练模型特征以后，如何应用到具体的任务中。
ELMo：采用了 Feature-Based 方式进行应用
加权相加参数 \(a_1、a_2、a_3\) 是可学习的。这是实现动态 Word Embedding 关键所在
image

ELMo 不仅解决了多义词的问题，而且可以将词性对应起来
image

ELMo:有什么缺点？

  • 问题1：不完全双向预训练
    模型的前向和后向LSTM两个模型是分别训练的，仅在Loss Function阶段进行了结合。

  • 问题2：需进行任务相关网络结构设计（GPT可解决网格设计问题）
    每种类型的下游任务都需要进行特定的网络结构设计和搭建

  • 问题3：仅有词向量，无句向量
    ELMo在预训练阶段仅学习了语言模型，无句向量学习任务

GPT:被BERT光芒掩盖的工作

对BERT的诞生，起到了非常明显的推动作用
image

image
Pre-training 作为 下游任务的一部分参与任务学习，大量减少下游任务网络中新增参数的数量。同时，下游任务的网络，相比较预训练网络，也只有少量结构上的变动，这样会节省大量时间
image

对于分类任务：模型只需要在输入文本上加上起始（Start)和终结（Extract）的符号，并在网络后端新增一个分类器（FC)。
对于句子判断：如语言识别，两个句子中增加分隔符就可以了。
对于文本相似度判断、多项选择：只需要少量改动，就能实现 Fine-Tuning 过程
image

GPT
优点：带来了明显的效果提升，也极大的简化了任务网络相关的结构
缺点：

  • 单向预训练
    预训练阶段仅采用传统单向语言模型作为训练目标
  • 仅有词向量，无句向量
    GPT在预训练阶段仅学习了语言模型，无句向量学习任务
    image

BERT:预训练领域的里程碑式突破

Pre-training阶段

  • 延用了GPT 网络结构，使用了12层 Transformer Encoder
  • 交互式式双向语言模型建模（LM -> Auto-Encoder）
  • 引入sentence-level预训练任务
  • 更大规模预训练数据：BooksCorpus + Wikipedia(+2.5billion)

Pre-training 目标：
同时训练token-level & sentence-leveltask

  • Mask-LM task（Mask token）
    15% mask概率，在pre-training阶段实现交互式双向
  • Next-sentence句对预测任务
    预测当前句的下一句话
    image

BERT:Pre-training 策略分析
BERT Mast-LM ，Mask 力度是 Token（单个字）
image

image

BERT 如何将自己的预训练模型，应用到下游任务？使用了简单粗暴的方式：伪结果论
image

image

BERT缺点
BERTmask(sub-word)lm任务存在的问题：

  • Word哈尔滨；sub-word哈##尔##滨
  • Sub-word预测可以通过word的局部信息完成
  • 模型缺乏全局建模信息的“动力”
    难以学到词、短语、实体的完整语义
    image

ERNIE:基于知识增强的语义理解模型（百度）

将token 力度扩展到了 word 或 entity，使用了百度自建的语义库
image
image

ERNIE 在 Fine-tuning 使用了和 BERT 完全一致的方式
image
image
image

2.0 在预训练阶段，引入了更多的预训练任务
image

如何在学习新知识的同时，不忘旧知识
在预训练阶段，不断进行任务的叠加训练
image
image
image
image
image

image

预训练模型在NLP经典任务的应用

NLP部分经典任务总览
image

预训练语言模型在下游任务的优势

  • 更少的标注数据
  • 更高的任务效果
  • 更简单的网络结构适配

image

image
image
image
image
image
image

预训练模型，不是越大越好
预训练模型，如何达到收敛的状态？一直是一个难以界定的范围，越训越大，很难做到预训练充分的结果。目前常规采取的方式是，让它一直训着，抽取实时对预训练模型中产生的中间模型，进行一个具体任务验证，随时采取一个文本匹配任务进行 Fine-Tuning 验证，如果预训练后期，发现了在很长一段时间内，在这样一个验证的下游任务上，得到的 Fine-Tuning 结果，基本持平，我们就认为这个模型达到了一个收敛的状态，或者说局部收敛的状态，这时候就可以给它停下来了。没有一个特别规范的指标

原文：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1455657&sharedType=2&sharedUserId=2631487&ts=1685934903156

自然语言 处理 paddle nlp 训练 语言 模型 应用

与自然语言处理 Paddle NLP - 预训练语言模型及应用相似的内容：

自然语言处理 Paddle NLP - 预训练语言模型及应用

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
222
自然语言处理 Paddle NLP - 预训练模型产业实践课-理论

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
232
自然语言处理 Paddle NLP - 基于预训练模型完成实体关系抽取

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
198
自然语言处理（NLP） - 前预训练时代的自监督学习

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 nlp 训练
153
自然语言处理 Paddle NLP - 词向量应用展示

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
337
自然语言处理 Paddle NLP - 文本语义相似度计算（ERNIE-Gram）

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
225
自然语言处理 Paddle NLP - 词法分析技术及其应用

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
89
自然语言处理 Paddle NLP - 快递单信息抽取 (ERNIE 1.0)

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
259
自然语言处理 Paddle NLP - 信息抽取技术及应用

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

自然语言 处理 paddle nlp
247
自然语言处理 Paddle NLP - 情感分析技术及应用-理论

对带有感情色彩的主观性文本进行 分析、处理、归纳和推理的过程，输入文本 => (描述实体/entity，属性/aspect，情感/opinion ,观点持有者/holder，时间/time)

自然语言 处理 paddle nlp
94
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.