https://zhuanlan.zhihu.com/p/447836322 目录 收起 一、XLNet的优势 1）独得AR与AE两大绝学 2）集成了Tansformer-XL 二、XLNet的结构特点 1） 置换语言模型（PermutationLanguage Modeling，PLM） 2）
本文分享自华为云社区《使用Python实现深度学习模型：BERT模型教程》，作者： Echo_Wish。 BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用于自然语言处理（NLP）的预训练模型。BERT
本文重点介绍了如何从零训练一个BERT模型的过程，包括整体上BERT模型架构、数据集如何做预处理、MASK替换策略、训练模型和保存、加载模型和测试等。 一.BERT架构 BERT设计初衷是作为一个通用的backbone，然后在下游接入各种任务，包括翻译任务、分类任务、回归任务等。BERT模型架构如下
Transformer和BERT可谓是LLM的基础模型，彻底搞懂极其必要。Transformer最初设想是作为文本翻译模型使用的，而BERT模型构建使用了Transformer的部分组件，如果理解了Transformer，则能很轻松地理解BERT。 一.Transformer模型架构 1.编码器 （
摘要：本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错 本文分享自华为云社区《Bert特调OCR》，作者：杜甫盖房子。 做这个项目的初衷是发现图比较糊/检测框比较长的时候，OCR会有一些错误识别，所以想对识别结果进行纠错。一个很自然的想法是利用语义信息进行纠错，其实在OC
本文从镜像构建、容器部署到性能评估，完成bert模型昇腾迁移部署案例。
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。
摘要：该论文提出了一种基于预训练 BERT 的新神经网络架构，称为 M-SQL。基于列的值提取分为值提取和值列匹配两个模块。 本文分享自华为云社区《基于ModelArts实现Text2SQL》，作者：HWCloudAI。 M-SQL: Multi-Task Representation Learni
本文通过ChnSentiCorp数据集介绍了文本分类任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务和数据集介绍 1.任务 中文情感分类本质还是一个文本分类问题。 2.数据集 本文使用ChnS
本文通过ChnSentiCorp数据集介绍了完型填空任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.完形填空 完形填空应该大家都比较熟悉，就是把句子中的词挖掉，根据上下文推测挖掉的词是什么。 二.
本文通过ChnSentiCorp数据集介绍了中文句子关系推断任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务简介和数据集 通过模型来判断2个句子是否连续，使用ChnSentiCorp数据集，不
> 本文全面探讨了Transformer及其衍生模型，深入分析了自注意力机制、编码器和解码器结构，并列举了其编码实现加深理解，最后列出基于Transformer的各类模型如BERT、GPT等。文章旨在深入解释Transformer的工作原理，并展示其在人工智能领域的广泛影响。 > 作者 TechLe
## 语言模型 语言模型泛指：大语言模型LLM、通用模型GLM。 语言模型也是知识库。基于语言模型下的实现，比如ChatGPT，BERT，ChatGLM等等，这类知识库就像是已经人为处理好、编排好、可直接使用的知识库。 ## 知识图谱 知识图谱的定义由Google公司在2012年提出,被界定为用来提
