因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese
这个词是近几年流行起来的网络用语，它是内卷的简化形式，“内卷”本来是一个名不见经传的普通词语，经网络流传，很多人就用其来指代非理性的内部竞争或“被自愿”竞争。在现代职场，有一群人被戏称为"职场卷王"。他们本着累死自己、熬死领导的核心宗旨，总是作为最后一个熄灯人离开公司。我相信你们也肯定都“卷”过，甚...
敏感词过滤在社区发帖、网站检索、短信发送等场景下是很常见的需求，尤其是在高并发场景下如何实现敏感词过滤，都对过滤算法提出了更高的性能要求，Ahocorasick算法能够实现毫秒级的万字过滤匹配，能够很好的满足各种场景下的敏感词过滤需求。 Aho-Corasick算法通过将模式串预处理为确定有限状态自
AI以极高的效率和还可以的输出质量，得到了许多写作人的青睐，Prompt作为AI写作的核心，通过简短的提示来引导AI生成文本，让写作新手也能轻松自如。 1. 看不下去的行业乱状 让人不禁遗憾的是，国外的开发者都在忙着搞AI科研或者做各种AI应用，而国内的开发者都在忙着捣腾各种“所谓的AI课程”来割韭
经过 Tokenize 之后，一串文本就变成了一串整数组成的向量。OpenAI 的 Tiktoken 是 更高级的 Tokenizer ， 编码效率更高、支持更大的词汇表、计算性能也更高。 OpenAI在其官方GitHub上公开了一个开源Python库：tiktoken，这个库主要是用力做字节编码对
Table of Contents 黑客词典：什么是旁道攻击？ Meltdown Redux：Intel缺陷使黑客窃取了数百万台PC的秘密 三重熔毁：有多少研究人员同时发现了20年的芯片缺陷 KAISER：从用户空间隐藏内核 迟到的Meltdown/Spectre分析 黑客词典：什么是旁道攻击？ h
其实“多核”这个词已经流行很多年了，世界上第一款商用的非嵌入式多核处理器是2002年IBM推出的POWER4。当然，多核这个词汇的流行主要归功与AMD和Intel的广告，Intel与AMD的真假四核之争，以及如今的电脑芯片市场上全是多核处理器的事实。接下来，学术界的研究人员开始讨论未来成百上千核的处
Hybrid这个词，在App开发领域，相信大家都不陌生。Hybrid App是指介于web-app、native-app这两者之间的app，它虽然看上去是一个Native App，但只有一个UI WebView，里面访问的是一个Web App。Hybrid在移动领域的发展，可以说经历了大致3个阶段：
贴纸拼词问题 作者：Grey 原文地址: 博客园：贴纸拼词问题 CSDN：贴纸拼词问题 题目描述 有 n 种不同的贴纸。每个贴纸上都有一个小写的英文单词。 要拼写出给定的字符串 target ，方法是从收集的贴纸中切割单个字母并重新排列它们。以多次使用每个贴纸，每个贴纸的数量是无限的。 返回你需要拼
基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。
## 国内文章 ### C#使用词嵌入向量与向量数据库为大语言模型(LLM)赋能长期记忆实现私域问答机器人落地之openai接口平替 https://www.cnblogs.com/gmmy/p/17430613.html 在上一篇[文章](https://www.cnblogs.com/gmmy/
Transformer注意力架构原理 输入层 embedding词嵌入向量 将文本中词汇的数字表示转变为向量表示，在这样的高维空间捕捉词汇间的关系 语义相近的词语对应的向量位置也更相近 每个词先通过词典转换成tokenId，在把tokenId转化为一个512纬的向量 位置编码 将每个词的位置向量（通
**爬虫，这个经常被人提到的词，是对数据收集过程的一种形象化描述。特别是在Python语言中，由于其丰富的库资源和良好的易用性，使得其成为编写爬虫的绝佳选择。本文将从基础知识开始，深入浅出地讲解Python爬虫的相关知识，并分享一些独特的用法和实用技巧。本文将以实际的网站为例，深入阐述各个处理部分，
好家伙，写爬虫 代码: import requests import re import os from collections import Counter import xlwt # 创建Excel文件 workbook = xlwt.Workbook(encoding='utf-8') wor
摘要：今天带领大家学习自然语言处理中的词嵌入的内容。 本文分享自华为云社区《【MindSpore易点通】深度学习系列-词嵌入》，作者：Skytier。 1 特征表示 在自然语言处理中，有一个很关键的概念是词嵌入，这是语言表示的一种方式，可以让算法自动的理解一些同类别的词，比如苹果、橘子，比如袜子、手
大家在stable diffusion webUI中可能看到过hypernetwork这个词，那么hypernetwork到底是做什么用的呢？ 简单点说，hypernetwork模型是用于修改样式的小型神经网络。 什么是 Stable Diffusion 中的hypernetwork？ Hypern
理解人的表现 人类水平表现这个词在论文里经常随意使用，但现在告诉这个词更准确的定义，特别是使用人类水平表现这个词的定义，可以帮助推动机器学习项目的进展。还记得上个博客中，用过这个词“人类水平错误率”用来估计贝叶斯误差，那就是理论最低的错误率，任何函数不管是现在还是将来，能够到达的最低值。先记住这点，
YOLO-World是一个融合了实时目标检测与增强现实（AR）技术的创新平台，旨在将现实世界与数字世界无缝对接。该平台以YOLO（You Only Look Once）算法为核心，实现了对视频中物体的快速准确识别，并通过AR技术将虚拟元素与真实场景相结合，为用户带来沉浸式的交互体验。在本文中，我们将...
