分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2023-07-12
摘要： 以 LLAMA 为代表的开源大语言模型广泛使用旋转位置编码，原始论文使用复函数推导。本文改用线性代数推导，期望更好地理解该编码方法；提出该方法的一个疑点并给出了改进建议。
分类： 数学 >> 数学（综合） 提交时间： 2022-10-10
摘要： 微博平台上的大量图片几乎相同，差别仅在于水印和清晰度。为了从海量图片中找出几乎相同的图片，本文提出一种称为多层指纹的新算法。多层指纹包含5个字符串和3种实数向量，其中一个字符串用于快速召回，剩余字符串、向量用于计算指纹间相似度。多层指纹的算力需求很小，准确率高。在微博百万级图片库上测试结果表明，多层指纹的检索速度达到QPS 345，准确率达到 97.69%。
分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2021-10-20
摘要： 最近流行的自然语言处理技术之一是BERT模型，本文给出该模型的数学形式。
分类： 数学 >> 计算数学 提交时间： 2020-10-19
摘要： 在进入推荐系统之前，商品名、人名等实体名字需要嵌入低维向量。word2vec这样的流行嵌入算法的出发点是“相同语法位置上的词具有相似的向量”，而名字序列没有语法结构，导致名字向量的质量不高。 本文从“相邻的名字具有相似的向量”出发，提出一个称为名字嵌入的新方法。名字嵌入使用了一些新技巧：公式比word2vec更简单，向量模长固定为1、用相对权重处理低频名字、优化目标使用简单的均方差。 以名字相似度作为衡量标准，在NBA球队名人造集、球队名微博集和微博点赞集上，名字嵌入均显著优于word2vec。
点击量
待评议
点击量
下载量
评论
