听我说,Transformer它便是个反对于向量机
作者:探索 来源:休闲 浏览: 【大 中 小】 发布时间:2024-10-28 04:27:13 评论数:
机械之心报道
编纂:蛋酱、听我说小舟
SVM is 个反all you need ,反对于向量机永不外时 。对于
Transformer 是向量一个反对于向量机(SVM)一种新型实际在学界激发了人们的品评辩说。
上周末 ,听我说一篇来自宾夕法尼亚大学 、个反加州大学河滨分校的对于论文试图钻研大模子根基 Transformer 妄想的道理,其在留意力层的向量优化多少多与将最优输入 token 与非最优 token 并吞的硬领土 SVM 下场之间建树了方式等价。
在 hackernews 上作者展现,听我说这种实际处置了 SVM 将每一个输入序列中的个反「好」标志与「坏」token 并吞的下场。该 SVM 作为一个功能优异的对于 token 抉择器,与传统为输入调配 0-1 标签的向量 SVM 本性上差距。
这种实际也讲明了留意力若何经由 softmax 引起浓密性:落在 SVM 抉择规画领土过错一侧的听我说「坏」token 被 softmax 函数抑制