为什么我还是无法理解transformer？
来源：
编辑：
时间：2025-06-25 06:55:10
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
-
{dede:pagebreak/}
网友评论：
{dede:include file='ajaxfeedback.htm' /}
栏目分类
最新文章
热门文章
- 网传《碟中谍 8》亏损可能超 14 亿，是真的吗？这背后的原因是什么？
- 我应该设置多少kb才能让他不能玩游戏？
- 扫黑风暴为什么他们费老大劲杀这么多人不如直接把督导组干掉？
- 苹果 6 月 10 日召开的 2025 年全球开发者大会「WWDC25」，有哪些值得关注的信息？
- 为什么是 9 月 3 日阅兵而不是 10 月 1 日国庆阅兵？
- 新修订的治安管理处罚法重构「被殴打还手即互殴」的认定标准，明确正当防卫免处罚，怎样从法律角度解读？
- 编译器和解释器的分界线在哪，字节码效率能否无限接近机器码？
- Django、Flask、FastAPI，Python 后端哪个更好？
- 为什么Go仅仅160MB的安装包就可以编译程序，而Rust却还需要几个GB的VC++才能编译？
- 都说说手中的存款能在失业的状态下坚持多久？