淘天集团面试题更新 2026-08-05
请说明 Transformer 中编码器与解码器的注意力机制有何区别，并解释在缩放点积注意力中除以√dk 的原因。
淘天集团人工智能互联网/IT问题拆解技术原理Transformer
考察说明
考察对 Transformer 注意力机制的理解深度，包括结构差异与数学原理
回答思路
- 指出编码器使用自注意力，解码器包含自注意力与交叉注意力
- 说明解码器自注意力使用 Mask 防止未来信息泄露
- 解释交叉注意力以解码器输出为查询、编码器输出为键值
- 阐述除以√dk 防止点积过大导致梯度消失的原理
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
