近年来，由ChatGPT掀起的AGI革命如火如荼，但可能鲜有人知，GPT背后的基石模型——Transformer，才是这场革命的真正推手。这项集各种神经网络大成的结构，包含了MLP前馈层、残差网络、自注意力机制（可以认为是卷积网络的一种推广），本身就是一种变体的循环神经网络。这种设计使其能学习极其复杂的数据逻辑，无论是在自然语言处理、计算机视觉，还是金融数据分析、游戏AI设计、基因序列分析、音频生 ...

电压互感器 （Potential Transformer 简称PT，Voltage ...

FFN在Transformer里面主要是对多头注意力矩阵升维，非线性过滤，然后再降回原来的维度。这个通常的比喻是：FFN就像个人的思考空间—— Attention Layer帮助模型正确的分配注意力，然后FFN 帮助模型仔细的思考，提取更加抽象的特征。 这个比喻很好很形象，听到这儿往往会感觉恍然大悟，然后感慨模型设计精妙，唯一的问题是什么实质都没有解释。