拉图书

第4章（第2页）

“人脑神经是离散的信号传导，而你的神经网络建模的是连续可导空间，或者说目前你们绝大部分神经网络都是这样，其实不能叫神经网络……

vit模块那里的多头自注意力机制倒是有点意思，不过效率太低，看你的代码，似乎是想降低运算的复杂度，但是没有调试完成……

这里局部特征的提取使用深度卷积就可以了。键值对通过线性层直接提取到低维，优化的方向没错，但是q和k投影的方式有问题……”

白泽一张嘴，刘岁安就听出来她没有吹牛，是真的有点东西。

至于东西多不多，要等代码改完看实验结果如何。

在她的指导下，刘岁安编码完成了核心创新部分的代码。

“这个注意力机制是不是应该取个新名字，叫suian attention怎么样？”刘岁安开玩笑道。

“你足够不要脸的话，当然可以，不过白泽的建议是叫ultra efficient attention，简称uea。”

“……挺好的。”

“结构改完，参数也需要调整。初始学习率设为0025，weight-decay减半，为防止过拟合，num-heads降为4就够了……”

刘岁安通通照做。

……

实验室另一边，张莎莎表面上在看手机，实则在用余光关注‘自言自语’的刘岁安。

“该不会是实验做不出来，疯了吧。”

她想到这个可能性，看向刘岁安的目光不禁多了些怜悯。

张莎莎和刘岁安之间的过节其实很儿戏，起因是很久之前一个学妹喜欢后者。

当时刘岁安对那个学妹没有任何发展的想法，不知道怎么拒绝合适，随口谎称自己是弯的，想让对方不要来打扰自己。

学妹被拒绝后还想和刘岁安成为好朋友，后来知道了真相，差点抑郁了。