第(3/3)页

    但在计算的时候，就有一个问题了，原本y = F(x)运算开始的时候，就不再需要继续存储x这个变量了，因为它已经在参与F(x)的运算。

    在运算过程当中，它会变成其他的中间变量，然后最终变为我们所想要的y。

    可在残差办法当中，y = F(x)+ x，x这个原始的输入，是不能够舍弃的。

    必须有空间一直被占用着，用来存放这个x，因为它还等着最后加上去呢。

    在比较复杂，分辨率比较高的任务当中，这个变量的大小是相当可观的。

    这种情况有没有办法可以规避？规避之后，残差方法带来的性能提升能不能不要被影响？

    答案当然是肯定的，完全可以做到。

    孟繁岐准备实现的这种结构重参数化，其最核心的思想就是模型训练和实际使用推理的分离。

    首先构造一系列结构（一般用于训练），并将其参数等价转换为另一组参数（一般用于推理），从而将这一系列结构等价转换为另一系列结构。

    在现实场景中，训练资源一般是非常丰富的，可以在大型的服务器上得到。

    而推理的时候，计算资源往往会比较有限，因此大家更在意的是推理时的开销和性能。

    想要训练时的结构较大，具备好的某种性质，比如性能特别好，准确率特别高。

    但在推理的时候，则把结构变小变快，同时在数学上等价于大型的结构。

    孟繁岐的这个新办法，就提供了这种可能，他相信，重参数+移动端网络的算力削减，将会成为自动驾驶领域的一大催化剂。最新网址：

    本站网站:

    　　

    


    第(3/3)页