发现了一个多GPU训练的小BUG

[Hanlard]

            在预训练主程序里有一段，求多个GPU的平均值，这里没平均g_loss和d_loss后面会报错
            if args.n_gpu > 1:
                loss = loss.mean()  # mean() to average on multi-gpu.
                g_loss = g_loss.mean()
                d_loss = d_loss.mean()

[652994331]

您好 我现在自己产生的预训练数据集还要些问题，可以请教下您吗，谢谢。详细问题在这里#9 ， 应该是使用流程上的问题