深度卷积神经网络中的归一化CN115803752A.pdfVIP

发明名称 深度卷积神经网络中的归一化 摘要 本文描述了一种用于机器学习的设备 (900)，所述设备(900)包括一个或多个处理器 (901)，所述处理器用于实现神经网络第一层、神 经网络第二层以及布置在所述神经网络第一层 与所述神经网络第二层之间的归一化层，所述归 一化层用于在所述设备在对一批训练样本进行 训练时执行以下操作：针对所述批次的多个训练 样本接收(1001)所述神经网络第一层的多个输 出，每个输出包括第一维度和第二维度上不同索 引的多个数据值，所述第一维度表示通道维度； 根据与所述输出相关的所述第一维度和所述第 二维度上的所述索引，将所述输出分成(1002)多 A 个组；为每个组形成(1003)归一化输出；提供 2 (1004)所述归一化输出作为所述神经网络第二 5 7 3 层的输入。这可以训练具有良好性能的深度卷积 0 8 5 神经网络，所述深度卷积神经网络在不同批量大 1 1 N 小时稳定运行并且可推广到多个视觉任务。这也 C 可以加快所述训练并提高所述训练的性能。 CN 115803752 A 权　利　要　求　书 1/2页 1.一种用于机器学习的设备(900)，其特征在于，所述设备包括一个或多个处理器 (901)，所述处理器用于实现神经网络第一层、神经网络第二层以及布置在所述神经网络第 一层与所述神经网络第二层之间的归一化层，所述归一化层用于在所述设备在对一批训练 样本进行训练时执行以下操作： 针对所述批次的多个训练样本接收(1001)所述神经网络第一层的多个输出，每个输出 包括第一维度和第二维度上不同索引的多个数据值，所述第一维度表示通道维度； 根据与所述输出相关的所述第一维度和所述第二维度上的所述索引，将所述输出分成 (1002)多个组； 为每个组形成(1003)归一化输出； 提供(1004)所述归一化输出作为所述神经网络第二层的输入。 2.根据权利要求1所述的设备(900)，其特征在于，所述第二维度表示一个或多个空间 维度。 3.根据权利要求2所述的设备(900)，其特征在于，所述为每个组形成归一化输出的步 骤包括：计算所述组中所述输出的聚合统计参数。 4.根据权利要求2或3所述的设备(900)，其特征在于，所述为每个组形成归一化输出的 步骤包括：计算所述组中所述输出的平均值和方差。 5.根据上述任一权利要求所述的设备(900)，其特征在于，所述对所述输出进行分组的 步骤包括：将每个输出仅分配给所述组中的单个组。 6.根据上述任一权利要求所述的设备(900)，其特征在于，所述对所述输出进行分组的 步骤包括：将与所述第一维度上的共同指标和所述第二维度上的共同指标相关的所有输出 分配到同一组。 7.根据上述任一权利要求所述的设备(900)，其特征在于，所述对所述输出进行分组的 步骤包括：将与公共批次相关的输出分配到不同的组。 8.根据上述任一权利要求所述的设备(900)，其特征在于，所述对所述输出进行分组的 步骤包括：根据与输出相关的所述第一维度上的所述指标，将输出分配到不同的组。 9.根据上述任一权利要求所述的设备(900)，其特征在于，所述对所述输出进行分组的 步骤包括：根据与输出相关的所述第二维度上的所述指标，将输出分配到不同的组。 10.根据上述任一权利要求所述的设备(900)，其特征在于，所述归一化层用于： 接收控制参数； 将所述控制参数与预定阈值进行比较； 根据所述参数，确定在所述分组步骤中如何根据所述第一维度和所述第二维度中与输 出相关的所述指标，将输出分配到不同的组。 11.根据权利要求10所述的设备(900)，其特征在于，所述设备用于根据所述批次中的 训练样本数量来形成所述控制参数。 12.根据上述任一权利要求所述的设备(900)，其特征在于，所述输出是所述神经网络 第一层形成的特征图。 13.根据上述任一权利要求所述的设备(900)，其特征在于，所述设备用于根据所述归 一化输出来训练所述神经网络第二层。 14.一种用于基于一批训练样本训练用于机器学习的设备(900)的方法(1000)，其特征