“模型启动”控制面板

使用“模型启动”控制面板可指定验证方法、隐藏层的结构、是否使用梯度提升以及其他拟合选项。

“模型启动”控制面板

验证方法

选择您想要用于模型验证的方法。详细信息，请参见验证方法。

随机种子

若您要在将来启动“神经”平台时重现验证分配，请指定非零数字随机种子。默认情况下，“随机种子”设置为零，即不生成可重现的结果。将分析保存到脚本中时，您输入的随机种子将保存到该脚本中。

隐藏层结构或隐藏节点

指定每层中的每种类型的隐藏节点数。详细信息，请参见隐藏层结构。

注意：JMP 的标准版本仅使用 TanH 激活函数，只能拟合包含一个隐藏层的神经网络。

提升

指定有关梯度提升的选项。详细信息，请参见提升。

拟合选项

指定有关变量变换和模型拟合的选项。详细信息，请参见拟合选项。

执行

拟合神经网络模型并显示模型报表。

在点击执行拟合模型后，您可以重新打开“模型启动”控制面板并更改设置以便拟合其他模型。

验证方法

神经网络是极为灵活的模型，有可能会出现数据过拟合的问题。发生这种情况时，模型可以很好地预测拟合数据，但不能很好地预测将来观测。为此，“神经”平台采用了以下方法来避免发生数据过拟合：

•

对模型参数应用罚值

•	使用独立的数据集评估模型的预测能力

验证是使用数据集的一部分估计模型参数并使用另一部分评估模型预测能力的过程。

•	训练集是估计模型参数的那部分数据。

•	验证集是估计最优罚值并评估或验证模型预测能力的那部分数据。

•	测试集是对模型预测能力的最终独立评估。仅当使用验证列时才能使用测试集。

通过将原始数据细分为不同子集来创建训练集、验证集和测试集。选择以下方法之一来取数据集的子集。

保留排除行

使用行状态对数据取子集。未排除的行用作训练集，排除的行用作验证集。

有关使用行状态和如何排除行的详细信息，请参见《使用 JMP》手册中的隐藏和排除行。

保留

将原始数据随机划分为训练集和验证集。您可以指定要用作验证集（保留）的数据占原始数据的比例。

K 重

将原始数据划分为 K 个子集。这 K 个子集依次对基于剩余 k-1 个子集的数据构建的模型进行验证，总共拟合 K 个模型。给出最佳验证统计量的模型将被选为最终模型。

该方法最适合小数据集，因为它能充分利用有限的数据。

验证列

使用该列的值将数据划分为多个部分。可以使用“神经”启动窗口中的“验证”角色分配该列。请参见 “神经”启动窗口。

该列的值将确定如何拆分数据以及使用什么方法进行验证：

‒	若该列有三个唯一值，则：

最小值用于训练集。

中间值用于验证集。

最大值用于测试集。

‒	若该列有两个唯一值，则仅使用训练集和验证集。

‒	若该列包含三个以上唯一值，则执行 K 重验证。

隐藏层结构

注意：JMP 的标准版本仅使用 TanH 激活函数，只能拟合包含一个隐藏层的神经网络。

“神经”平台可拟合一层或两层神经网络。增加第一层中的节点数或添加第二层可使神经网络更加灵活。每一层添加的节点数不受限制。第二层节点是 X 变量的函数。第一层节点是第二层节点的函数。Y 变量是第一层节点的函数。

在隐藏层的节点处应用的函数称为激活函数。激活函数是 X 变量线性组合的变换。提供以下激活函数：

TanH

双曲正切函数是一个 S 形函数。TanH 将值变换到 -1 和 1 之间，是经过中心化和统一尺度变换的 Logistic 函数。双曲正切函数为：

其中，x 是 X 变量的线性组合。

线性

恒等函数。不变换 X 变量的线性组合。

线性激活函数经常与一个非线性激活函数一起使用。在这种情况下，线性激活函数置于第二层中，非线性激活函数置于第一层中。若您想要先降低 X 变量的维度，然后建立 Y 变量的非线性模型，那么这样设置激活函数会很有用。

对于连续 Y 变量，若仅使用线性激活函数，Y 变量的模型会简化为 X 变量的线性组合。对于名义型或有序型 Y 变量，模型会简化为 Logistic 回归。

高斯

高斯函数。对径向基函数行为使用该选项，或是在响应曲面在形状上为高斯（正态）分布时使用该选项。高斯函数为：

其中，x 是 X 变量的线性组合。

提升

提升是通过拟合一系列小模型来构建较大的加法神经网络模型的过程。每个小模型在前一个模型经过尺度统一的残差的基础上进行拟合。然后所有模型组合在一起构成一个较大的最终模型。该过程可使用验证来评估要拟合多少个组件模型，但不超过指定的数目。

提升往往比拟合单个大模型要快。但是基本模型应该为 1 到 2 个节点的单层模型，否则若是指定了大量模型，拟合较快的优势就会丧失。

使用“模型启动”控制面板中的“提升”面板可指定组件模型数和学习率。使用“模型启动”控制面板中的“隐藏层结构”面板可指定基本模型的结构。

学习率必须为 0 < r ≤ 1。学习率接近 1 会导致最终模型收敛更快，但是也更容易过度拟合数据。当指定小的“模型数”时，可以使用接近 1 的学习率。

接下来我们举例说明提升的工作原理：假定您指定的基本模型包含一层和两个节点，并且模型数等于 8。第一步先要拟合一个单层两节点模型。将该模型的预测值以学习率来统一尺度，然后从实际值中减去预测值以构成尺度统一的残差。第二步则是基于上一步中模型的尺度统一的残差来拟合另一个单层两节点模型。该过程会一直持续到拟合了 8 个模型为止，或一直持续到增加另一个模型却不能使验证统计量更好为止。最后，所有组件模型组合在一起构成一个大的最终模型。在本例中，若停止之前拟合了 6 个模型，则最终模型包含一层和 2 x 6 = 12 个节点。

拟合选项

提供以下模型拟合选项：

变换协变量

使用 Johnson Su 或 Johnson Sb 分布将所有连续变量变换为接近正态性。变换连续变量有助于减轻离群值或高偏斜分布的不利影响。

请参见模型选项中的“保存变换的协变量”选项。

稳健拟合

使用最小绝对偏差而不是最小二乘来训练模型。若您想要将离群值的影响降到最小，该选项会很有用。该选项仅适用于连续响应。

惩罚方法

选择惩罚方法。为了降低神经网络过拟合数据的趋势，拟合过程引入了似然惩罚。请参见惩罚方法。

历程数

指定重新开始拟合过程的次数，每次迭代都使用不同的随机起始点进行参数估计。具有最佳验证统计量的迭代将被选为最终模型。

惩罚方法

罚值为

，其中 λ 是惩罚参数，p( ) 是参数估计值的函数，称为惩罚函数。验证用于找到惩罚参数的最优值。

惩罚方法说明
方法	惩罚函数	说明
平方		若您认为大多数 X 变量都对模型的预测能力有贡献，则使用该方法。
绝对值		若 X 变量数量很多并且一小部分的贡献超过其他部分，则使用这两种方法之一。
加权衰减		若 X 变量数量很多并且一小部分的贡献超过其他部分，则使用这两种方法之一。
无惩罚	无	不使用惩罚。若您有大量数据同时希望拟合过程快速完成，则可以使用该选项。不过，该选项会导致模型的预测能力不如使用惩罚的模型。