为什么数值预测往往比分类更难

回归往往比分类承担更重的信息负担:它需要刻画幅度、尺度、局部结构与不确定性。该预测什么,应由决策需要决定,而不是由哪种模型更容易训练来决定。

连续预测曲线穿过离散决策区间,背景为深色科学网格

为什么预测数值更难:关键不在模型,而在决策所需的信息

机器学习问题通常分为两类:回归 预测数值,分类 预测离散标签。这个区分看似简单,却引出一个更深的问题:

为什么许多现实机器学习系统预测的是类别、方向或风险等级,而不是精确的数值结果?

企业可能预测客户是否会流失,而不是客户具体会在何日离开;制造商可能预测机器是否会在 30 天内故障,而不是剩余寿命的精确时长;金融模型可能预测市场方向或所处状态,而不是明天的精确价格;运营团队可能预测项目是否会延期,而不是确切的完工时间。

一种解释是:数值预测的优化空间更大。毕竟,分类模型只需在有限类别中选择,而回归模型可能要预测连续尺度上的任意数值。

这个直觉大体上是对的,但需要进一步说清楚。

数值预测往往更难,是因为它承担了更重的信息负担;不一定是因为模型要搜索更大的参数空间。

在深度学习中,这一区分尤其重要。回归神经网络与分类神经网络的架构可能几乎相同,可训练参数数量也相差无几。然而,回归在统计意义上仍可能更难,因为它要求模型从带噪声、不完整的数据中恢复更多细节。

下文沿着一条主线展开:先区分模型参数多少与目标信息多少,再解释噪声和不确定性如何放大两者的差别,最后回到业务决策,判断该预测类别、数值、排序还是概率分布。这样就不会把“输出值更多”误当成“模型搜索空间更大”。

理解这种差异,能让我们跳出“回归和分类哪个更好”这一过于简单的问题。更有用的问题是:

为了支持我们要做的决策,模型必须保留多少关于未来的信息?

一、分类与回归:预测的不是同一份信息

假设零售商想预测一位客户未来一年的消费额。

分类模型可能给出三个标签:

  • 低价值
  • 中价值
  • 高价值

用数学形式表示,它预测的是:

ĉ ∈ {1, 2, 3}

模型的任务是判断客户落在结果空间的哪个区域。

如果“高价值”类别从 10,000 美元开始,分类器可能把消费 12,000 美元和 120,000 美元的客户都视为同一类别。对分类目标而言,两者消费额的精确差异并不重要。

因此,分类问的是:

结果属于哪个区域?

回归模型试图直接预测数值结果:

ŷ = 37,426

它必须区分客户的消费额究竟是:

  • 12,000 美元
  • 12,500 美元
  • 15,000 美元
  • 37,426 美元
  • 120,000 美元

因此,回归问的是:

结果在空间中的确切位置在哪里?

这是一个信息更细的问题。

即使分类器并不理解某个类别内部的差异,它仍可能分类正确。回归器则必须表示这些差异,因为损失函数会衡量数值距离。

许多分类目标原本是数值结果。

假设 Y 表示客户年度消费额。我们可以通过分组函数把它转换成类别目标 C:

C = q(Y)

例如:

C = {0 if Y < 1,000; 1 if 1,000 ≤ Y < 10,000; 2 if Y ≥ 10,000}

数值目标一旦转换为类别,模型就不再需要保留它的精确数值。

如果我们知道:

Y = 27,500

就可以确定其类别。

但如果我们只知道:

C = 2

就无法还原原始消费金额。

从信息关系看:

Y ⇒ C

但通常:

C ⇏ Y

类别所含的信息少于原始数值目标。

这种信息损失不一定是缺点。它可能是有意为之,而且对决策有利。

丢弃不会影响决策的差异,可以让问题变得更容易。

如果所有消费超过 10,000 美元的客户都获得同一种服务,精确预测消费额可能没有多少额外价值。类别标签或许已经足够。

“回归的优化空间更大”这个说法包含重要直觉,但需要区分几种不同的“空间”。

模型的参数空间由所有可训练参数可能取值构成。

对神经网络而言,这些参数包括权重和偏置:

θ = W₁, b₁, W₂, b₂, …, W_L, b_L

如果一个网络有一百万个可训练参数,优化过程就在一个一百万维的参数空间中搜索。

现在看两个共享相同隐藏层的网络。

例如,回归网络可以写作 ŷ = f(x; θ),二分类网络可以写作 p̂ = σ(f(x; θ))。

其中:

σ(z) = 1 / (1 + e^(−z))

是 sigmoid 函数。

这两个网络的参数数量可能几乎完全一样。分类网络可能只是在最终激活函数上有所不同。

因此,回归并不会自动带来更大的参数空间。

两种情况下,梯度下降可能搜索的几乎是同一个空间。

两类问题的输出空间不同。

二分类目标属于:

y ∈ {0, 1}

多分类目标属于:

y ∈ {1, 2, …, K}

数值目标则可能属于:

y ∈ ℝ

理论上,实数输出可以取无限多个值。

不过,输出空间的大小并不能完全解释两者的差异。二分类器也会输出一个连续数值:

p ∈ [0, 1]

但这个数值表示概率,而不是原始连续结果。

更深层的区别并不只是模型是否输出连续值,而是这个输出试图保留多少信息。

回归模型通常试图估计:

f(x) = E[Y | X = x]

也就是给定可用特征时,数值结果的期望。

分类器则试图估计:

P(Y = k | X = x)

或者在应用决策规则后估计:

k̂ = arg max_k P(Y = k | X = x)

假设真实数值关系是:

Y = 5 + 2X + 0.4X² + sin(3X) + ε

回归模型必须学会该函数的水平、趋势、曲率、振荡和尺度。

现在假设我们把目标转换为:

C = {1 if Y > 20; 0 if Y ≤ 20}

分类器可能只需要学会结果大致会在哪个位置跨过阈值。

它不一定要准确重现整个数值函数。

因此,可以把最初的直觉表述得更精确:

回归的参数空间未必更大,但它往往要求模型学会更丰富的目标函数。

难点来自答案需要达到的分辨率,而不只是模型参数的数量。

二、数值预测为何承担更多信息负担

数值预测模型可能需要同时学会多个属性。

具体而言,回归可能要同时学会结果变化的方向和幅度 、输出的尺度 、关系的曲率 、不同客户或时段之间的异质性 ,以及各类情形下不同的不确定性 。分类通常只需掌握足够的信息来判断样本位于决策边界哪一侧。

分类可能只需要理解足够多的结构,以判断一个观测值落在边界的哪一侧。

例如:

Y = 10X + ε

假设分类目标是判断 Y 是否超过 50。

分类器可能只需找出相关边界大约位于:

X = 5

回归模型还必须学会大约为 10 的斜率、正确的输出尺度,以及残差如何变化。

分类器学的是区域;回归器学的是曲面。

预测目标可以按保留的信息由少到多排列:二元类别(低或高)、多类别(低中高)、排序(A > B > C)、点预测(ŷ = 127.4)、分位数(Q₀.₁, Q₀.₅, Q₀.₉),再到完整分布 p(y | x)。

每向下一层,目标都会保留更多关于结果的信息。

二元分类标签可能只告诉我们结果落在阈值的哪一侧;点预测增加了幅度信息;分位数增加了不确定性信息;完整的条件分布则试图描述所有可能结果及其范围。

更丰富的目标有助于做出更好的决策,但也要求:

  • 更强的预测信号
  • 更好的特征
  • 更大或更具代表性的数据集
  • 更谨慎的模型验证
  • 更合适的损失函数
  • 更妥善地处理不确定性

回归往往更难,是因为它处于这一信息层级中比普通分类更靠后的位置。

现实结果的一种常见表示是:

Y = f(X) + ε

其中:

  • f(X) 是系统性的、可能可学习的部分;
  • ε 表示噪声、随机性、信息缺失或未观测事件。

假设每周产品需求由价格、促销、季节性和历史销量驱动。即使模型很好地捕捉了这些因素,实际需求仍可能受到以下情况影响:

  • 竞争对手的意外行为
  • 天气事件
  • 社交媒体关注度
  • 供应中断
  • 本地活动
  • 报告误差

模型可能正确估计了系统性部分,但观测到的数值结果仍会有很大偏差。

回归模型会因这种偏差受到惩罚,其中也包括不可预测事件造成的那部分误差。

假设每周需求通常约为 1,000 件,但受随机因素影响会在 900 到 1,100 件之间波动。

回归模型必须区分:

900, 950, 1,000, 1,050, 1,100

现在定义一个分类目标:

C = {1 if Y > 800; 0 if Y ≤ 800}

上述五种结果都属于同一类别。

对于这个决策,随机波动变得无关紧要。

这也是分类看起来更准确、更稳定的原因之一。它可能解决的是一个低分辨率问题:许多数值预测误差在这里根本不算错误。

分类并不总能抵御不确定性。

假设阈值不是 800,而是 1,000。

那么:

Y = 999.9 ⇒ C = 0

而:

Y = 1000.1 ⇒ C = 1

两者的数值差异几乎没有意义,类别却完全改变。

靠近阈值的观测值很难分类,因为少量噪声就可能翻转标签。

这带来一个重要限定:

只有当边界具有实际意义,而且与常见波动充分分离时,分类才会减少噪声。

人为设定或选择不当的阈值,可能既抹去有用的连续信息,又让标签变得不稳定。

三、神经网络改变了什么,又没有改变什么

传统统计方法通常会让回归与分类的区别非常明显。

例如:

  • 线性回归与逻辑回归
  • 回归树与分类树
  • 随机森林回归器与随机森林分类器

神经网络提供了更统一的框架。

深度网络首先通过隐藏层变换输入:

h₁ = φ(W₁x + b₁)
h₂ = φ(W₂h₁ + b₂)
⋮
h_L = φ(W_L h_(L−1) + b_L)

最终隐藏表示 h_L 可能编码:

  • 非线性特征交互
  • 时间模式
  • 空间关系
  • 潜在客户行为
  • 运营复杂性
  • 风险因素

同一个表示可以支持多种预测类型。可能只需要改变最终的预测头。

对于数值预测,网络可以使用线性输出头:

ŷ = wᵀ h_L + b

输出可以表示:

  • 收入
  • 能源消耗
  • 产品需求
  • 交付时间
  • 温度
  • 预期损失

一种常见损失函数是均方误差:

L_MSE = (1/N) Σ_(i=1)^N (y_i − ŷ_i)²

均方误差会更重地惩罚较大的偏差。若真实值是 100:

  • 预测 101,平方误差为 1;
  • 预测 110,平方误差为 100;
  • 预测 120,平方误差为 400。

另一个选项是平均绝对误差:

L_MAE = (1/N) Σ_(i=1)^N |y_i − ŷ_i|

平均绝对误差对极端观测值不那么敏感,但仍要求网络估计数值距离。

对于二分类,网络首先生成一个 logit:

z = wᵀ h_L + b

然后通过 sigmoid 函数将 logit 转换为概率:

p = σ(z) = 1 / (1 + e^(−z))

模型随后可以用二元交叉熵训练:

L_BCE = −(1/N) Σ_(i=1)^N [y_i log(p_i) + (1 − y_i) log(1 − p_i)]

对于多分类,模型会输出 K 个 logit:

z₁, z₂, …, z_K

softmax 函数将它们转换为概率:

p_k = e^(z_k) / Σ_(j=1)^K e^(z_j)

并且:

Σ_(k=1)^K p_k = 1

预测类别通常是:

k̂ = arg max_k p_k

隐藏层可能与回归模型完全相同。主要变化在于:

  • 最终输出层
  • 输出激活函数
  • 损失函数
  • 结果的解释方式

神经网络并不会天然理解精确数值、正确类别、业务重要性或可接受误差等概念。

它会响应目标函数。

回归损失告诉网络:

缩小预测值与观测值之间的数值距离。

分类损失则告诉网络:

提高观测类别所对应的概率。

这种差别会改变模型因学习哪些信息而获得奖励。

假设一个数值目标被划分为“低、中、高”。若真实类别是“高”,普通交叉熵会把“中”和“低”都视为错误。它不会自动理解“中”比“低”更接近“高”。

要让模型理解顺序,需要引入以下方法:

  • 有序分类
  • 成本敏感学习
  • 自定义损失函数
  • 有序阈值
  • 回归

分类简化了目标,但也可能移除有关距离和顺序的重要信息。

更大的神经网络能够逼近更复杂的函数,却无法可靠地预测输入中不存在的信息。

假设真实结果取决于两组变量:

Y = f(X, Z)

模型能观察到 X,但 Z 包含重要的未观测因素。

最佳模型可能学到:

E[Y | X]

但它无法知道未来某个观测值会受到的 Z 的具体取值。

增加更多层并不能解决信息缺失问题。

这带来两类主要误差来源。

其中一部分是可约误差 ,可以通过以下方式改善:

  • 更好的特征
  • 更多训练数据
  • 更强的架构
  • 更好的优化方法
  • 合适的正则化
  • 更好的损失函数

另一部分是不可约误差 ,源于:

  • 未观测变量
  • 测量噪声
  • 内在随机性
  • 不可预测的未来事件

回归往往会暴露不可约的不确定性,因为每个偏差都会计入数值误差。分类则可以通过把许多结果归为同一类,隐藏其中一部分不确定性。

提高神经网络容量,并不能保证现实预测会更好。

非常灵活的模型可能会拟合:

  • 随机波动
  • 历史异常
  • 测量伪影
  • 暂时性相关
  • 未来不会保持稳定的特征

大网络可能在训练集上表现出色,却难以泛化。

回归和分类都会受到这个问题影响。不过在回归中,后果可能尤其明显,因为模型可能给出不现实的数值幅度,或在外推时产生极端结果。

只有在信息足够且正则化适当时,模型容量才有价值。

数值目标可能跨越非常大的范围。

假设一个业务部门的数值约为 100,另一个部门则约为 1,000,000。直接对原始目标训练,可能导致梯度尺度不佳,而且损失会被最大值主导。

常见变换包括标准化:

y′ = (y − μ_y) / σ_y

以及对数变换:

y′ = log(1 + y)

分类标签通常没有同样的目标尺度问题。

在均方误差下:

L = (y − ŷ)²

损失对预测值的梯度是:

∂L/∂ŷ = 2(ŷ − y)

非常大的残差会产生非常大的梯度。

因此,少数极端结果可能对模型产生很强的影响。

稳健的替代方案包括:

  • 平均绝对误差
  • Huber 损失
  • 分位数损失
  • 重尾概率分布
  • 显式的异常值建模

正确的选择取决于极端观测究竟是错误数据、罕见但合理的事件,还是数据集中最重要的情况。

许多现实结果的不确定性并非常数。

形式上:

Var(Y | X = x₁) ≠ Var(Y | X = x₂)

对某些观测值,结果可能很容易预测;对另一些则可能极不确定。

传统回归模型可能对两种情况都给出同类的点估计,却不说明置信程度的差异。

这会造成严重的运营限制。当可能范围为 95 到 105 时,预测值 100 所代表的含义,与可能范围为 20 到 180 时完全不同。

神经网络可以在训练数据覆盖的范围内有效插值,但超出该范围后的外推就不那么可靠。

如果模型只在 100 到 1,000 的需求值上训练,遇到新条件使需求达到 5,000 时,它的表现可能难以预测。

由于足够大的数值都被归为“高”类别,具有宽泛“高”类别的分类器看起来可能更稳健。但这种稳健性可能只是表面现象:类别标签会掩盖模型其实并不理解新情形的数值幅度。

训练数据代表的是某个历史环境:

P_train(X, Y)

未来数据可能来自已经改变的环境:

P_future(X, Y)

经济状况、客户行为、价格、技术与运营政策都可能改变。

回归模型可能仍能正确判断相对次序,却在数值幅度上出现系统性错误。例如,它可以正确找出需求较高的产品,却低估所有产品的需求。

这也是排序和分类模型看起来有时能更长久地保持有用的原因:相对顺序或宽泛类别有时比绝对数值更稳定。

四、简化目标有代价,也有边界

假设:

P(Y = 1 | X = x) = 0.52

在 x 这个位置上,两个类别几乎无法区分。

即使是理论上最优的分类器也会频繁出错,因为条件分布相互重叠。

这不是优化失败,而是数据中存在不可约的模糊性。

以下情况会让分类非常困难:

  • 类别分布重叠
  • 标签具有主观性
  • 正例很少
  • 分类边界不稳定
  • 缺失重要变量
  • 标签包含错误

假设把客户分为:

  • 低价值:低于 10,000 美元
  • 高价值:至少 10,000 美元

价值 9,999 美元的客户与价值 10,001 美元的客户会得到不同标签,尽管二者几乎没有差别。

与此同时,价值 10,001 美元的客户和价值 1,000,000 美元的客户却会得到相同标签,尽管两者的经济重要性相差巨大。

这种分类转换制造了人为的不连续:

9,999 → 0

10,001 → 1

这会让阈值附近的标签变得嘈杂,同时抹去类别内部的重大差异。

只有当类别对应有意义的行动或自然区分时,分类才真正有用。

假设真实关系是:

Y = 3X + 5 + ε

数值目标提供了关于斜率和截距的细致信息。

如果把观测值:

8, 11, 14, 17

替换成:

低、低、高、高

我们就丢掉了观测值之间的距离信息。

每个数值目标都会告诉回归模型:

  • 预测值是偏高还是偏低
  • 预测值相差多远
  • 参数应当调整多少

当连续信号稳定且有意义时,回归可能学得更有效率,因为每个目标都包含更丰富的监督信息。

分类通过丢弃信息让问题更容易;而当信息可靠时,回归则能从中获益。

五、点预测之外:按决策选择输出

假设模型预测:

ŷ = 120

至少有两种可能的情况。

一种情况是大多数可能结果都在 115 到 125 之间;另一种情况是结果可能分布在 20 到 220 之间。

两种情况下期望值都可能是 120,但对运营的影响完全不同。

点预测无法传达不确定性。

问题未必出在回归本身,而可能在于回归被简化成了过于单一的形式。

假设某个输入对应两个同样可能的结果:

Y = 50

或:

Y = 150

那么:

E[Y | X] = 0.5(50) + 0.5(150) = 100

在均方误差下,预测 100 在数学上可能是最优的。

但结果几乎可能从来不会是 100。

回归模型给出的是两个现实结果之间的平均值,而没有表示其中任何一个结果。

分类器则可以保留两种可能性:

P(Y = 低 | X) = 0.5

P(Y = 高 | X) = 0.5

概率回归模型同样可以表示这两个众数。问题不在连续预测,而在于把复杂分布压缩成单一均值。

分位数回归会预测条件分布中的选定位置。

例如:

Q₀.₁₀(Y | X) = 80

Q₀.₅₀(Y | X) = 120

Q₀.₉₀(Y | X) = 190

这些数值分别描述:

  • 较低区间的情景
  • 中位结果
  • 较高区间的情景

模型不再声称结果一定恰好是 120,而是传达一组合理的数值范围。

这对以下用途通常更有帮助:

  • 产能规划
  • 库存管理
  • 预算编制
  • 排程
  • 风险管理

神经网络可以预测整个概率分布的参数。

例如:

Y | X ~ N(μ(X), σ²(X))

网络会输出:

μ̂ = f_μ(X)

以及:

σ̂ = f_σ(X)

输出同时包含期望值和不确定性估计。

网络可以用负对数似然训练:

L = (y − μ)² / (2σ²) + log σ + constant

不同类型的结果可能需要不同的分布:

  • 事件计数使用 Poisson 分布
  • 过度离散的计数使用负二项分布
  • 正值且偏态的数据使用 Gamma 或对数正态分布
  • 比例使用 Beta 分布
  • 多峰结果使用混合分布

这种方法承认:未来往往用一个分布表示,比用一个数值更合适。

分类器预测:

P(Y = k | X)

这是离散类别上的概率分布。

概率回归预测:

p(Y | X)

这是连续结果上的概率分布。

从这个角度看,分类和回归并不是彼此割裂的。

二者都试图描述:在已有信息条件下,结果的条件分布是什么。

硬类别标签是一个经过压缩的摘要:

k̂ = arg max_k P(Y = k | X)

点回归估计同样是一个压缩摘要:

ŷ = E[Y | X]

这两类摘要都会丢弃不确定性。

最完整的预测问题既不是:

结果属于哪一类?

也不是:

精确数值是多少?

而是:

根据现有信息,哪些结果是合理的?每种结果出现的可能性有多大?

有些业务问题既不需要精确数值,也不需要固定类别。

它们需要的是优先级。

例如:

  • 应该优先联系哪些客户?
  • 应该优先检查哪些机器?
  • 哪些产品最可能出现短缺?
  • 哪些交易值得调查?
  • 哪些项目需要管理层关注?

排序模型试图学到:

s(x_i) > s(x_j)

也就是项目 i 应比项目 j 获得更高优先级。

模型不需要估计二者之间精确的数值差异。

假设三位客户将分别带来:

1,200 美元、1,250 美元、20,000 美元

回归模型会试图估计这三笔金额。

分类模型可能把他们划入不同价值类别。

排序模型只需要学会:

客户 C > 客户 B > 客户 A

如果公司只能联系排名前 5% 的客户,排序可能最直接地匹配运营决策。

排序比宽泛类别保留更多信息,又比数值回归要求更少的精确性。

它处于一个重要的中间位置。

六、把预测形式连回实际决策

分类很有吸引力,因为它简化了目标。但简化是有代价的。

假设两台机器发生故障的概率都是 80%。

机器 A 发生故障会造成 1,000 美元损失。

机器 B 发生故障则会造成 1,000,000 美元损失。

纯故障分类器会把这两个概率视为相同:

P(Failure | X) = 0.8

但它们的期望损失分别是:

E[Loss_A] = 0.8 × 1,000 美元 = 800 美元

E[Loss_B] = 0.8 × 1,000,000 美元 = 800,000 美元

运营上的优先级完全不同。

一个有用的系统可能需要预测:

  1. 故障概率
  2. 发生故障时的条件成本
  3. 总期望损失

用数学形式表示:

E[Loss | X] = P(Failure | X) × E[Cost | Failure, X]

第一项类似分类,第二项类似回归。

做出最佳决策需要两者兼备。

许多业务决策都涉及资源分配。

例如:

  • 应订购多少库存
  • 应安排多少员工
  • 应预留多少资本
  • 应购买多少产能
  • 应承受多少金融敞口

“高需求”这样的标签可以说明方向,却无法告诉公司需要额外 100 件还是 100,000 件。

分类可以支持筛选和分流;规划与优化通常需要回归。

这说明了为什么先进分析系统经常会在以分类开始之后,又回到类似回归的输出。

深度学习并不要求我们只能选择一种输出类型。

共享神经网络可以学习一个表示:

h = f(X; θ)

然后将它送入多个预测头。

例如,共享表示可以分别接入回归头 ŷ = w_rᵀ h + b_r、分类头 p̂ = σ(w_cᵀ h + b_c)、分位数头 q̂₀.₁₀, q̂₀.₅₀, q̂₀.₉₀ 和排序头 s = w_sᵀ h + b_s。

组合损失可以是:

L = λ_r L_regression + λ_c L_classification + λ_q L_quantile + λ_s L_ranking

其中 λ 项控制各个目标的相对重要性。

需求模型可以输出:

  • 预期需求:1,250 件
  • 需求超过产能的概率:72%
  • 可能范围:900 到 1,800 件
  • 产品优先级:前 8%

每项输出支持不同决策:

  • 点估计支持采购
  • 概率支持升级处置
  • 区间支持应急规划
  • 排名支持排序优先级

这比强迫问题只采用单一分类或回归框架提供更多信息。

现代神经网络让这种综合预测尤其可行,因为昂贵的表示学习层可以在多个任务之间共享。

如果行动本身是离散的,分类就很合适:

  • 批准或拒绝
  • 介入或不介入
  • 升级处理或继续监控
  • 高风险或低风险
  • 紧急或非紧急

如果类别内部的差异不会改变行动,分类尤其有用。

如果结果的大小决定资源如何分配,回归就很合适:

  • 应订购多少库存
  • 应安排多少员工
  • 预期收入是多少
  • 应预留多少损失准备
  • 需要多少能源

在这些情形下,宽泛类别可能提供不了足够信息。

如果组织只能处理有限数量的情况,排序就很合适:

  • 调查排名前 100 的告警
  • 联系价值最高的潜在客户
  • 检查风险最高的机器
  • 优先处理最脆弱的项目

精确分数可能不如次序重要。

如果决策者必须考虑区间、尾部风险或置信水平,概率预测就很合适:

  • 库存安全量
  • 资本配置
  • 应急规划
  • 服务承诺
  • 金融风险管理

在这些情形下,点预测可能严重不完整。

七、结论:先问决策需要什么信息

数值预测是否因为优化空间更大而更难?

最好的回答是:

有时是,但这不是主要原因。

如果回归神经网络与分类神经网络共享相同架构,它们的参数空间可能几乎相同。两者都可能包含数百万个权重,计算成本相近,损失面也同样具有非凸性。

更深层的区别在于目标所要求的信息。

分类要求模型找出一个区域:

结果属于哪一类?

回归要求模型估计一个位置:

结果的确切位置在哪里?

排序要求模型保留次序:

哪个结果应当优先?

概率预测要求模型表示不确定性:

哪些结果可能发生?每种结果的可能性有多大?

数值预测往往更难,因为它要求模型学会方向、幅度、尺度、局部结构,有时还要学会不确定性。分类可以忽略其中许多差异。

但这并不意味着分类天然更优。

分类有时是通过丢弃信息换取稳定性。如果被丢弃的信息会影响成本、价值、产能、风险敞口或资源配置,简化后的目标可能会导致更差的决策。

因此,正确的问题形式应取决于决策,而不是取决于哪一种模型更容易训练。

最有用的问题不是:

这个问题应该做成分类,还是回归?

而是:

要把这个决策做好,至少需要保留多少预测信息?

如果宽泛的概率类别已经足够,分类可能是正确答案。

如果幅度会改变行动,就需要回归。

如果只关心优先级,排序可能更合适。

如果不确定性和极端结果都很重要,模型就应该预测一个分布。

现代神经网络可以支持所有这些目标。它们可以复用相同的学习表示,同时输出类别、数值估计、排序、分位数和概率分布。

核心挑战不是挑选一种时髦算法,而是定义目标和损失函数,使其保留与预期决策相称的信息。

分类往往之所以成功,是因为它有意求解一个分辨率较低的现实版本。数值预测往往之所以困难,是因为它试图保留更多现实细节,包括可能不确定、不稳定,甚至从根本上无法预测的变化。

这才是数值预测常常让人觉得更难的深层原因。

参考文献

  1. James, G., Witten, D., Hastie, T., Tibshirani, R., and Taylor, J. An Introduction to Statistical Learning, 第 2 版。Springer,2021。图书网站
  2. Goodfellow, I., Bengio, Y., and Courville, A. Deep Learning。MIT Press,2016。全文
  3. Murphy, K. P. Probabilistic Machine Learning: An Introduction。MIT Press,2022。图书网站

编辑说明:本文对概念进行比较,并不主张某一类模型在所有情况下都更容易或更优。问题形式应由决策及其所需信息来决定。

延伸阅读