为什么数值预测往往比分类更难
回归往往比分类承担更重的信息负担:它需要刻画幅度、尺度、局部结构与不确定性。该预测什么,应由决策需要决定,而不是由哪种模型更容易训练来决定。
为什么预测数值更难:关键不在模型,而在决策所需的信息
机器学习问题通常分为两类:回归 预测数值,分类 预测离散标签。这个区分看似简单,却引出一个更深的问题:
为什么许多现实机器学习系统预测的是类别、方向或风险等级,而不是精确的数值结果?
企业可能预测客户是否会流失,而不是客户具体会在何日离开;制造商可能预测机器是否会在 30 天内故障,而不是剩余寿命的精确时长;金融模型可能预测市场方向或所处状态,而不是明天的精确价格;运营团队可能预测项目是否会延期,而不是确切的完工时间。
一种解释是:数值预测的优化空间更大。毕竟,分类模型只需在有限类别中选择,而回归模型可能要预测连续尺度上的任意数值。
这个直觉大体上是对的,但需要进一步说清楚。
数值预测往往更难,是因为它承担了更重的信息负担;不一定是因为模型要搜索更大的参数空间。
在深度学习中,这一区分尤其重要。回归神经网络与分类神经网络的架构可能几乎相同,可训练参数数量也相差无几。然而,回归在统计意义上仍可能更难,因为它要求模型从带噪声、不完整的数据中恢复更多细节。
下文沿着一条主线展开:先区分模型参数多少与目标信息多少,再解释噪声和不确定性如何放大两者的差别,最后回到业务决策,判断该预测类别、数值、排序还是概率分布。这样就不会把“输出值更多”误当成“模型搜索空间更大”。
理解这种差异,能让我们跳出“回归和分类哪个更好”这一过于简单的问题。更有用的问题是:
为了支持我们要做的决策,模型必须保留多少关于未来的信息?
一、分类与回归:预测的不是同一份信息
假设零售商想预测一位客户未来一年的消费额。
分类模型可能给出三个标签:
- 低价值
- 中价值
- 高价值
用数学形式表示,它预测的是:
ĉ ∈ {1, 2, 3}
模型的任务是判断客户落在结果空间的哪个区域。
如果“高价值”类别从 10,000 美元开始,分类器可能把消费 12,000 美元和 120,000 美元的客户都视为同一类别。对分类目标而言,两者消费额的精确差异并不重要。
因此,分类问的是:
结果属于哪个区域?
回归模型试图直接预测数值结果:
ŷ = 37,426
它必须区分客户的消费额究竟是:
- 12,000 美元
- 12,500 美元
- 15,000 美元
- 37,426 美元
- 120,000 美元
因此,回归问的是:
结果在空间中的确切位置在哪里?
这是一个信息更细的问题。
即使分类器并不理解某个类别内部的差异,它仍可能分类正确。回归器则必须表示这些差异,因为损失函数会衡量数值距离。
许多分类目标原本是数值结果。
假设 Y 表示客户年度消费额。我们可以通过分组函数把它转换成类别目标 C:
C = q(Y)
例如:
C = {0 if Y < 1,000; 1 if 1,000 ≤ Y < 10,000; 2 if Y ≥ 10,000}
数值目标一旦转换为类别,模型就不再需要保留它的精确数值。
如果我们知道:
Y = 27,500
就可以确定其类别。
但如果我们只知道:
C = 2
就无法还原原始消费金额。
从信息关系看:
Y ⇒ C
但通常:
C ⇏ Y
类别所含的信息少于原始数值目标。
这种信息损失不一定是缺点。它可能是有意为之,而且对决策有利。
丢弃不会影响决策的差异,可以让问题变得更容易。
如果所有消费超过 10,000 美元的客户都获得同一种服务,精确预测消费额可能没有多少额外价值。类别标签或许已经足够。
“回归的优化空间更大”这个说法包含重要直觉,但需要区分几种不同的“空间”。
模型的参数空间由所有可训练参数可能取值构成。
对神经网络而言,这些参数包括权重和偏置:
θ = W₁, b₁, W₂, b₂, …, W_L, b_L
如果一个网络有一百万个可训练参数,优化过程就在一个一百万维的参数空间中搜索。
现在看两个共享相同隐藏层的网络。
例如,回归网络可以写作 ŷ = f(x; θ),二分类网络可以写作 p̂ = σ(f(x; θ))。
其中:
σ(z) = 1 / (1 + e^(−z))
是 sigmoid 函数。
这两个网络的参数数量可能几乎完全一样。分类网络可能只是在最终激活函数上有所不同。
因此,回归并不会自动带来更大的参数空间。
两种情况下,梯度下降可能搜索的几乎是同一个空间。
两类问题的输出空间不同。
二分类目标属于:
y ∈ {0, 1}
多分类目标属于:
y ∈ {1, 2, …, K}
数值目标则可能属于:
y ∈ ℝ
理论上,实数输出可以取无限多个值。
不过,输出空间的大小并不能完全解释两者的差异。二分类器也会输出一个连续数值:
p ∈ [0, 1]
但这个数值表示概率,而不是原始连续结果。
更深层的区别并不只是模型是否输出连续值,而是这个输出试图保留多少信息。
回归模型通常试图估计:
f(x) = E[Y | X = x]
也就是给定可用特征时,数值结果的期望。
分类器则试图估计:
P(Y = k | X = x)
或者在应用决策规则后估计:
k̂ = arg max_k P(Y = k | X = x)
假设真实数值关系是:
Y = 5 + 2X + 0.4X² + sin(3X) + ε
回归模型必须学会该函数的水平、趋势、曲率、振荡和尺度。
现在假设我们把目标转换为:
C = {1 if Y > 20; 0 if Y ≤ 20}
分类器可能只需要学会结果大致会在哪个位置跨过阈值。
它不一定要准确重现整个数值函数。
因此,可以把最初的直觉表述得更精确:
回归的参数空间未必更大,但它往往要求模型学会更丰富的目标函数。
难点来自答案需要达到的分辨率,而不只是模型参数的数量。
二、数值预测为何承担更多信息负担
数值预测模型可能需要同时学会多个属性。
具体而言,回归可能要同时学会结果变化的方向和幅度 、输出的尺度 、关系的曲率 、不同客户或时段之间的异质性 ,以及各类情形下不同的不确定性 。分类通常只需掌握足够的信息来判断样本位于决策边界哪一侧。
分类可能只需要理解足够多的结构,以判断一个观测值落在边界的哪一侧。
例如:
Y = 10X + ε
假设分类目标是判断 Y 是否超过 50。
分类器可能只需找出相关边界大约位于:
X = 5
回归模型还必须学会大约为 10 的斜率、正确的输出尺度,以及残差如何变化。
分类器学的是区域;回归器学的是曲面。
预测目标可以按保留的信息由少到多排列:二元类别(低或高)、多类别(低中高)、排序(A > B > C)、点预测(ŷ = 127.4)、分位数(Q₀.₁, Q₀.₅, Q₀.₉),再到完整分布 p(y | x)。
每向下一层,目标都会保留更多关于结果的信息。
二元分类标签可能只告诉我们结果落在阈值的哪一侧;点预测增加了幅度信息;分位数增加了不确定性信息;完整的条件分布则试图描述所有可能结果及其范围。
更丰富的目标有助于做出更好的决策,但也要求:
- 更强的预测信号
- 更好的特征
- 更大或更具代表性的数据集
- 更谨慎的模型验证
- 更合适的损失函数
- 更妥善地处理不确定性
回归往往更难,是因为它处于这一信息层级中比普通分类更靠后的位置。
现实结果的一种常见表示是:
Y = f(X) + ε
其中:
f(X)是系统性的、可能可学习的部分;ε表示噪声、随机性、信息缺失或未观测事件。
假设每周产品需求由价格、促销、季节性和历史销量驱动。即使模型很好地捕捉了这些因素,实际需求仍可能受到以下情况影响:
- 竞争对手的意外行为
- 天气事件
- 社交媒体关注度
- 供应中断
- 本地活动
- 报告误差
模型可能正确估计了系统性部分,但观测到的数值结果仍会有很大偏差。
回归模型会因这种偏差受到惩罚,其中也包括不可预测事件造成的那部分误差。
假设每周需求通常约为 1,000 件,但受随机因素影响会在 900 到 1,100 件之间波动。
回归模型必须区分:
900, 950, 1,000, 1,050, 1,100
现在定义一个分类目标:
C = {1 if Y > 800; 0 if Y ≤ 800}
上述五种结果都属于同一类别。
对于这个决策,随机波动变得无关紧要。
这也是分类看起来更准确、更稳定的原因之一。它可能解决的是一个低分辨率问题:许多数值预测误差在这里根本不算错误。
分类并不总能抵御不确定性。
假设阈值不是 800,而是 1,000。
那么:
Y = 999.9 ⇒ C = 0
而:
Y = 1000.1 ⇒ C = 1
两者的数值差异几乎没有意义,类别却完全改变。
靠近阈值的观测值很难分类,因为少量噪声就可能翻转标签。
这带来一个重要限定:
只有当边界具有实际意义,而且与常见波动充分分离时,分类才会减少噪声。
人为设定或选择不当的阈值,可能既抹去有用的连续信息,又让标签变得不稳定。
三、神经网络改变了什么,又没有改变什么
传统统计方法通常会让回归与分类的区别非常明显。
例如:
- 线性回归与逻辑回归
- 回归树与分类树
- 随机森林回归器与随机森林分类器
神经网络提供了更统一的框架。
深度网络首先通过隐藏层变换输入:
h₁ = φ(W₁x + b₁)
h₂ = φ(W₂h₁ + b₂)
⋮
h_L = φ(W_L h_(L−1) + b_L)
最终隐藏表示 h_L 可能编码:
- 非线性特征交互
- 时间模式
- 空间关系
- 潜在客户行为
- 运营复杂性
- 风险因素
同一个表示可以支持多种预测类型。可能只需要改变最终的预测头。
对于数值预测,网络可以使用线性输出头:
ŷ = wᵀ h_L + b
输出可以表示:
- 收入
- 能源消耗
- 产品需求
- 交付时间
- 温度
- 预期损失
一种常见损失函数是均方误差:
L_MSE = (1/N) Σ_(i=1)^N (y_i − ŷ_i)²
均方误差会更重地惩罚较大的偏差。若真实值是 100:
- 预测 101,平方误差为 1;
- 预测 110,平方误差为 100;
- 预测 120,平方误差为 400。
另一个选项是平均绝对误差:
L_MAE = (1/N) Σ_(i=1)^N |y_i − ŷ_i|
平均绝对误差对极端观测值不那么敏感,但仍要求网络估计数值距离。
对于二分类,网络首先生成一个 logit:
z = wᵀ h_L + b
然后通过 sigmoid 函数将 logit 转换为概率:
p = σ(z) = 1 / (1 + e^(−z))
模型随后可以用二元交叉熵训练:
L_BCE = −(1/N) Σ_(i=1)^N [y_i log(p_i) + (1 − y_i) log(1 − p_i)]
对于多分类,模型会输出 K 个 logit:
z₁, z₂, …, z_K
softmax 函数将它们转换为概率:
p_k = e^(z_k) / Σ_(j=1)^K e^(z_j)
并且:
Σ_(k=1)^K p_k = 1
预测类别通常是:
k̂ = arg max_k p_k
隐藏层可能与回归模型完全相同。主要变化在于:
- 最终输出层
- 输出激活函数
- 损失函数
- 结果的解释方式
神经网络并不会天然理解精确数值、正确类别、业务重要性或可接受误差等概念。
它会响应目标函数。
回归损失告诉网络:
缩小预测值与观测值之间的数值距离。
分类损失则告诉网络:
提高观测类别所对应的概率。
这种差别会改变模型因学习哪些信息而获得奖励。
假设一个数值目标被划分为“低、中、高”。若真实类别是“高”,普通交叉熵会把“中”和“低”都视为错误。它不会自动理解“中”比“低”更接近“高”。
要让模型理解顺序,需要引入以下方法:
- 有序分类
- 成本敏感学习
- 自定义损失函数
- 有序阈值
- 回归
分类简化了目标,但也可能移除有关距离和顺序的重要信息。
更大的神经网络能够逼近更复杂的函数,却无法可靠地预测输入中不存在的信息。
假设真实结果取决于两组变量:
Y = f(X, Z)
模型能观察到 X,但 Z 包含重要的未观测因素。
最佳模型可能学到:
E[Y | X]
但它无法知道未来某个观测值会受到的 Z 的具体取值。
增加更多层并不能解决信息缺失问题。
这带来两类主要误差来源。
其中一部分是可约误差 ,可以通过以下方式改善:
- 更好的特征
- 更多训练数据
- 更强的架构
- 更好的优化方法
- 合适的正则化
- 更好的损失函数
另一部分是不可约误差 ,源于:
- 未观测变量
- 测量噪声
- 内在随机性
- 不可预测的未来事件
回归往往会暴露不可约的不确定性,因为每个偏差都会计入数值误差。分类则可以通过把许多结果归为同一类,隐藏其中一部分不确定性。
提高神经网络容量,并不能保证现实预测会更好。
非常灵活的模型可能会拟合:
- 随机波动
- 历史异常
- 测量伪影
- 暂时性相关
- 未来不会保持稳定的特征
大网络可能在训练集上表现出色,却难以泛化。
回归和分类都会受到这个问题影响。不过在回归中,后果可能尤其明显,因为模型可能给出不现实的数值幅度,或在外推时产生极端结果。
只有在信息足够且正则化适当时,模型容量才有价值。
数值目标可能跨越非常大的范围。
假设一个业务部门的数值约为 100,另一个部门则约为 1,000,000。直接对原始目标训练,可能导致梯度尺度不佳,而且损失会被最大值主导。
常见变换包括标准化:
y′ = (y − μ_y) / σ_y
以及对数变换:
y′ = log(1 + y)
分类标签通常没有同样的目标尺度问题。
在均方误差下:
L = (y − ŷ)²
损失对预测值的梯度是:
∂L/∂ŷ = 2(ŷ − y)
非常大的残差会产生非常大的梯度。
因此,少数极端结果可能对模型产生很强的影响。
稳健的替代方案包括:
- 平均绝对误差
- Huber 损失
- 分位数损失
- 重尾概率分布
- 显式的异常值建模
正确的选择取决于极端观测究竟是错误数据、罕见但合理的事件,还是数据集中最重要的情况。
许多现实结果的不确定性并非常数。
形式上:
Var(Y | X = x₁) ≠ Var(Y | X = x₂)
对某些观测值,结果可能很容易预测;对另一些则可能极不确定。
传统回归模型可能对两种情况都给出同类的点估计,却不说明置信程度的差异。
这会造成严重的运营限制。当可能范围为 95 到 105 时,预测值 100 所代表的含义,与可能范围为 20 到 180 时完全不同。
神经网络可以在训练数据覆盖的范围内有效插值,但超出该范围后的外推就不那么可靠。
如果模型只在 100 到 1,000 的需求值上训练,遇到新条件使需求达到 5,000 时,它的表现可能难以预测。
由于足够大的数值都被归为“高”类别,具有宽泛“高”类别的分类器看起来可能更稳健。但这种稳健性可能只是表面现象:类别标签会掩盖模型其实并不理解新情形的数值幅度。
训练数据代表的是某个历史环境:
P_train(X, Y)
未来数据可能来自已经改变的环境:
P_future(X, Y)
经济状况、客户行为、价格、技术与运营政策都可能改变。
回归模型可能仍能正确判断相对次序,却在数值幅度上出现系统性错误。例如,它可以正确找出需求较高的产品,却低估所有产品的需求。
这也是排序和分类模型看起来有时能更长久地保持有用的原因:相对顺序或宽泛类别有时比绝对数值更稳定。
四、简化目标有代价,也有边界
假设:
P(Y = 1 | X = x) = 0.52
在 x 这个位置上,两个类别几乎无法区分。
即使是理论上最优的分类器也会频繁出错,因为条件分布相互重叠。
这不是优化失败,而是数据中存在不可约的模糊性。
以下情况会让分类非常困难:
- 类别分布重叠
- 标签具有主观性
- 正例很少
- 分类边界不稳定
- 缺失重要变量
- 标签包含错误
假设把客户分为:
- 低价值:低于 10,000 美元
- 高价值:至少 10,000 美元
价值 9,999 美元的客户与价值 10,001 美元的客户会得到不同标签,尽管二者几乎没有差别。
与此同时,价值 10,001 美元的客户和价值 1,000,000 美元的客户却会得到相同标签,尽管两者的经济重要性相差巨大。
这种分类转换制造了人为的不连续:
9,999 → 0
10,001 → 1
这会让阈值附近的标签变得嘈杂,同时抹去类别内部的重大差异。
只有当类别对应有意义的行动或自然区分时,分类才真正有用。
假设真实关系是:
Y = 3X + 5 + ε
数值目标提供了关于斜率和截距的细致信息。
如果把观测值:
8, 11, 14, 17
替换成:
低、低、高、高
我们就丢掉了观测值之间的距离信息。
每个数值目标都会告诉回归模型:
- 预测值是偏高还是偏低
- 预测值相差多远
- 参数应当调整多少
当连续信号稳定且有意义时,回归可能学得更有效率,因为每个目标都包含更丰富的监督信息。
分类通过丢弃信息让问题更容易;而当信息可靠时,回归则能从中获益。
五、点预测之外:按决策选择输出
假设模型预测:
ŷ = 120
至少有两种可能的情况。
一种情况是大多数可能结果都在 115 到 125 之间;另一种情况是结果可能分布在 20 到 220 之间。
两种情况下期望值都可能是 120,但对运营的影响完全不同。
点预测无法传达不确定性。
问题未必出在回归本身,而可能在于回归被简化成了过于单一的形式。
假设某个输入对应两个同样可能的结果:
Y = 50
或:
Y = 150
那么:
E[Y | X] = 0.5(50) + 0.5(150) = 100
在均方误差下,预测 100 在数学上可能是最优的。
但结果几乎可能从来不会是 100。
回归模型给出的是两个现实结果之间的平均值,而没有表示其中任何一个结果。
分类器则可以保留两种可能性:
P(Y = 低 | X) = 0.5
P(Y = 高 | X) = 0.5
概率回归模型同样可以表示这两个众数。问题不在连续预测,而在于把复杂分布压缩成单一均值。
分位数回归会预测条件分布中的选定位置。
例如:
Q₀.₁₀(Y | X) = 80
Q₀.₅₀(Y | X) = 120
Q₀.₉₀(Y | X) = 190
这些数值分别描述:
- 较低区间的情景
- 中位结果
- 较高区间的情景
模型不再声称结果一定恰好是 120,而是传达一组合理的数值范围。
这对以下用途通常更有帮助:
- 产能规划
- 库存管理
- 预算编制
- 排程
- 风险管理
神经网络可以预测整个概率分布的参数。
例如:
Y | X ~ N(μ(X), σ²(X))
网络会输出:
μ̂ = f_μ(X)
以及:
σ̂ = f_σ(X)
输出同时包含期望值和不确定性估计。
网络可以用负对数似然训练:
L = (y − μ)² / (2σ²) + log σ + constant
不同类型的结果可能需要不同的分布:
- 事件计数使用 Poisson 分布
- 过度离散的计数使用负二项分布
- 正值且偏态的数据使用 Gamma 或对数正态分布
- 比例使用 Beta 分布
- 多峰结果使用混合分布
这种方法承认:未来往往用一个分布表示,比用一个数值更合适。
分类器预测:
P(Y = k | X)
这是离散类别上的概率分布。
概率回归预测:
p(Y | X)
这是连续结果上的概率分布。
从这个角度看,分类和回归并不是彼此割裂的。
二者都试图描述:在已有信息条件下,结果的条件分布是什么。
硬类别标签是一个经过压缩的摘要:
k̂ = arg max_k P(Y = k | X)
点回归估计同样是一个压缩摘要:
ŷ = E[Y | X]
这两类摘要都会丢弃不确定性。
最完整的预测问题既不是:
结果属于哪一类?
也不是:
精确数值是多少?
而是:
根据现有信息,哪些结果是合理的?每种结果出现的可能性有多大?
有些业务问题既不需要精确数值,也不需要固定类别。
它们需要的是优先级。
例如:
- 应该优先联系哪些客户?
- 应该优先检查哪些机器?
- 哪些产品最可能出现短缺?
- 哪些交易值得调查?
- 哪些项目需要管理层关注?
排序模型试图学到:
s(x_i) > s(x_j)
也就是项目 i 应比项目 j 获得更高优先级。
模型不需要估计二者之间精确的数值差异。
假设三位客户将分别带来:
1,200 美元、1,250 美元、20,000 美元
回归模型会试图估计这三笔金额。
分类模型可能把他们划入不同价值类别。
排序模型只需要学会:
客户 C > 客户 B > 客户 A
如果公司只能联系排名前 5% 的客户,排序可能最直接地匹配运营决策。
排序比宽泛类别保留更多信息,又比数值回归要求更少的精确性。
它处于一个重要的中间位置。
六、把预测形式连回实际决策
分类很有吸引力,因为它简化了目标。但简化是有代价的。
假设两台机器发生故障的概率都是 80%。
机器 A 发生故障会造成 1,000 美元损失。
机器 B 发生故障则会造成 1,000,000 美元损失。
纯故障分类器会把这两个概率视为相同:
P(Failure | X) = 0.8
但它们的期望损失分别是:
E[Loss_A] = 0.8 × 1,000 美元 = 800 美元
E[Loss_B] = 0.8 × 1,000,000 美元 = 800,000 美元
运营上的优先级完全不同。
一个有用的系统可能需要预测:
- 故障概率
- 发生故障时的条件成本
- 总期望损失
用数学形式表示:
E[Loss | X] = P(Failure | X) × E[Cost | Failure, X]
第一项类似分类,第二项类似回归。
做出最佳决策需要两者兼备。
许多业务决策都涉及资源分配。
例如:
- 应订购多少库存
- 应安排多少员工
- 应预留多少资本
- 应购买多少产能
- 应承受多少金融敞口
“高需求”这样的标签可以说明方向,却无法告诉公司需要额外 100 件还是 100,000 件。
分类可以支持筛选和分流;规划与优化通常需要回归。
这说明了为什么先进分析系统经常会在以分类开始之后,又回到类似回归的输出。
深度学习并不要求我们只能选择一种输出类型。
共享神经网络可以学习一个表示:
h = f(X; θ)
然后将它送入多个预测头。
例如,共享表示可以分别接入回归头 ŷ = w_rᵀ h + b_r、分类头 p̂ = σ(w_cᵀ h + b_c)、分位数头 q̂₀.₁₀, q̂₀.₅₀, q̂₀.₉₀ 和排序头 s = w_sᵀ h + b_s。
组合损失可以是:
L = λ_r L_regression + λ_c L_classification + λ_q L_quantile + λ_s L_ranking
其中 λ 项控制各个目标的相对重要性。
需求模型可以输出:
- 预期需求:1,250 件
- 需求超过产能的概率:72%
- 可能范围:900 到 1,800 件
- 产品优先级:前 8%
每项输出支持不同决策:
- 点估计支持采购
- 概率支持升级处置
- 区间支持应急规划
- 排名支持排序优先级
这比强迫问题只采用单一分类或回归框架提供更多信息。
现代神经网络让这种综合预测尤其可行,因为昂贵的表示学习层可以在多个任务之间共享。
如果行动本身是离散的,分类就很合适:
- 批准或拒绝
- 介入或不介入
- 升级处理或继续监控
- 高风险或低风险
- 紧急或非紧急
如果类别内部的差异不会改变行动,分类尤其有用。
如果结果的大小决定资源如何分配,回归就很合适:
- 应订购多少库存
- 应安排多少员工
- 预期收入是多少
- 应预留多少损失准备
- 需要多少能源
在这些情形下,宽泛类别可能提供不了足够信息。
如果组织只能处理有限数量的情况,排序就很合适:
- 调查排名前 100 的告警
- 联系价值最高的潜在客户
- 检查风险最高的机器
- 优先处理最脆弱的项目
精确分数可能不如次序重要。
如果决策者必须考虑区间、尾部风险或置信水平,概率预测就很合适:
- 库存安全量
- 资本配置
- 应急规划
- 服务承诺
- 金融风险管理
在这些情形下,点预测可能严重不完整。
七、结论:先问决策需要什么信息
数值预测是否因为优化空间更大而更难?
最好的回答是:
有时是,但这不是主要原因。
如果回归神经网络与分类神经网络共享相同架构,它们的参数空间可能几乎相同。两者都可能包含数百万个权重,计算成本相近,损失面也同样具有非凸性。
更深层的区别在于目标所要求的信息。
分类要求模型找出一个区域:
结果属于哪一类?
回归要求模型估计一个位置:
结果的确切位置在哪里?
排序要求模型保留次序:
哪个结果应当优先?
概率预测要求模型表示不确定性:
哪些结果可能发生?每种结果的可能性有多大?
数值预测往往更难,因为它要求模型学会方向、幅度、尺度、局部结构,有时还要学会不确定性。分类可以忽略其中许多差异。
但这并不意味着分类天然更优。
分类有时是通过丢弃信息换取稳定性。如果被丢弃的信息会影响成本、价值、产能、风险敞口或资源配置,简化后的目标可能会导致更差的决策。
因此,正确的问题形式应取决于决策,而不是取决于哪一种模型更容易训练。
最有用的问题不是:
这个问题应该做成分类,还是回归?
而是:
要把这个决策做好,至少需要保留多少预测信息?
如果宽泛的概率类别已经足够,分类可能是正确答案。
如果幅度会改变行动,就需要回归。
如果只关心优先级,排序可能更合适。
如果不确定性和极端结果都很重要,模型就应该预测一个分布。
现代神经网络可以支持所有这些目标。它们可以复用相同的学习表示,同时输出类别、数值估计、排序、分位数和概率分布。
核心挑战不是挑选一种时髦算法,而是定义目标和损失函数,使其保留与预期决策相称的信息。
分类往往之所以成功,是因为它有意求解一个分辨率较低的现实版本。数值预测往往之所以困难,是因为它试图保留更多现实细节,包括可能不确定、不稳定,甚至从根本上无法预测的变化。
这才是数值预测常常让人觉得更难的深层原因。
参考文献
- James, G., Witten, D., Hastie, T., Tibshirani, R., and Taylor, J. An Introduction to Statistical Learning, 第 2 版。Springer,2021。图书网站
- Goodfellow, I., Bengio, Y., and Courville, A. Deep Learning。MIT Press,2016。全文
- Murphy, K. P. Probabilistic Machine Learning: An Introduction。MIT Press,2022。图书网站
编辑说明:本文对概念进行比较,并不主张某一类模型在所有情况下都更容易或更优。问题形式应由决策及其所需信息来决定。