1、摘要：

在不同的领域，例如工程和学习系统，噪声被传统地视为一个严重的问题。然而，本文旨在研究传统的主张是否总是成立。它从任务熵的定义开始，任务熵是从信息熵延伸出来的，衡量任务的复杂性。在引入任务熵后，根据噪声是否能降低任务的复杂性，可以将噪声分为两种，即正激励噪声（π-噪声）和纯噪声。有趣的是，正如理论上和经验上所显示的，即使是简单的随机噪声也可以成为简化任务的π-噪声。π-噪声为一些模型提供了新的解释，为一些领域提供了新的原则，如多任务学习、对抗性训练，等等。此外，它还提醒我们重新思考对噪声的研究。

2、主要内容：

2.1 传统噪声视角

噪声，传统上被认为是模式识别和机器学习的障碍，由于各种原因，如人为因素、仪器误差和自然干扰，噪声无处不在。噪声可以从不同阶段产生。1）在低级别的数据采集过程中，噪声可能来自仪器误差；2）在数据层面，噪声可能是由数据存储和表示的差异造成的；3）在特征层面，噪声通常由不精确的建模产生；4）也可能存在实例级的噪声，即不相关的数据点。在现有的工作中，有一个潜在的假设：噪声总是对当前任务造成负面影响。

2.2 两种噪声有利的实例

如果声学任务与时间有关，汽车噪音可能会提供关于时间的额外信息并提高性能。

虽然会有一个洞，但口香糖，一种噪音，被用来纠正另一种噪音。或者类似地，口香糖可能有助于移除卡在锁里的断裂的钥匙，而口香糖和断裂的钥匙对锁来说都是噪音。

2.3 噪声定义

有了任务熵的定义，传统定义的噪声可以被分为两类。一种是降低任务复杂性的噪声，即正激励噪声（Pi-noise或π-noise）。另一种是对任务无用的噪音，即纯噪音。

正激励噪声即让任务的难度降低。（互信息不是越多越好）

2.4 理论

2.5 举例应用

噪声：乘法噪声、高斯噪声和均匀噪声，维度噪声（线性变换和激活，叠加）

应用：增强模型效果、消除负面噪声的影响（纠正数据分布）

2.6 待研究内容

1、尽管π-噪声广泛存在于不同的领域，但有一个关键问题：（α-强）π-噪声将具有什么属性？例如，研究哪种随机噪声（如均匀噪声和高斯噪声）在不同场景中更有可能成为π-噪声是很有希望的。这将是未来研究的一个核心。

2、正如第三节和第四节所强调的，尽管少量的π-噪声可以提高性能，但过多的π-噪声也会导致退化。π-噪声的数量和性能的拐点之间的关系是什么？换句话说，使MI(T , )最大化的π-noise数量的上限是什么？对于多变量高斯噪声，该问题相当于找到关于某些规范的协方差矩阵的严格的上界。

3、虽然在某些情况下（如分类和SR）已经验证了π-noise的存在，但如何在一般情况下证明π-noise的存在仍然是一个有吸引力的问题。

4、如III-B节所示，任务熵的计算提供了一种新的方法来测量数据集的复杂性。因此，研究由π-噪声引起的测量是否能提供一个新颖实用的学习理论框架，如Rademacher复杂性[10]，是很有吸引力的。它也可能显示出如何衡量每单位数据大小提供信息的能力，即信息容量。

5、尽管π-噪声的整流能力已经充分显示出来，但如何找到整流后的π-噪声是一个亟待解决的问题。一种可能可行的方法是通过变分法找到理想的分布。

6、π-噪声可以成为设计模型的一个新原则。例如，如果优化的目的是寻找π-噪声，那么对抗性训练可以更有效率。一个包含π-噪声的简单损失是min θ
max x∈X ( fθ (x + ), y) + MI(T , ) 。(19) 与启发式搜索相比，上述原则可能更加可靠和稳定。在物体检测中，π-noise可以提供一个可靠的原则来扩大边界盒，通过纳入积极的背景信息来促进检测。

7、π-噪声和纯噪声之间的明显区别也激发了我们对数据预处理的重新思考。π-噪声的存在及其基于任务的定义意味着去噪方案应该为特定的任务设计，因为有些噪声可能是有益的。

8、π-噪声将是Vicinagearth安全的核心[22]。例如，在非视线成像和水下成像领域，π-噪声的理论可能会提供一个新的视角来看待接收到的信号，并帮助设计一个更强大的成像系统。π-噪声在无人驾驶飞行器（UAV）应用中也发挥着重要作用。如何将π-噪声的理论应用于维信安全，将是未来工作的重点。

结论

本简报重新思考了噪音是否总是导致负面影响。这个疑问来自于对噪声的松散定义。通过对任务T和噪声的相互信息进行建模，传统的 “噪声 “可以分为两类，π-噪声和纯噪声。简而言之，π-噪声是能够简化目标任务的随机信号。通过进行一些有说服力的实验，并表明一些现有的课题（如SR、多任务学习和对抗性训练）可以被解释为特殊情况，我们从经验和理论上得出结论，π-噪声在不同的领域中是无处不在的。还有很多有吸引力的问题值得进一步研究，包括但不限于π-噪声的一般属性、π-噪声的数量上限、一般情况下π-噪声的存在性、关于π-噪声的模型设计的新原则等等。重要的是，π-噪声也与信息能力的研究有关。这两点都将成为Vicinagearth Security的理论基础，这也是我未来工作的核心。