gx's blog

图片链接下图是使用<a>的: 下图是使用<p>的:

MixMatch: A Holistic Approach to Semi-Supervised Learning 1. 摘要事实证明，半监督学习是一种强大的范式，可以利用未标记的数据来减轻对大型标记数据集的依赖。在这项工作中，我们统一了目前半监督学习的主流方法，产生了一种新的算法，MixMatch，它为数据增强的未标记的例子猜测低熵标签，并使用MixUp混合标记和未标记的数据。MixMatch在许多数据集和标记的数据量上都获得了最先进的结果，而且幅度很大。例如，在有250个标签的CIFAR-10上，我们将错误率降低了4倍（从38%到11%），在STL-10上降低了2倍。我们还展示了MixMatch是如何帮助实现差异化隐私的显著更好的准确性-隐私权衡的。最后，我们进行了一项消融研究，以区分MixMatch的哪些部分对其成功最重要。 1. 主要内容2.1 主要贡献本文介绍了MixMatch，一种SSL算法，它引入了一个单一的损失，优雅地统一了这些半监督学习的主流方法： 通过实验，我们表明MixMatch在所有标准图像基准上获得了最先进的结果，并将CIFAR-10的错误率降低了4倍 ...

Remote Sensing Image Scene Classification with Noisy Label Distillation 摘要 基于卷积神经网络的遥感图像场景分类由于缺乏具有清晰注释的大规模数据集而受到严重影响。从互联网或其他来源爬取的数据允许以低成本最快速地扩展现有的数据集。然而，直接在这种扩展数据集上训练会导致网络过拟合噪声标签。传统的方法通常将这个有噪声的数据集分成多个部分。每个部分分别对网络进行微调，以进一步提高性能。这些方法效率低下，有时甚至会损害性能。针对这些问题，本研究提出了一种基于端到端师生框架的噪声标签精馏方法（NLD）。首先，与一般知识蒸馏方法不同，NLD不需要对干净或噪声数据进行预先训练。其次，NLD有效地从标签中提取知识，跨越全范围的噪声水平，可以获得更好的性能。此外，NLD还可以利用完全干净的数据集作为模型蒸馏方法来提高学生分类器的性能。在UC Merced土地利用、NWPU-RESISC45和AID三个遥感图像数据集上对NLD进行评估，其中注入了各种噪声模式和噪声量。实验结果表明，NLD优于目前广泛使用的直接微调方法和遥感伪标签方法。 ...

1、摘要：在不同的领域，例如工程和学习系统，噪声被传统地视为一个严重的问题。然而，本文旨在研究传统的主张是否总是成立。它从任务熵的定义开始，任务熵是从信息熵延伸出来的，衡量任务的复杂性。在引入任务熵后，根据噪声是否能降低任务的复杂性，可以将噪声分为两种，即正激励噪声（π-噪声）和纯噪声。有趣的是，正如理论上和经验上所显示的，即使是简单的随机噪声也可以成为简化任务的π-噪声。π-噪声为一些模型提供了新的解释，为一些领域提供了新的原则，如多任务学习、对抗性训练，等等。此外，它还提醒我们重新思考对噪声的研究。 2、主要内容：2.1 传统噪声视角噪声，传统上被认为是模式识别和机器学习的障碍，由于各种原因，如人为因素、仪器误差和自然干扰，噪声无处不在。噪声可以从不同阶段产生。1）在低级别的数据采集过程中，噪声可能来自仪器误差；2）在数据层面，噪声可能是由数据存储和表示的差异造成的；3）在特征层面，噪声通常由不精确的建模产生；4）也可能存在实例级的噪声，即不相关的数据点。在现有的工作中，有一个潜在的假设：噪声总是对当前任务造成负面影响。 2.2 两种噪声有利的实例如果声学任务与时间有关，汽车噪音可 ...

1. 摘要在人工智能迅速发展的今天，深度神经网络广泛应用于各个研究领域并取得了巨大的成功，但也同样面临着诸多挑战。首先，为了解决复杂的问题和提高模型的训练效果，模型的网络结构逐渐被设计的深而复杂，难以适应移动计算发展对低资源、低功耗的需求。知识蒸馏最初作为一种从大型教师模型向浅层学生模型迁移知识、提升性能的学习范式被用于模 型压缩。然而随着知识蒸馏的发展，其教师-学生的架构作为一种特殊的迁移学习方式，演化出了丰富多样的变体和架构，并被逐渐扩展到各种深度学习任务和场景中，包括计算机视觉、自然语言处理、推荐系统等等。另外，通过神经网络模型之间迁移知识的学习方式，可以联结跨模态或跨域的学习任务，避免知识遗忘；还能实现模型和数据的分离，达到保护隐私数据的目的。知识蒸馏在人工智能各个领域发挥着越来越重要的作用，是解决很多实际问题的一种通用手段。本文将近些年来知识蒸馏的主要研究成果进行梳理并加以总结，分析该领域所面临的挑战，详细阐述知识蒸馏的学习框架，从多种分类角度对知识蒸馏的相关工作进行对比和分析，介绍了主要的应用场景，在最后对未来的发展趋势提出了见解。 2. 主要内容1. 整体框架知识蒸馏本质 ...

Semi-Supervised and Unsupervised Deep Visual Learning: A Survey 1. 摘要最先进的深度学习模型通常是用大量昂贵的标记训练数据进行训练。然而，要求详尽的人工注释可能会降低模型在有限标签制度下的泛化能力。半监督学习和无监督学习提供了很有前途的范式，可以从大量的无标签的视觉数据中学习。这些范式的最新进展表明，利用无标签数据来提高模型的通用性和提供更好的模型初始化有很大好处。在这项调查中，我们从一个统一的角度回顾了最近关于视觉识别的半监督学习（SSL）和无监督学习（UL）的高级深度学习算法。为了对这些领域的先进技术有一个整体的了解，我们提出了一个统一的分类法。我们对现有的具有代表性的SSL和UL进行了全面而深刻的分析，以突出它们在不同的学习场景和不同的计算机视觉任务中的应用的设计原理。最后，我们讨论了SSL和UL的新趋势和开放性挑战，以阐明未来的关键研究方向。 2. 主要内容2.1 总体定义下图1总结了本综述所涉及的两种范式，它们都利用无标签数据进行视觉表征学习。根据是否为一小部分训练数据提供了标签注释，我们将这些范式归类为半监督 ...