TAc（Text-Aided Clustering，文本辅助的聚类）是一种在图像聚类领域具有创新性的技术，通过引入外部知识库内容，特别是利用预训练的CLIP模型进行文本模态的辅助，TAc显著提升了图像聚类的性能，这一方法尤其在缺乏图像标签或描述的情况下表现出色，为解决传统图像聚类方法的局限性提供了新思路。
在人工智能领域，图像聚类是一项极具挑战性的任务，传统方法主要依赖数据内部的监督信号，然而在很多实际应用场景中，图像的标签或描述信息往往难以获取，这就导致了外观相似但语义不同的图像难以区分，例如区分柯基和柴犬这类外观相似但腿部长度不同的狗狗。
为此，来自四川大学计算机学院的李云帆在导师彭玺教授的指导下，提出了一种新的图像聚类方法——TAc，该方法通过引入外部知识库内容，利用预训练的CLIP模型进行文本模态的辅助，从而提高了图像聚类的准确性。
TAc方法主要面临两个挑战：构建文本表征和跨模态互蒸馏，在构建文本表征方面，研究者们提出了一种根据图像语义中心选择代表性名词的方法，通过这种方式，可以构建出与图像对应的文本模态表征，为后续的聚类任务提供丰富的外部知识。
在跨模态互蒸馏方面，研究者们设计了一个额外的聚类网络，用于提升聚类性能，该网络通过学习图像和文本之间的关联性，使得图像聚类结果更具区分度。
实验结果表明，TAc方法在多个数据集上都取得了良好的效果，这一方法不仅在缺乏图像标签或描述的情况下表现出色，而且在有标签的情况下也具有一定的竞争力。
值得一提的是，TAc方法并非仅限于图像聚类领域，其背后的跨模态互蒸馏思想可以为其他领域的任务提供启示，在自然语言处理、语音识别等领域，同样可以尝试引入外部知识库，通过跨模态学习提高任务的性能。
TAc方法还具有以下优点：
1、不依赖于大量的有标签数据，降低了对数据标注的依赖。
2、利用丰富的外部知识库，提高了聚类的准确性。
3、跨模态互蒸馏网络的设计，使得图像和文本之间的关联性得到充分利用。
4、该方法具有较好的泛化能力，适用于多种聚类任务。
TAc方法也存在一定的局限性，构建文本表征的过程需要大量的计算资源，这对硬件设备提出了较高的要求，如何选择合适的外部知识库以及如何衡量不同知识库对聚类性能的影响，仍需要进一步研究。
TAc作为一种具有创新性的图像聚类方法，为解决传统聚类方法的局限性提供了新思路，随着未来研究的深入，相信TAc方法将在更多领域发挥重要作用，为人工智能技术的发展贡献力量。