学位论文简介

多模态情感分析技术旨在从多种形式的数据中识别人类情感，可以推动情感计算和认知科学领域的进步，并在人机交互、社交媒体分析等领域有着广泛应用。本论文面向多模态情感分析的特征表达，预测可信度以及决策可解释性进行了多方面的探索。具体而言，本文的主要研究成果归纳如下：

（1）针对特征表达能力不足的问题，提出了模态-话语-时序注意力网络。该算法通过多任务学习机制捕获不同模态间的一致性和差异性的情感信息，并融合话语级和单词级特征实现多关系交互建模，同时设计了多模态情感损失增强特征的鉴别性。实验证明该方法在情感识别能力上有显著提升。

（2）针对预测不可信的问题，提出了基于情感置信度分离的可信优化算法。该算法利用置信度分离损失和基于平坦度的分离优化，调整模型的置信度分布，提供更可靠的预测。实验结果表明，该方法有助于提高模型的可信度。

（3）针对解释性不足的问题，提出了基于多模态情感提示的可解释推理算法。该算法由大语言模型驱动，设计了实例依赖的动态融合算法集成不同模态信息，并通过双跳情感提示算法刺激模型生成决策依据。实验证明，该方法不仅能够提供良好的情感识别性能，还具备良好的可解释性。

主要学术成果

1.Tang Z, Xiao Q, Zhou X, et al. Learning discriminative multi-relation representations for multimodal sentiment analysis[J]. Information Sciences, 2023, 641: 119125.(第一作者，中科院SCI1区期刊)

2.Tang Z, Xiao Q, Qin Y, et al. Multi-View Interactive Representations for Multimodal Sentiment Analysis[J]. IEEE Transactions on Consumer Electronics, 2024.（第一作者，中科院SCI2区期刊）

3.Tang Z, Minshi, Zhibang Y, et al. Sentiment Confidence Separation: A Trust-Optimized Framework for Multimodal Sentiment Classification. IEEE International Conference on Multimedia and Expo, 2024.(第一作者，CCF B类会议，录用)