缓解模型关系幻觉（披露式的信息让模型深化理解）

论文文章CHAINMPQ: INTERLEAVED TEXT-IMAGE REASON ING CHAINS FOR MITIGATING RELATION HALLUCI NATIONS一句话解释从一段对话中一点一点确认信息先确认主体是什么然后确认客体是什么然后主体联系关系看能不能找到客体然后客体联系关系看能不能找到主体最后主体联系客体确定他们之间的关系流程bias3~5视觉注意力偏置A1~A5每次问题的文本答案Text-guided Attention Enhancement文本进入编码器成为一个嵌入向量\图片进入编码器成为一个嵌入向量通过cross attention增强对图片中的主体客体的注意力Construction of Multi perspective Aware Text Prompt怎么从句子中拆主体-客体-关系\创建问题Interleaved Text-image Reasoning ChainInterleaved Text-image Reasoning Chain这是完整的流程了标蓝色的东西是需要填入主体-客体-关系的变量位置以图中例子先问主体dog在哪-文本回答第二部问飞盘在哪-文本回答第三部问主体联系关系是什么-文本回答加视觉注意力偏见第四部问客体联系关系是什么-文本回答加视觉注意力偏见第五部问主体客体关系是什么-文本回答加视觉注意力偏见最后回答这个问题用上上面的文本和视觉记忆。