Une Analyse du Modèle ColBERT

Abstract

Les modèles de RI basés sur les Transformers sont aujourd’hui état de l’art en Recherche d’Information ad-hoc, mais leur comportement reste encore incompris. Des travaux récents ont montré que BERT ne satisfait pas les axiomes classiques de la RI. Nous proposons d’étudier le processus d’appariement par l’analyse de l’importance des termes et des mécanismes d’appariement exact et sémantique. Même si les axiomes classiques ne sont pas formellement vérifiés, notre analyse révèle que des modèles comme ColBERT: (i) sont capables d’inclure une notion d’importance du terme ; (ii) s’appuient sur des correspondances exactes pour les termes importants.

Publication
Conférence francophone en Recherche d’Information et Application