Créé en 2005 à l'image des campagnes TREC et MUC, le DÉfi Fouille de Textes est une campagne d'évaluation francophone qui propose chaque année de confronter les méthodes de plusieurs équipes de recherche sur une thématique régulièrement renouvelée.
Dans la continuité de l'édition 2022, cette nouvelle édition du défi portera sur la mise en place d'approches permettant de répondre automatiquement à des questionnaires à choix multiples issus d'annales d'examens de pharmacie. Le corpus utilisé, FrenchMedMCQA, se compose de questions fermées en français provenant d'annales d'examens de pharmacie. Chaque question contient : un identifiant, la question, cinq options et l'ensemble des réponse(s) correcte(s).
L'atelier de clôture aura lieu le lundi 5 juin selon le programme suivant :
Les actes de DEFT se trouvent ici (TALN Archives) ou ici (au format PDF).
Nous proposons d'utiliser pour ce défi le corpus FrenchMedMCQA. Le corpus FrenchMedMCQA est composé de 3 105 questions fermées, extrait d'annales d'examens de pharmacie en français, contenant pour chacune d'entre elles : un identifiant, la question, cinq options et l'ensemble de réponse(s) correcte(s). Pour cette nouvelle édition DEFT 2023, nous proposons deux tâches :
Tâche principale : identifier automatiquement l'ensemble de réponses correctes parmi les cinq proposées pour une question donnée.
Tâche annexe : identifier le nombre de réponses (entre 1 et 5) supposément justes pour une question donnée.
Le corpus FrenchMedMCQA est découpé en 3 sous-ensembles : entraînement, développement et test. Globalement, 70% des questions sont utilisées pour le corpus d'apprentissage, 10% pour le corpus de développement et 20% pour le corpus de test. Et les participants disposeront de corpus d'apprentissage et de développement pour chacune des tâches.
Exemple d'une question extrait depuis le corpus d'apprentissage :
L'accès aux données ne sera rendu possible qu'après signature d'un accord d'utilisation des données par l'ensemble des membres de l'équipe. En accédant aux données, les participants sont libres de participer à une ou deux tâches mais s'engagent moralement à participer jusqu'au bout (soumettre des résultats et présenter les résultats pendant l'atelier).
Pour participer au défi merci d'envoyer l'accord d'utilisation des données signé à deft-2023@listes.univ-avignon.fr.
Nous proposons pour cette campagne d'évaluation d'ouvrir deux pistes : "recherche reproductible" et "aucune restriction". Chacune de ces pistes comprend deux tâches : tâche principale et annexe. Dans la piste "recherche reproductible" seuls les systèmes qui respectent les conditions suivantes sont acceptés : ne pas rechercher sur Internet les originaux des données fournies et utiliser des modèles pré-entraînés dont les données d'entraînement sont connues (modèle pré-entraîné reproductible). En revanche, pour la piste "aucune restriction" tous les systèmes sont acceptés sans aucune restriction de recherche sur Internet ou de modèle pré-entraîné.
Il est à noter que le classement des équipes se fera uniquement sur les sorties des systèmes déposées dans la piste "recherche reproductible". Dans cette piste, les participants sont autorisés à soumettre jusqu'à trois sorties de système par tâche. La participation à la piste "aucune restriction" n'est pas obligatoire. Il n'y aura pas de classement et le nombre de soumissions autorisées ne sera pas limité pour cette piste.
La soumission des sorties des systèmes se fait sur ce serveur : http://37.187.22.147/
Tâche principale : identifier automatiquement l'ensemble de réponses correctes parmi les cinq proposées pour une question donnée.
Le fichier de sortie doit être au format CSV avec des points-virgules (;) comme séparateurs. Le fichier doit contenir deux colonnes : la première l'identifiant de la question, et la seconde l'ensemble des réponses correctes parmi les cinq proposées. Si plusieurs réponses sont correctes, elles doivent être séparées par un symbole de barre verticale (|).
Exemple de sortie d'un système au format CSV pour la tâche principale :
5987fa6bffd499eb439c90679d7fbca822d62bc639d1b9c94c68ae20e46f6004;b
6e87c8575bb9327470a27b7b51f7ea797802157bf3b0e985f62b9164a2ec3287;a|e
e0e98b574405e9131352337b65e76ce9c8bee4837790d7ad189f63fc40a70899;a
b0fd1cbf8968b8c825e35f3f085fe176831b8ac4f4fa0de63ee7b5111e063c82;a|b|c|d
2c5fde04eac867475f9fe49f7699cd67ea0e542c932f2d9ea514e6ba4808a43e;a
...
Tâche annexe : identifier le nombre de réponses (entre 1 et 5) supposément justes pour une question donnée.
Le fichier de sortie doit être au format CSV avec des points-virgules (;) comme séparateurs. Le fichier doit contenir deux colonnes : la première l'identifiant de la question, et la seconde le nombre de réponses supposément justes.
Exemple de sortie d'un système au format CSV pour la tâche annexe :
5987fa6bffd499eb439c90679d7fbca822d62bc639d1b9c94c68ae20e46f6004;1
6e87c8575bb9327470a27b7b51f7ea797802157bf3b0e985f62b9164a2ec3287;2
e0e98b574405e9131352337b65e76ce9c8bee4837790d7ad189f63fc40a70899;1
b0fd1cbf8968b8c825e35f3f085fe176831b8ac4f4fa0de63ee7b5111e063c82;4
2c5fde04eac867475f9fe49f7699cd67ea0e542c932f2d9ea514e6ba4808a43e;1
...
Feuilles de style des articles : taln2023_style.tar.gz (jusqu'à 10 pages hors références).
Site de soumission des articles : https://coria-taln-2023.sciencesconf.org/submission/submit (choisir la track : DEFT).