EGC 2027 · page compagnon pour les relecteurs
Exécuter la liste grise
Connaissance juridique explicite et prix de l'interprétabilité dans la détection des clauses abusives
Cette page met à la disposition des relecteurs tout ce que l'article publie : la couche thématique annotée sur les 50 contrats de CLAUDETTE, avec les votes individuels des trois annotateurs, la référence consolidée et la trace d'arbitrage de chaque phrase, les quatre juges LLM et leurs prompts exacts, les taxonomies figées, le guide et le protocole d'annotation. La plateforme qui a produit cette couche est ouverte en lecture : vous pouvez y parcourir les annotations, voir comment chaque étiquette a été conclue et annoter vous-même dans un bac à sable.
Empreinte du jeu de données 7116e627f528c557 · 50 contrats · 9 414 phrases · 3 annotateurs formés · 4 juges LLM
Essayer le classifieur
Legal-BERT affiné selon la recette de l'article sur les 33 contrats de conception (taxonomie à 11 thèmes, ±1 phrase de contexte, 8 epochs, graine 42). Les 17 contrats proposés n'ont jamais été vus à l'entraînement. Le modèle classe des textes en anglais ; votre texte est traité une fois et n'est pas conservé.
0 / 60 000 caractères · environ 0 phrases
Legal-BERT (11 thèmes), entraîné sur les 33 contrats de conception. Votre texte est traité une fois et n'est pas conservé.
Ce que nous publions
Les fichiers ci-dessous sont ceux à partir desquels chaque chiffre de l'article a été calculé. Les enregistrements sont indexés par (document, indice) et se joignent directement au corpus CLAUDETTE, dont nous ne redistribuons pas les phrases. Les annotateurs apparaissent sous les noms A1, A2 et A3.
Tout dans une seule archive
thematic-layer-7116e627.zip · 383 Ko · SHA-256 c8d3170c508c7b70…
Votes individuels
Les votes des trois annotateurs (A1–A3), phrase par phrase : thème principal et thèmes secondaires.
votes.jsonl · 28 242 enregistrements · 2,9 Mo
TéléchargerRéférence consolidée et trace d'arbitrage
La décision retenue pour chaque phrase, avec la classe d'accord, le décompte des votes et, le cas échéant, l'arbitrage humain.
gold.jsonl · 9 414 enregistrements · 3,4 Mo
TéléchargerJuges LLM
Les thèmes proposés par les quatre juges LLM, conservés tels que produits et jamais intégrés à la référence.
judges.jsonl · 37 656 enregistrements · 4,0 Mo
TéléchargerTaxonomies figées
La spécification figée : 20 thèmes annotés et leurs projections (14, 11 et 10 classes), partition conception / réservés.
taxonomies.json · 27 Ko
TéléchargerPrompts des juges
Les instructions données aux juges (protocole v9.2) et le protocole des sessions : entrées, isolement, validation, modèles, outils et dates pour Claude Fable 5, Claude Opus 4.7, Mistral Medium 3.5, GPT-5.5.
Guide d'annotation
Les 20 thèmes et leurs définitions, les règles de segmentation et de multi-étiquetage données aux annotateurs.
LireProtocole
Annotation indépendante, juges isolés, consolidation en trois niveaux, projections à la lecture, bootstrap par document.
LireLe manifeste, les étiquettes et le découpage sont inclus dans l'archive. Empreinte du jeu de données 7116e627f528c557… · construit le 2026-10-18.
Chiffres clés
Calculés à partir des fichiers publiés ; ouvrez « mode de calcul » pour la source de chaque chiffre.
| Mesure | 20 thèmes | 11 thèmes | Mode de calcul |
|---|---|---|---|
| α de Krippendorff (distance MASI), trois annotateurs | 0,658 | 0,725 | α calculé sur les votes individuels (votes.jsonl) avec la distance MASI sur l'ensemble {thème principal} ∪ thèmes secondaires ; la valeur à 11 thèmes porte sur les mêmes votes projetés par taxonomies.json. docs/pactiva-taxonomies/resultats/taxonomy_matrix.json (population all, raw) |
| α nominal sur les thèmes principaux | 0,732 | 0,794 | Mêmes votes, thème principal seul, distance nominale ; l'écart avec l'α-MASI est le coût du format multi-étiquette. taxonomy_matrix.json (raw) |
| Gain de la consolidation 20 → 11 thèmes (α-MASI) | — | 0,067 | Différence appariée d'α-MASI entre les votes T20 et leur projection T11 (intervalle bootstrap par document dans l'article). taxonomy_matrix.json |
| Plafond humain, κ (chaque annotateur contre une référence sans ses votes) | 0,859 | — | Chaque annotateur est évalué contre une référence reconstruite sans ses votes ; κ de Cohen moyen sur les trois annotateurs (exactitude 0,8705). frontend/src/features/paper/campaign.json (E1.5) |
| Legal-BERT affiné, κ (5 plis groupés par document) | 0,695 | 0,720 | nlpaueb/legal-bert-base-uncased, 8 epochs, ±1 phrase de contexte, entropie croisée pondérée, graine 42, validation croisée à 5 plis groupés par document ; macro-F1 0,612707 / 0,734652. research/runs/legalbert_T20/results.json, research/runs/legalbert_T11/results.json |
| Meilleur juge LLM (Claude Fable 5), κ | 0,581 | 0,591 | judges.jsonl contre la référence ; autres juges : Claude Opus 4.7 0,5147 / 0,5308, Mistral Medium 3.5 0,3272 / 0,3533, GPT-5.5 0,2659 / 0,3016. campaign.json (E3.3) |
| Modèle servi : 33 contrats de conception → 17 réservés, macro-F1 / κ | — | 0,729 / κ 0,711 | Les poids exacts du classifieur ci-dessus : même recette, entraîné une fois sur les 33 contrats de conception, évalué sur les 17 contrats réservés. research/runs/demo_legalbert_T11_holdout/results/results.json |
Le modèle du classifieur
nlpaueb/legal-bert-base-uncased, affiné une seule fois sur les 33 contrats de conception avec la recette de l'article (epochs 8, batchSize 16, learningRate 0.00002, maxLength 128, context ±1 sentence, seed 42, loss weighted_ce) et évalué sur les 17 contrats réservés, jamais vus à l'entraînement : macro-F1 0,729 [0,694; 0,761], κ 0,711.
Protocole et guide d'annotation
Les 50 contrats anglais de CLAUDETTE (9 414 phrases) ont été annotés indépendamment par trois annotateurs formés, à partir d'un guide écrit : un thème principal et zéro ou plusieurs thèmes secondaires, dans un vocabulaire fermé de 20 thèmes. Chaque annotateur a aussi découpé le contrat en clauses. Quatre grands modèles de langue ont annoté les mêmes phrases dans des sessions isolées ; leurs propositions étaient affichées aux annotateurs sans jamais être appliquées d'office, et ils ne participent pas à la référence. La référence est consolidée entre annotateurs seulement, en trois niveaux : unanimité, majorité de deux sur trois, arbitrage humain pour le reste (462 phrases). Les taxonomies plus grossières sont des projections appliquées à la lecture, si bien que toutes les comparaisons sont appariées ; les intervalles de confiance viennent d'un bootstrap par document. Les regroupements ont été conçus sur 33 contrats et validés sur les 17 autres.
Vingt thèmes, un thème principal par phrase, des thèmes secondaires quand une phrase fait réellement deux choses. Un changement de thème ouvre une nouvelle clause.
La consolidation en 11 thèmes
La plateforme d'annotation
Pactiva est la plateforme qui a produit, arbitré et exporté la couche thématique. Elle est mise à la disposition des relecteurs pour vérifier le travail d'annotation à la source.
Accès relecteur
- parcourir les 150 sessions d'annotation de la campagne, gelées, avec les annotateurs affichés sous les noms A1 à A3 ;
- retracer, pour chaque phrase, comment son étiquette a été conclue : votes des trois annotateurs, décompte, classe d'accord et, le cas échéant, arbitrage ;
- consulter les comparaisons entre annotateurs et juges LLM et les figures de concordance ;
- annoter vous-même dans un projet bac à sable sur les mêmes 50 contrats : vos sessions restent les vôtres et n'entrent jamais dans la couche publiée.
Le compte relecteur n'a accès ni à la configuration, ni aux expériences, ni aux exports.