Jeu d’évaluation ouvert / 56 lignes

Votre système sait-il
s’en tenir à la date ?

Un banc d’essai public compact pour des réponses historiques bornées dans le temps : 26 réponses « inconnu » légitimes et 30 cas étayés, tirés du pack public libre de droits.

Ouvrir github.com/datelock/benchmark
1

Prendre les lignes telles quelles

Utilisez les 56 lignes du dépôt. Conservez la requête, la langue et la valeur as_of de chacune. N’ajustez rien à partir de connaissances cachées et ne remplacez pas la date limite historique.

2

Exécuter votre système

Produisez une réponse par ligne et conservez les preuves utilisées par votre système. UNKNOWN est un résultat valide ; une assurance non étayée ne l’est pas.

3

Noter de façon reproductible

Suivez les instructions de notation du dépôt et rapportez la révision exacte, la configuration, les sorties par ligne et les totaux. Comparez séparément les lignes étayées et UNKNOWN ; ne convertissez jamais une vérification échouée en crédit.

Version de référence

Lignes
56
Étayées
30
Inconnues
26
Préfixe du pack
5dd4c251