Articles · Données en vrac, Formats

Chaque collection de six façons : nos nouveaux formats de téléchargement

Publié le Par l’équipe de Crown Intelligence

Chaque collection de Crown Intelligence est désormais publiée en six formats, d’une simple liste de noms à un fichier CSV au niveau de l’énoncé qui indique la provenance de chaque valeur. Voici à quoi sert chaque fichier et comment vous assurer d’avoir le bon.

Pourquoi plus d’un fichier#

Les données de vérification sont utilisées de manières très différentes. Une équipe des paiements veut un premier passage rapide sur les noms. Un enquêteur veut un graphe des personnes, des entreprises et des sanctions qui leur sont associées. Un auditeur veut savoir d’où provient chaque valeur et quand elle a été vue pour la première fois. Un seul fichier ne peut bien répondre à ces trois besoins; chaque collection est donc maintenant produite en six formats.

Les six formats#

  • names.txt : chaque nom et alias distinct, un par ligne. Utilisez-le pour un premier passage rapide de recherche de correspondances.
  • targets.simple.csv : une ligne par fiche dans un tableau à plat, selon la disposition de colonnes CSV simple très répandue, de sorte que les outils de chargement existants fonctionnent sans modification.
  • targets.nested.json : chaque fiche avec les détails de sa sanction imbriqués, une par ligne.
  • entities.ftm.json : chaque fiche sous forme d’entité FollowTheMoney avec des propriétés typées, pour les bases de graphes et d’entités.
  • senzing.json : une fiche Senzing par ligne, prête pour la résolution d’entités avec Senzing.
  • statements.csv : une ligne pour chaque valeur de propriété, avec sa source et les dates de sa première et de sa dernière observation. C’est le fichier à privilégier pour les audits et l’analyse des changements.

L’index de production#

En plus des fichiers, chaque collection publie index.json : la version de production, les chiffres de la collection, ses types d’entités et ses pays, la fréquence de remplissage de chaque champ, ainsi que chaque fichier avec sa taille, son nombre de lignes et sa somme de contrôle SHA-256. Comparez la somme de contrôle après le téléchargement, par exemple :

shasum -a 256 targets.simple.csv

Un catalogue de toutes les collections se trouve à l’adresse /downloads/collections/index.json.

Rester à jour#

À partir de la deuxième production, chaque collection publie aussi delta.json : une opération ADD, MOD ou DEL par ligne, ce qui permet de mettre à jour une copie locale sans tout télécharger de nouveau. Si vous manquez une production, téléchargez plutôt les fichiers complets.

Vous aimez ce que nous bâtissons?Abonnez-vous à l’infolettre, suivez le fil RSS, consultez la documentation ou écrivez-nous.