Artículos · Datos masivos, Formatos

Cada colección, de seis maneras: nuestros nuevos formatos de descarga

Publicado el Por el equipo de Crown Intelligence

Cada colección de Crown Intelligence ahora se publica en seis formatos, desde una simple lista de nombres hasta un CSV a nivel de declaración que registra el origen de cada valor. Aquí explicamos para qué sirve cada archivo y cómo comprobar que tiene el correcto.

Por qué más de un archivo#

Los datos de verificación se usan de maneras muy distintas. Un equipo de pagos necesita una primera revisión rápida de nombres. Un investigador necesita un grafo de personas, empresas y las sanciones asociadas a ellas. Un auditor necesita saber de dónde proviene cada valor y cuándo se vio por primera vez. Un solo archivo no puede atender bien los tres casos, por lo que ahora cada colección se genera en seis formatos.

Los seis formatos#

  • names.txt: cada nombre y alias distinto, uno por línea. Úselo para una primera comprobación rápida de coincidencias.
  • targets.simple.csv: una fila por registro en una tabla plana, con el diseño de columnas del CSV simple de uso generalizado, de modo que los cargadores existentes funcionen sin cambios.
  • targets.nested.json: cada registro con los detalles de su sanción anidados en su interior, uno por línea.
  • entities.ftm.json: cada registro como una entidad FollowTheMoney con propiedades tipificadas, para almacenes de grafos y de entidades.
  • senzing.json: un registro de Senzing por línea, listo para la resolución de entidades de Senzing.
  • statements.csv: una fila por cada valor de propiedad, con su fuente y las fechas en que se vio por primera y por última vez. Este es el archivo para auditorías y análisis de cambios.

El índice de compilación#

Junto con los archivos, cada colección publica index.json: la versión de la compilación, las cifras de la colección, sus tipos de entidad y países, la frecuencia con que se completa cada campo y todos los archivos con su tamaño, número de filas y suma de verificación SHA-256. Compare la suma de verificación después de la descarga, por ejemplo:

shasum -a 256 targets.simple.csv

Un catálogo de todas las colecciones se encuentra en /downloads/collections/index.json.

Cómo mantenerse al día#

A partir de la segunda compilación, cada colección también publica delta.json: una operación ADD, MOD o DEL por línea, de modo que una copia local pueda actualizarse sin volver a descargar todo. Si se pierde una compilación, descargue en su lugar los archivos completos.