Documentación · Datos masivos

Descarga y actualización de los datos

Los archivos masivos están en direcciones fijas y no requieren inicio de sesión. Esta página explica el patrón de las direcciones, cómo saber cuándo hay una nueva compilación, cómo comprobar una descarga y cómo mantener su copia sincronizada.

Los archivos masivos se pueden descargar gratis, sin cuenta. El uso no comercial está cubierto por nuestra licencia de datos; el uso comercial requiere una licencia. Para verificar nombres de uno en uno, utilice la API de verificación.

Direcciones de descarga

Cada archivo de cada colección tiene una dirección, que siempre entrega la compilación más reciente:

/downloads/collections/<collection>/<file>

# examples
/downloads/collections/default/entities.ftm.json
/downloads/collections/sanctions/targets.simple.csv
/downloads/collections/maritime/index.json

Colecciones: default, sanctions, peps, crime, maritime. Los archivos se enumeran en Formatos de datos. El catálogo de todas las colecciones es /downloads/collections/index.json.

BASE=https://crownintelligence.net     # the public download host; see the note below
curl -O "$BASE/downloads/collections/sanctions/targets.simple.csv"
Por definir: el nombre de host público para las descargas (en esta vista previa, los archivos se sirven desde el mismo host que el sitio, bajo /downloads/).

Datos históricos

Cada dirección se sobrescribe con la siguiente compilación. Todavía no conservamos copias fechadas de compilaciones anteriores; las cifras de cada compilación anterior se guardan en el statistics.json de cada colección, y los cambios de las compilaciones recientes en su deltas.json (consulte Archivos delta).

Por definir: si conservaremos compilaciones fechadas, en qué dirección, durante cuánto tiempo y en qué condiciones.

Con qué frecuencia cambian los datos

Importan dos ciclos:

  • Registros. Cada registro de origen se recopila según su propio calendario, ajustado a la frecuencia con que su editor lo actualiza. El intervalo de actualización de cada registro de una colección figura en su sources.json (cadence_hours); Actualidad de los datos los resume.
  • Compilaciones masivas. Los archivos se reconstruyen por lotes a partir del registro. Las compilaciones actuales se muestran a continuación.
ColecciónVersiónCompiladaÚltimos datos procesados
default———
sanctions———
peps———
crime———
maritime———

«Últimos datos procesados» es la fecha de confirmación más reciente de cualquier registro de la compilación. Una nueva compilación de datos sin cambios recibe una nueva versión, pero conserva la misma fecha de datos.

Por definir: el calendario con el que se reconstruyen los archivos masivos (por ejemplo, después de cada ciclo de actualización de los registros). Mientras no se defina, consulte index.json en lugar de suponer un intervalo fijo.

Cómo mantener su copia sincronizada

Elija uno de tres métodos, del más sencillo al más eficiente.

1. Descargar todo de nuevo

Obtenga periódicamente los archivos que utiliza y reemplace su copia. Es sencillo y robusto, pero consume ancho de banda en las colecciones grandes (predeterminado entities.ftm.json: —).

2. Consultar el índice y descargar cuando haya cambios

Obtenga el index.json de la colección, que es pequeño, compare su version (o el sha256 de un archivo) con lo que almacenó y descargue solo cuando sean distintos.

#!/bin/sh
# download targets.simple.csv when a new build is out
BASE=https://crownintelligence.net; C=sanctions; F=targets.simple.csv
NEW=$(curl -s "$BASE/downloads/collections/$C/index.json" | jq -r --arg f "$F" '.files[] | select(.name==$f) | .sha256')
OLD=$(cat "$F.sha256" 2>/dev/null)
if [ "$NEW" != "$OLD" ]; then
  curl -s -o "$F.part" "$BASE/downloads/collections/$C/$F"
  echo "$NEW  $F.part" | shasum -a 256 -c - && mv "$F.part" "$F" && echo "$NEW" > "$F.sha256"
fi

3. Aplicar deltas

Descargue una vez y luego aplique los cambios de cada compilación desde deltas.json. Es lo mejor para colecciones grandes y almacenes de larga duración. Consulte Archivos delta.

Comprobación de una descarga

La suma de verificación SHA-256, el tamaño y el número de filas de cada archivo figuran en el index.json de su colección. Compárelos antes de reemplazar su copia:

shasum -a 256 targets.simple.csv          # macOS, Linux
certutil -hashfile targets.simple.csv SHA256   # Windows

Los archivos se escriben con un nombre temporal y se intercambian al completarse, de modo que una descarga nunca recibe un archivo a medio escribir. Si obtiene index.json y un archivo de datos en distintas compilaciones, la suma de verificación no coincidirá: vuelva a obtener el índice y reintente.

Eliminaciones, fusiones y cambios de ID

  • Siga los registros mediante id (crown-<number>). Un registro que falta en una nueva compilación ha salido de la colección: elimínelo de su copia. Los archivos delta lo indican como operaciones DEL.
  • Los registros que hemos identificado como una misma parte comparten un canonical_id. Puede aparecer, cambiar o desaparecer entre compilaciones a medida que mejora la correspondencia, por lo que no debe usarse como clave permanente.
  • referents siempre está vacío por ahora; enumerará los ID fusionados en un registro cuando publiquemos entidades fusionadas.
Por definir: nuestra política de estabilidad de los ID de registro y con cuánta anticipación se avisa de un cambio de formato.

Última actualización 2026-10-03