Process

ENG

The data are downloaded from a standardized GeoNature export from the export module as follows:

• Verification of the connection and authentication to the source GeoNature instance.

• Retrieving the URL of the export module (according to the API /api/gn_commons/modules)

• Initial full download (option --full):

  • Downloading of the first batch of data (number limited by the limit parameter of the export, 1000 by default)

  • Calculation of the number of pages of the export.

  • Downloading and uploading in database page by page.

• Upload (option --update):

  • Retrieving updates (INSERT, UPDATE, DELETE) from source.

  • Deleting DELETE data from the database.

  • Downloading and UPSERT data.

Transfer statuses

The current transfer stage is stored in the xfer_status field of the import log.

Status	Description
init	The transfer has been created but processing has not started yet.
importing data	Data or metadata is currently being downloaded and stored.
delete	Records deleted from the source are currently being removed locally.
success	All requested transfer steps completed successfully.
failed	The transfer stopped because an API or processing error occurred.

FR

Les données sont téléchargées depuis un export standardisé GeoNature à partir du module d’export comme suit:

• Vérification de la connexion et l’authentification à l’instance GeoNature source

• Récupération de l’URL du module d’export (d’après l’API /api/gn_commons/modules)

• Téléchargement complet initial (option download --full):

  • Téléchargement du premier lot de données (nombre limité par le paramètre limit de l’export, 1000 par défaut)

  • Calcul du nombre de pages de l’export.

  • Téléchargement et chargement en base de données pages par pages.

• Chargement update:

  • Récupération des données d’API des mises à jour (INSERT, UPDATE, DELETE).

  • Suppression des données DELETE de la base de données.

  • Téléchargement et UPSERT des données (INSERT ... ON CONFLICT ... DO UPDATE).

Statuts des transferts

L’étape courante du transfert est enregistrée dans le champ xfer_status du journal d’import.

Statut	Description
init	Le transfert a été créé, mais son traitement n’a pas encore commencé.
importing data	Les données ou métadonnées sont en cours de téléchargement et d’enregistrement.
delete	Les enregistrements supprimés à la source sont en cours de suppression locale.
success	Toutes les étapes demandées du transfert se sont terminées avec succès.
failed	Le transfert s’est arrêté à la suite d’une erreur d’API ou de traitement.