# Process

## ENG

The data are downloaded from a standardized GeoNature export from the export module as follows:

- Verification of the connection and authentication to the source GeoNature instance.
- Retrieving the URL of the export module (according to the API `/api/gn_commons/modules`)
- Initial full download (option `--full`):
  - Downloading of the first batch of data (number limited by the `limit` parameter of the export, `1000` by default)
  - Calculation of the number of pages of the export: `max_offset = int(presp["total_filtered"] / presp["limit"]) - 1`.
  - Downloading and uploading in database page by page.
- Upload (option `--update`):
  - Retrieving updates (INSERT, UPDATE, DELETE) from source.
  - Deleting DELETE data from the database.
  - Downloading and UPSERT data.

## FR

Les données sont téléchargées depuis un export standardisé GeoNature à partir du module d'export comme suit:

- Vérification de la connexion et l'authentification à l'instance GeoNature source
- Récupération de l'URL du module d'export (d'après l'API `/api/gn_commons/modules`)
- Téléchargement complet initial (option `--full`):
  - Téléchargement du premier lot de données (nombre limité par le paramètre `limit` de l'export, `1000` par défaut)
  - Calcul du nombre de pages de l'export: `max_offset = int(presp["total_filtered"] / presp["limit"]) - 1`
  - Téléchargement et chargement en base de données pages par pages.
- Chargement `update`:
  - Récupération des données d'API des mises à jour (`INSERT`, `UPDATE`, `DELETE`).
  - Suppression des données `DELETE` de la base de données
  - Téléchargement et `UPSERT` des données (`INSERT ... ON CONFLICT ... DO UPDATE`)