Évolutions v0.3.0 : suppression id_lieu, id_local devient obligatoire #29

AurelienC · 2023-08-31T10:06:54Z

Evolutions du schéma vers une nouvelle version v0.3.0

L'obectif est d'avoir un schéma adapté à l'évolution prévue du mécanisme de contribution à la BNLC. L'évolution va permettre la consolidation automatique des jeux de données sur data.gouv.fr dans la BNLC. Lien : etalab/transport-site#3419

Cela implique, notamment :

de supprimer la colonne id_lieu, qui sera présente uniquement dans la BNLC, mais plus dans les jeux de données individuels ;
de rendre obligatoire la colonne id_local, afin qu'un identifiant reste présent.

- Mise à jour des liens des exemples dans le `schema.json` - Mise à jour du readme

AurelienC · 2023-08-31T10:12:00Z

Todo à prévoir pour la publication de la nouvelle version :

Mettre à jour les fichiers d'exemples
Mettre à jour le champ version
Mettre à jour le champ lastModified
Changer les liens vers les fichiers d'exemples présents dans schema.json et README.md
Mettre à jour le fichier CHANGELOG.md en incluant une description de la version
Merger cette pull-request
Publier un nouveau tag et une nouvelle version
Prévenir les utilisateurs de ce schéma

AntoineAugusti · 2023-09-21T11:53:31Z

exemple-invalide.csv

Ahah j'avais oublié que j'avais fait les fichiers d'exemples de ce schéma

AntoineAugusti · 2023-09-21T11:53:40Z

schema.json

+          "path": "https://github.com/etalab/schema-lieux-covoiturage/raw/v0.3.0/exemple-valide.csv"
        },
        {
          "title": "Ressource invalide",
          "name": "exemple-invalide",
-          "path": "https://github.com/etalab/schema-lieux-covoiturage/raw/v0.2.2/exemple-invalide.csv"
+          "path": "https://github.com/etalab/schema-lieux-covoiturage/raw/v0.3.0/exemple-invalide.csv"


@AurelienC J'ai ajouté ceci

On s'était posé la question : pourquoi mettre l'url "en dur" vers la version plutôt que de pointer vers la dernière version via "raw" ?

Vers la dernière version à chaque fois tu veux dire ?

Pour que les précédentes versions des schémas maintiennent des liens valides et cohérents avec le contenu de schema.json. C'est pas un gros sujet, généralement les gens utilisent la dernière version.

Mais sans ça le fichier d'exemple ne correspond pas au schéma potentiellement pour les versions précédentes

AntoineAugusti · 2023-09-21T11:53:50Z

schema.json

-    ],
-    "primaryKey":"id_lieu"


Retirer la clé primaire.

AntoineAugusti · 2023-09-21T11:54:59Z

README.md


 ### Format des fichiers
-Le fichier doit être un fichier CSV, encodé en UTF-8 et utilisant le point-virgule comme séparateur de colonnes. L'en-tête de colonne sur la première ligne est obligatoire. Tous les champs du schéma sont obligatoires ; si la donnée n'est pas disponible, la colonne doit malgré tout être présente mais vide.
+Le fichier doit être un fichier CSV, encodé en UTF-8 et utilisant la virgule comme séparateur de colonnes. L'en-tête de colonne sur la première ligne est obligatoire. Tous les champs du schéma sont obligatoires ; si la donnée n'est pas disponible, la colonne doit malgré tout être présente mais vide.

 Lorsque vous contribuez via data.gouv.fr, nous préconisons ce format de nom du fichier : `AAAAMMJJ_idproducteur_lieuxcovoit.csv` où `AAAAMMJJ`est la date de mise à jour des données et `idproducteur` est le SIREN de la collectivité productrice des données. Par exemple pour le département de l'Ain, avec des données mises à jour le 18 juin 2023 :  `20230618_220100010_lieuxcovoit.csv`.


Je dirais que c'est inutile en cas de dépôt/remplacement de fichiers sur data.gouv.fr. Peut-être faire un tour sur le README et harmoniser avec la doc côté PAN ?

Qu'est-ce qui est inutile @AntoineAugusti , de définir le séparateur ou d'insérer toutes les colonnes même vides ?

Je parlais du paragraphe qui aborde la convention de nommage à respecter pour le fichier.

Mise à jour date changelog V0.3.0

README.md

AntoineAugusti · 2023-12-18T12:50:23Z

README.md


 ### Fichiers d'exemple
 Nous mettons à disposition des fichiers d'exemple qui peuvent servir de base pour renseigner vos lieux de covoiturage.

- [Télécharger un fichier exemple valide au format CSV](https://github.com/etalab/lieux-covoiturage/blob/master/exemple-valide.csv)
- [Télécharger un fichier d'exemple invalide](https://github.com/etalab/lieux-covoiturage/blob/master/exemple-invalide.csv) contenant des erreurs dans le formatage des dates et une inversion des coordonnées géographiques latitude/longitude
+- [Télécharger un fichier exemple valide au format CSV](https://github.com/etalab/schema-lieux-covoiturage/raw/v0.3.0/exemple-valide.csv)


Faudra penser à mettre à jour ces liens avec les versions la prochaine fois du coup !

schema.json

Co-authored-by: Antoine Augusti <antoine.augusti@beta.gouv.fr>

AurelienC added 3 commits July 17, 2023 14:54

- Correction de l'exemple CSV correct

c6ae6ec

- Mise à jour des liens des exemples dans le `schema.json` - Mise à jour du readme

Première passe vers la v0.3.0

a8a9c80

Mise à jour des fichiers d'exemple

d3c4591

AntoineAugusti self-assigned this Sep 19, 2023

Merge branch 'master' into evolutions_v0.3.0

3bbb41c

AntoineAugusti reviewed Sep 21, 2023

View reviewed changes

AntoineAugusti changed the title ~~Evolutions v0.3.0~~ Évolutions v0.3.0 : suppression id_lieu, id_local devient obligatoire Sep 21, 2023

AurelienC added 2 commits October 6, 2023 11:42

Ajout de restrictions pour les champs de type boolean

08d5fb2

Correction du schéma (trueValues, falseValues)

84de901

AntoineAugusti mentioned this pull request Oct 30, 2023

ConsolidateBNLCJob : ajout colonne id_lieu etalab/transport-site#3563

Merged

AntoineAugusti mentioned this pull request Nov 13, 2023

Suppression de la génération de la colonne id_lieu etalab/transport-community-contributions#38

Merged

4 tasks

Précisions mineures V0.3.0

84132c7

AurelienC marked this pull request as ready for review December 18, 2023 08:15

AurelienC requested a review from a team as a code owner December 18, 2023 08:15

Update CHANGELOG.md

ee48607

Mise à jour date changelog V0.3.0

AntoineAugusti approved these changes Dec 18, 2023

View reviewed changes

Apply suggestions from code review

e062b3e

Co-authored-by: Antoine Augusti <antoine.augusti@beta.gouv.fr>

AurelienC merged commit 3c9c1df into master Dec 19, 2023
1 check passed

AurelienC deleted the evolutions_v0.3.0 branch December 19, 2023 09:04

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Évolutions v0.3.0 : suppression id_lieu, id_local devient obligatoire #29

Évolutions v0.3.0 : suppression id_lieu, id_local devient obligatoire #29

AurelienC commented Aug 31, 2023 •

edited

Loading

AurelienC commented Aug 31, 2023 •

edited

Loading

AntoineAugusti Sep 21, 2023

AntoineAugusti Sep 21, 2023

AurelienC Sep 21, 2023

AntoineAugusti Sep 21, 2023

AntoineAugusti Sep 21, 2023 •

edited

Loading

AntoineAugusti Sep 21, 2023

AurelienC Dec 14, 2023

AntoineAugusti Dec 14, 2023

AntoineAugusti Dec 18, 2023

Évolutions v0.3.0 : suppression id_lieu, id_local devient obligatoire #29

Évolutions v0.3.0 : suppression id_lieu, id_local devient obligatoire #29

Conversation

AurelienC commented Aug 31, 2023 • edited Loading

AurelienC commented Aug 31, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

AntoineAugusti Sep 21, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

AurelienC commented Aug 31, 2023 •

edited

Loading

AurelienC commented Aug 31, 2023 •

edited

Loading

AntoineAugusti Sep 21, 2023 •

edited

Loading