Différences de moissonnage csw-dcat avec ou sans l'option GeoDCAT-AP

[streino]

Le passage en GeoDCAT-AP sur demo provoque des différences sur quasi tous les catalogues. Il va falloir investiguer. C'est particulièrement marquant sur https://demo.data.gouv.fr/admin/harvesters/6980bfc3a85a04d49933efe7, où tous les JDD se retrouvent ignorés (missing identifier).

Originally posted by @streino in #958

[streino]

Well, au moins pour https://demo.data.gouv.fr/admin/harvesters/6980bfc3a85a04d49933efe7 le problème est simple : il n'y a pas de gmd:identificationInfo//gmd:citation//gmd:identifier (identifiant données) dans les fiches ISO-19139.

L'ancien mapping DCAT GeoNetwork (utilisé lorsqu'on moissonne en csw-dcat) fonctionne car il utilise (incorrectement) gmd:fileIdentifier (identifiant métadonnées) comme identifiant données.

Le nouveau mapping GeoNetwork et le convertisseur SEMIC ne font pas cette erreur mais le résultat est qu'on ne récupère rien et qu'il va falloir traiter ça au niveau du catalogue source.

[streino]

Même problème d'identifiant données sur le SI Eau. Par exemple : https://data.ofb.fr/catalogue/Donnees-geographiques-OFB/fre/catalog.search#/metadata/7909b7f9-30ce-47fd-9a63-c8f34a2fcd17.

Du point de vue utilisateur GeoNetwork, ça se voit par l'absence du champ "Identificateur de ressource unique" dans la section "Informations techniques" (qui correspond à gmd:identificationInfo//gmd:citation//gmd:identifier => ID données).
À ne pas confondre avec le champ "Identifiant" de la section "Informations sur les métadonnées" (qui correspond à gmd:fileIdentifier => ID métadonnées).

[streino]

ID moissonneur	Nom	Statut
6980bfc3a85a04d49933efe7	Digitale2 CBN des Hauts-de-France	Fiches sans ID données
66b35f93822270e51629af62	Géo2France geo2france_data	Nb éléments "finis" identique mais "archivés" augmenté + ~20 fiches affectées par geonetwork/core-geonetwork#9235
66aa33b805b7f7ae5fde2b7f	Ifremer - Sextant - Opendata	Nb éléments "finis" identique mais "archivés" augmenté
66713b4a2063a18d4f2c77c0	Géo2France Amiens Métropole	OK
66632580d7365f18b2c81902	Moisssonneur SI Eau	Nb éléments "finis" identique mais "archivés" augmenté + Fiches sans ID données
58b68fdcc751df10ea84f9cc	Métropole Européenne de Lille (MEL)	Erreur moissonnage "<unknown>:1:91: no element found" + Fiches sans ID données

[streino]

Les moissonneurs dont le nombre d'éléments "finis" est identique mais le nombre d'éléments "archivés" a augmenté est probablement dû à de changements d'identifiants (car ça n'est pas le même ID pris en compte avec l'ancienne conversion DCAT de GN et la nouvelle DCAT/GeoDCAT-AP).

Si je moissonne manuellement Sextant, j'obtiens 415 fiches dans les deux cas, donc a priori pas d'incohérence à la source. Sur datagouv on passe de 381/23 (finis/archivés) à 381/231. Il va falloir que je creuse la diff d'archivés pour confirmer l'hypothèse ci-dessus, et aussi le 381 vs 415 que je moissonne manuellement.

[streino]

Même avec le correctif apporté au niveau datagouv, l'erreur moissonnage "<unknown>:1:91: no element found" rencontrée sur le moissonneur MEL va provoquer des différences. Le correctif datagouv évite l'échec du moissonnage, mais il reste le fait que certaines fiches du catalogue MEL ne sont pas converties en GeoDCAT-AP par GeoNetwork (ticket GN). Voir si on peut corriger/mitiger au niveau de la source.

[streino]

Références concernant l'ID données :

• XPaths :

  • ISO-19139: //gmd:identificationInfo/gmd:MD_DataIdentification/gmd:citation/gmd:CI_Citation/gmd:identifier/gmd:MD_Identifier
  • ISO-19115-3: //mdb:identificationInfo/mri:MD_DataIdentification/mri:citation/cit:CI_Citation/cit:identifier/mcc:MD_Identifier

• TG INSPIRE :

  • Section "3.1.2.1. Unique resource identifier" (datasets/series uniquement) :

    A unique identifier shall be given for each described dataset or data sets series. This identifier shall be a URI consisting of a namespace uniquely identifying a naming context governed by an identifier authority, and a code unique within this namespace.
    The identifying URI shall be encoded using gmd:citation/gmd:CI_Citation/gmd:identifier/*/gmd:code element with a Non-empty Free Text Element content.
    The multiplicity of this element is 1..*.

  • Section "4.1.2. Identification info section" (services) : "TG Requirement 3.2" mentionne srv:SV_ServiceIdentification mais pas de mention de gmd:identifier dans la section.

• Guide CNIG, section "II.5. Identificateur de ressource unique" (tout types confondus) :

  EXIGENCE INSPIRE :
  L’identificateur identifie la ressource de manière unique.
  ● Cet élément répétable est obligatoire.
  ● Il est constitué d’un {code} obligatoire (chaîne de caractères libre), éventuellement
  associé à un {espace de noms} (chaîne de caractères libre).

• GeoDCAT-AP, section "A.7.5 Unique resource identifier - *not in ISO 19115 core" :

  In INSPIRE, this element is meant to uniquely identify a resource (dataset, series or service), and it is mandatory for datasets and series. [...]
  Based on [DCAT-AP-3], unique resource identifiers are mapped to dct:identifier [...]

• Schéma XSD ISO-19139 : L'identifiant n'est pas obligatoire, probablement car le type est partagé entre datasets/series (ID obligatoire) et services (ID optionnel) :

  <xs:complexType name="CI_Citation_Type">
    <xs:annotation>
      <xs:documentation>Standardized resource reference</xs:documentation>
    </xs:annotation>
    <xs:complexContent>
      <xs:extension base="gco:AbstractObject_Type">
        <xs:sequence>
          <xs:element name="title" type="gco:CharacterString_PropertyType"/>
          ...
          <xs:element name="identifier" type="gmd:MD_Identifier_PropertyType" minOccurs="0" maxOccurs="unbounded"/>
          ...
  

[streino]

Raisons expliquant "Nb éléments "finis" identique mais 'archivés' augmenté" dans la table ci-dessus :

Cas	Ancien mapping GN	Nouveau mapping GN	Analyse
Fiche de type "series"	Dataset (moissonné, mais mapping incorrect)	DatasetSeries (non géré)	TODO datagouv
Plusieurs IDs données	concat(*ids) => dct:identifier (incorrect)	ids[0] => dct:identifier + ids[1:] => adms:identifier (OK)	RAS, sauf insister sur l'important du premier ID auprès des ADL

J'ai procédé par sampling donc il se peut que j'ai raté des cas moins fréquents. On va déjà gérer ceux-ci et on verra par la suite s'il reste d'autres problèmes à la marge.

[streino]

Pour résumer ce ticket, les différences (restantes) constatées sur GeoNetwork entre csw-dcat (ancien mapping) et csw-dcat/GeoDCAT-AP (nouveau mapping) sont dues à :

1. Absence d'ID données ("Identificateur de ressource unique" GN), défini par //gmd:identificationInfo//gmd:citation//gmd:identifier. Exemple : fiche source.
   => TODO ADL (ajouter ID).
2. Plusieurs IDs données. Exemple : fiche source, fiche datagouv.
   => TODO ADL (s'assurer que l'URI stable est en premier).
3. Fiche de type "series". Exemple : fiche source, fiche datagouv.
   => TODO datagouv.