Réimplémentation de la sensibilité

[TheoLechemia]

Cette PR reprend le travail de Maxime sur la sensibilité.
La partie backend et frontend a été conservée (quelques peu modifiée), elle permet à l'API d'afficher différents niveaux de géométries dégradées sur une fiche espèce et sur les dernières obs, et au frontend de controler ces différentes couches à l'aide d'un sélecteur de couche.
Côté SQL, la PR a été complètement reprise pour se baser sur celle-ci : #358
Le calcul de la géométrie dégradée est fait de la manière suivante :

id_nomenclature_sensitivity	Geom associée
0	Précise
1	Maille 1km
2	Maille 5km
3	Maille 10km
4	Pas de diffusion

On exclue volontairement les communes et les départements pour des raisons de performances.
Pour calculer les géométrie dégradées on s'appuie sur la table de la synthese de GeoNature gn_synthese.cor_area_synthese qui comprend déjà toutes les intersections avec les mailles dont nous avons besoin. l'objectif et ne refaire aucune intersection pour gagner en performance.
Une vue materialisée intermédiaire est créée en amont du calcul de la vm_observations pour améliorer les performances : atlas.vm_cor_area_synthese
Cette VM est construite à partir de gn_synthese.cor_area_synthese à laquelle on rajoute un booléen pour connaître la bonne géométrie dégradée en fonction de la sensibilité de l'observation courante.

id_synthese	type_code	is_blured_geom
1	M1	t
1	M5	f
1	M10	f

Calcul de VM observations :

Cette table contient uniquement des géométrie de type point (the_geom_point).
Quatre cas :

• l'observation initiale est un point non sensible -> on prend la géom telle quelle
• l'observation initiale est un point sensible -> on prend le centroid de la maille de dégradation
• l'observation est un polygone non sensible -> on prend le centroid de la geom initiale
• l'observation est un polygone sensible -> on prend le centroid des mailles de dégradation (necessite de faire un st_unions() sur les mailles)

Calcul de VM observations maille :

• l'observation initiale est un point non sensible -> on prend la maille de taille correspondant au paramètre paramètre taillemaille
• l'observation initiale est un point sensible -> on prend la maille de dégradation
• l'observation est un polygone non sensible -> on prend le ou les les mailles de taille correspondant au paramètre taillemaille
• l'observation est un polygone sensible -> on prend le ou les mailles de dégradation

Cette VM perd donc l'unicité sur le champ id_observation, une même observation pouvant être dans N mailles.

LIMITES :

• Pour les atlas non basés sur GeoNature, et qui n'ont par conséquence pas la table gn_synthese.cor_area_synthese, l'installation est plus compliquée. Il faut se refaire les vues vm_observations et vm_observations_mailles

AVANTAGES :

• Meilleurs perf
• On a plus besoin d'importer les mailles car celle-ci sont déjà compris dans la vm_observations_mailles, et qu'on ne fait plus d'intersection

TODO :

• Revoir les scripts d'installation de la BDD
• L'intersection avec le territoire n'est plus faite. Necessaire ? Ou custo de la vm_observations ?

Lié à #117

[jpm-cbna]

Une suggestion, en mettant ce code SQL dans une fonction cela permettrait de facilement pouvoir changer la correspondance valeur de sensibilité et maille à utiliser.

[camillemonchicourt]

Je pense que c'est géré ou devrait être géré au niveau de la BDD source (GeoNature dans une majorité des cas), pas au niveau de GeoNature-atlas.

[jpm-cbna]

Je pense que c'est géré ou devrait être géré au niveau de la BDD source (GeoNature dans une majorité des cas), pas au niveau de GeoNature-atlas.

Oui, idéalement. Mais avec l'utilisation de table via Foreign Data Wrapper, je ne sais pas si on peut utiliser des fonctions de la base de données source.

[juggler31]

Si plutôt qu'une fonction nous mettions un paramètre dans la config ?
Qu'en pensez-vous ?

[jpm-cbna]

Si plutôt qu'une fonction nous mettions un paramètre dans la config ? Qu'en pensez-vous ?

Le paramètre serait utilisé pour générer le code SQL lors de l'installation ? Mais dans ce cas là, une modification du paramètre dans le fichier de config, après installation de la base de données, ne changerait rien dans la base.

[jpm-cbna]

Ici, aussi, il serait peut être nécessaire d'utiliser une fonction pour pouvoir personnaliser les zones à utiliser.

[jpm-cbna]

La sous-requête "centroid", ne récupérant que les observations où is_blurred_geom vaut true, est ce que l'on ne va pas récupérer ici avec cette jointure que les observations floutées ?

[jpm-cbna]

J'ai compris finalement que les mailles utilisées par défaut lorsqu'on force l'Atlas à afficher uniquement des mailles sont aussi comprises dans is_blurred_geom = true... Donc, normalement, toutes les observations sont prises en compte.

[jpm-cbna]

Afin d'associer les observations à flouter à la commune correspondant au centroïde de la géométrie de l'observations, il me semble que le st_intersect() devrait se faire sur le champ c.geom_point.

[jpm-cbna]

Si cela peut servir, voici le code SQL que je vais surement utiliser avec les nouvelles nomenclatures sensibilités. Il y a encore dedans la notion de niveau de diffusion pour des raisons de compatibilité avec l'existant mais cela devrait disparaître à terme.

Il me semble également que l'on pourrait simplifier la VM vm_cor_synthese_area en faisant en sorte qu'elle ne contiennent que les mailles pour les observations sensibles. C'est ce que j'ai fait au final. Mais dans le cadre de cette PR ce n'est peut être pas possible.

Le code SQL ci-dessous et le lien vers le commit final (16cdbe1):

-- Fonctions

CREATE OR REPLACE FUNCTION atlas.is_blurred_area_type_by_diffusion_level(
  nomenclatureCode CHARACTER VARYING,
  areaTypeCode CHARACTER VARYING
)
RETURNS boolean
LANGUAGE plpgsql
IMMUTABLE
AS $function$
  DECLARE isBlurred boolean;

  BEGIN
    SELECT INTO isBlurred
      CASE
        WHEN ( nomenclatureCode = '0' AND areaTypeCode = 'M5' ) THEN true
        WHEN ( nomenclatureCode = '1' AND areaTypeCode = 'M5' ) THEN true
        WHEN ( nomenclatureCode = '2' AND areaTypeCode = 'M5' ) THEN true
        WHEN ( nomenclatureCode = '3' AND areaTypeCode = 'M5' ) THEN true
        ELSE false
      END ;

    RETURN isBlurred ;
  END;
$function$
;

CREATE OR REPLACE FUNCTION atlas.is_blurred_area_type_by_sensitivity(
  nomenclatureCode CHARACTER VARYING,
  areaTypeCode CHARACTER VARYING
)
RETURNS boolean
LANGUAGE plpgsql
IMMUTABLE
AS $function$
  DECLARE isBlurred boolean;

  BEGIN
    SELECT INTO isBlurred
      CASE
        WHEN ( nomenclatureCode = '1' AND areaTypeCode = 'M5' ) THEN true
        WHEN ( nomenclatureCode = '2' AND areaTypeCode = 'M5' ) THEN true
        WHEN ( nomenclatureCode = '3' AND areaTypeCode = 'M5' ) THEN true
        WHEN ( nomenclatureCode = '2.1' AND areaTypeCode = 'M1' ) THEN true
        WHEN ( nomenclatureCode = '2.2' AND areaTypeCode = 'M2' ) THEN true
        WHEN ( nomenclatureCode = '2.3' AND areaTypeCode = 'M5' ) THEN true
        WHEN ( nomenclatureCode = '2.4' AND areaTypeCode = 'M10' ) THEN true
        WHEN ( nomenclatureCode = '2.5' AND areaTypeCode = 'M20' ) THEN true
        WHEN ( nomenclatureCode = '2.6' AND areaTypeCode = 'M50' ) THEN true
        WHEN ( nomenclatureCode = '2.7' AND areaTypeCode = 'M50' ) THEN true
        ELSE false
      END ;

    RETURN isBlurred ;
  END;
$function$
;

CREATE OR REPLACE FUNCTION atlas.is_default_mesh(
  areaTypeCode CHARACTER VARYING
)
RETURNS boolean
LANGUAGE plpgsql
IMMUTABLE
AS $function$
  DECLARE isBlurred boolean;

  BEGIN
    SELECT INTO isBlurred
      CASE
        WHEN ( areaTypeCode = 'M5' ) THEN true
        ELSE false
      END ;

    RETURN isBlurred ;
  END;
$function$
;

CREATE OR REPLACE FUNCTION atlas.is_blurred_area_type(
  sensiCode CHARACTER VARYING,
  diffusionCode CHARACTER VARYING,
  areaTypeCode CHARACTER VARYING
)
RETURNS boolean
LANGUAGE plpgsql
IMMUTABLE
AS $function$
  DECLARE isBlurred boolean;

  BEGIN
    SELECT INTO isBlurred
      CASE
        WHEN (sensiCode::INT >= 1 AND sensiCode::INT <= 3 AND diffusionCode::INT >= 0 AND diffusionCode::INT <= 3) THEN
        CASE
            WHEN (sensiCode::INT >= diffusionCode::INT) THEN (
              atlas.is_blurred_area_type_by_sensitivity(sensiCode, areaTypeCode)
            )
            WHEN (sensiCode::INT < diffusionCode::INT) THEN (
              atlas.is_blurred_area_type_by_diffusion_level(diffusionCode, areaTypeCode)
            )
          END
        WHEN (sensiCode::INT >= 1 AND sensiCode::INT <= 3) AND (diffusionCode::INT > 4) THEN (
          atlas.is_blurred_area_type_by_sensitivity(sensiCode, areaTypeCode)
        )
        WHEN (diffusionCode::INT >= 0 AND diffusionCode::INT <= 3) AND (sensiCode::INT < 1) THEN (
          atlas.is_blurred_area_type_by_diffusion_level(diffusionCode, areaTypeCode)
        )
        ELSE false
      END;

    RETURN isBlurred ;
  END;
$function$
;

-- Toutes les correspondances observations à flouter et zones géographiques

CREATE MATERIALIZED VIEW atlas.vm_cor_synthese_area
TABLESPACE pg_default
AS
  SELECT
    sa.id_synthese,
    sa.id_area,
    st_transform(a.geom, 4326) AS geom_4326,
    st_transform(a.centroid, 4326) AS centroid_4326,
    t.type_code,
    a.area_code,
    atlas.is_blurred_area_type(
      sens.cd_nomenclature,
      dl.cd_nomenclature,
      t.type_code
    ) AS is_blurred,
    atlas.is_default_mesh(
      t.type_code
    ) AS is_default_mesh,
    sens.cd_nomenclature AS sensitivity, -- DEBUG : DELETE THIS
    dl.cd_nomenclature AS diffusion_level -- DEBUG : DELETE THIS
  FROM synthese.synthese AS s
    JOIN synthese.cor_area_synthese AS sa
      ON (s.id_synthese = sa.id_synthese)
    JOIN synthese.t_nomenclatures AS sens
      ON (s.id_nomenclature_sensitivity = sens.id_nomenclature)
    JOIN synthese.t_nomenclatures AS dl
      ON (s.id_nomenclature_diffusion_level = dl.id_nomenclature)
    LEFT JOIN synthese.t_nomenclatures AS st
      ON (s.id_nomenclature_observation_status = st.id_nomenclature)
    JOIN ref_geo.l_areas AS a
      ON (sa.id_area = a.id_area)
    JOIN ref_geo.bib_areas_types AS t
      ON (a.id_type = t.id_type)
  WHERE st.cd_nomenclature = 'Pr'
    AND dl.cd_nomenclature != '4'
    AND sens.cd_nomenclature NOT IN ('4', '2.8')
    AND t.type_code IN ('M1', 'M2', 'M5', 'M10', 'M20', 'M50')
WITH DATA;

CREATE UNIQUE INDEX i_vm_cor_synthese_area ON atlas.vm_cor_synthese_area USING btree (id_synthese, id_area);
CREATE INDEX ON atlas.vm_cor_synthese_area (type_code);


-- Toutes les observations

--DROP materialized view atlas.vm_observations;
CREATE MATERIALIZED VIEW atlas.vm_observations AS
WITH blurred_centroid AS (
  SELECT
    csa.id_synthese,
    st_centroid(st_union(csa.geom_4326)) AS geom_point
  FROM atlas.vm_cor_synthese_area3 AS csa
  WHERE csa.is_blurred IS TRUE
  GROUP BY csa.id_synthese
),
blurred_centroid_insee AS (
  SELECT
    bc.id_synthese,
    bc.geom_point,
      com.insee
  FROM blurred_centroid AS bc
      LEFT JOIN atlas.l_communes AS com
        ON (st_intersects(bc.geom_point, com.the_geom))
)
SELECT
  s.id_synthese AS id_observation,
  COALESCE(
    bci.insee,
    (SELECT insee FROM atlas.l_communes WHERE st_intersects(s.the_geom_point, the_geom) = TRUE)
  ) AS insee,
  s.date_min AS dateobs,
  s.observers AS observateurs,
  (s.altitude_min + s.altitude_max) / 2 AS altitude_retenue,
  CASE
    WHEN bci.geom_point IS NOT NULL THEN bci.geom_point
    ELSE s.the_geom_point
  END AS the_geom_point,
  s.count_min AS effectif_total,
  tx.cd_ref,
  CASE
    WHEN bci.geom_point IS NOT NULL THEN st_asgeojson(bci.geom_point)
    ELSE st_asgeojson(s.the_geom_point)
  END AS geojson_point,
  sens.cd_nomenclature AS sensitivity,
  dl.cd_nomenclature AS diffusion_level,
  s.id_dataset
FROM synthese.synthese AS s
  JOIN atlas.vm_taxref AS tx
    ON tx.cd_nom = s.cd_nom
  JOIN synthese.t_nomenclatures AS sens
    ON (s.id_nomenclature_sensitivity = sens.id_nomenclature)
  JOIN synthese.t_nomenclatures AS dl
    ON (s.id_nomenclature_diffusion_level = dl.id_nomenclature)
  JOIN synthese.t_nomenclatures AS st
      ON (s.id_nomenclature_observation_status = st.id_nomenclature)
  LEFT JOIN blurred_centroid_insee AS bci
    ON bci.id_synthese = s.id_synthese
WHERE st.cd_nomenclature = 'Pr'
  AND dl.cd_nomenclature != '4'
  AND sens.cd_nomenclature NOT IN ('4', '2.8') ;

CREATE UNIQUE INDEX ON atlas.vm_observations (id_observation);
CREATE INDEX ON atlas.vm_observations (cd_ref);
CREATE INDEX ON atlas.vm_observations (insee);
CREATE INDEX ON atlas.vm_observations (altitude_retenue);
CREATE INDEX ON atlas.vm_observations (dateobs);
CREATE INDEX index_gist_vm_observations_the_geom_point ON atlas.vm_observations USING gist (the_geom_point);