Validation des masques de nuages de MACCS

=>

Lors du bilan annuel de l'exploitation du projet PEPS (le site miroir des données Sentinel au CNES), la société GEOSYS a présenté ses activités opérationnelles d'utilisation des données Sentinel-2 pour fournir du conseil en agriculture sur de nombreuses zones dans le monde. A cette occasion, GEOSYS nous a présenté sa procédure de détection des nuages sur Sentinel-2. La solution Sen2cor n'a pas été jugée suffisamment fiable par GEOSYS, et les zones traitées par MACCS ne couvrent pas, loin de là, toutes les zones d'intérêt de la société. GEOSYS a donc décidé de faire intervenir des opérateurs pour affiner la notation nuageuse des images. Pour chaque image traitée, les opérateurs fournissent un masque de pixels valides (clairs, sans nuages ni ombres).

J'ai bien entendu sauté sur l'occasion pour proposer à GEOSYS une collaboration visant à comparer les masques de pixels valides issus de MACCS et de la notation manuelle de GEOSYS. C'est dans ce contexte que GEOSYS m'a gracieusement donné accès à quelques-uns de ses masques de nuages à des fins de comparaison avec MACCS. Des données ont été traitées sur 4 tuiles réparties sur la France, sur une période de 3 mois, de décembre 2016 à février 2017 :

Site Tuile
Toulouse 31TCJ
Arles 31TFJ
Orléans 31UDP
Rennes 30UWU

 

La tuile de Rennes n'a pas donné de résultats, les images sont toutes nuageuses à plus de 90%, mais nous avons pu obtenir de bons résultats de validation sur les autres sites qui sont affichés ci-dessous.

Toulouse 20170215 confusion % nuage_maccs clair_maccs OA
nuage_geosys 54.18 11.62
clair_geosys 1.65 32.55 86.73
20170116 confusion % nuage_maccs clair_maccs OA
nuage_geosys 49.36 7.3
clair_geosys 2.08 41.26 90.62
Orleans 20161130 confusion % nuage_maccs clair_maccs OA
nuage_geosys 0 0.55
clair_geosys 0 99.45 99.45
20161227 confusion % nuage_maccs clair_maccs OA
nuage_geosys 1.22 4.11
clair_geosys 1.76 92.91 94.13
20170126 confusion % nuage_maccs clair_maccs OA
nuage_geosys 0.81 2.66
clair_geosys 0.13 96.4 97.21
20170215 confusion % nuage_maccs clair_maccs OA
nuage_geosys 0.24 1.27
clair_geosys 0.15 98.35 98.59
20161231 confusion % nuage_maccs clair_maccs OA
nuage_geosys 21.41 2.67
clair_geosys 2.18 73.73 95.14
Arles 20170103 confusion % nuage_maccs clair_maccs OA
nuage_geosys 2.42 2.77
clair_geosys 0.41 94.4 96.82
20170113 confusion % nuage_maccs clair_maccs OA
nuage_geosys 29.98 5.11
clair_geosys 3.89 61.03 91.01
20170202 confusion % nuage_maccs clair_maccs OA
nuage_geosys 82.65 2.87
clair_geosys 6.7 7.77 90.42
20160209 confusion % nuage_maccs clair_maccs OA
nuage_geosys 87.93 4.43
clair_geosys 0.23 7.41 95.34

 

Ce tableau présente les matrices de confusion obtenues pour chaque date traitée, et la colonne OA  (Overall Accuracy), fournit le pourcentage de pixels bien classés. Celui-ci va de 86% à 99.5%. L'accord est donc excellent. Mais ce sont bien sûr les résultats les moins bons qui nous intéressent le plus, dans le but de comprendre ce qui ne va pas et éventuellement essayer d'améliorer. Vous trouverez ci-dessous deux exemples de désaccords, reportez-vous aux légendes et n'hésitez pas à cliquer sur les images pour les voir à pleine résolution.

Masques de nuages générés, par GEOSYS tout à gauche, et par MACCS tout à droite, et au centre, l'image Sentinel-2. Les pixels valides sont en noir. Ici GEOSYS classe bien comme nuages des nuages quasiment imperceptibles (mais qui sont réellement existants, en regardant bien). MACCS ne peut pas détecter des nuages aussi fins, je tire d'ailleurs mon chapeau à l'opérateur qui a réalisé ce masquage pour GEOSYS.

 

Dans ce cas, la zone observée est déclarée totalement nuageuse par GEOSYS (rectangle blanc tout à gauche signifiant qu'il n'y a aucun pixel valide) et ne l'est pas par MACCS (tout à droite). GEOSYS prend de grandes marges de sécurité et optimise sa rapidité de production en simplifiant l'acquisition de polygones complexes, alors que MACCS est un peu plus exact mais peut manquer la détection des plus petits nuages (car la détection est faite à 240 m).

 

En conclusion de cette première validation indépendante de nos produits Sentinel-2, GEOSYS et MACCS sont d'accord sur 94.5% des pixels en moyenne, sur 11 images différentes. Les opérateurs de GEOSYS font un travail remarquable et parviennent à détecter même les nuages les plus ténus. Les opérateurs ont cependant tendance à dilater généreusement les zones nuageuses, et à simplifier les polygones en présence de nuages morcelés. Cela s'explique par le fait que GEOSYS tient absolument à éviter les omissions de nuages ou d'ombre, et en même temps, la productivité des opérateurs est meilleure s'ils ne s'acharnent pas à détourer chaque nuage. Les nuages de MACCS sont eux aussi dilatés, mais pas autant que ceux de GEOSYS en général. Dans de rares cas, MACCS peut aussi manquer les nuages les plus ténus, et aussi des nuages plus épais, mais de faible surface. Cela est dû à la résolution utilisée dans MACCS pour calculer le masque de nuages (240 m). Nous comptons augmenter cette résolution, mais cela coûtera un temps de calcul supplémentaire, et il faudra que le segment sol MUSCATE soit beaucoup plus en forme !

 

Ces résultats seront bientôt complétés par la comparaison aux sorties d'autres chaînes de traitement. Ils seront bien sûr présentés dans ce blog, mais aussi par exemple au colloque RAQRS V à Valencia en Septembre.

 

Un grand merci à Arnaud Quesney (de GEOSYS) et à GEOSYS  pour la fourniture de données et leur aide à la rédaction de cet article.

Posted under: Corrections (geometry, atmosphere, clouds), En Français, Sentinel-2, THEIA

Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>