=>Lors du bilan annuel de l’exploitation du projet PEPS (le site miroir des données Sentinel au CNES), la société GEOSYS a présenté ses activités opérationnelles d’utilisation des données Sentinel-2 pour fournir du conseil en agriculture sur de nombreuses zones dans le monde. A cette occasion, GEOSYS nous a présenté sa procédure de détection des nuages sur Sentinel-2. La solution Sen2cor n’a pas été jugée suffisamment fiable par GEOSYS, et les zones traitées par MACCS ne couvrent pas, loin de là, toutes les zones d’intérêt de la société. GEOSYS a donc décidé de faire intervenir des opérateurs pour affiner la notation nuageuse des images. Pour chaque image traitée, les opérateurs fournissent un masque de pixels valides (clairs, sans nuages ni ombres).J’ai bien entendu sauté sur l’occasion pour proposer à GEOSYS une collaboration visant à comparer les masques de pixels valides issus de MACCS et de la notation manuelle de GEOSYS. C’est dans ce contexte que GEOSYS m’a gracieusement donné accès à quelques-uns de ses masques de nuages à des fins de comparaison avec MACCS. Des données ont été traitées sur 4 tuiles réparties sur la France, sur une période de 3 mois, de décembre 2016 à février 2017 :

Site Tuile
Toulouse 31TCJ
Arles 31TFJ
Orléans 31UDP
Rennes 30UWU

 La tuile de Rennes n’a pas donné de résultats, les images sont toutes nuageuses à plus de 90%, mais nous avons pu obtenir de bons résultats de validation sur les autres sites qui sont affichés ci-dessous.

Toulouse 20170215 confusion % nuage_maccs clair_maccs OA
nuage_geosys 54.18 11.62
clair_geosys 1.65 32.55 86.73
20170116 confusion % nuage_maccs clair_maccs OA
nuage_geosys 49.36 7.3
clair_geosys 2.08 41.26 90.62
Orleans 20161130 confusion % nuage_maccs clair_maccs OA
nuage_geosys 0 0.55
clair_geosys 0 99.45 99.45
20161227 confusion % nuage_maccs clair_maccs OA
nuage_geosys 1.22 4.11
clair_geosys 1.76 92.91 94.13
20170126 confusion % nuage_maccs clair_maccs OA
nuage_geosys 0.81 2.66
clair_geosys 0.13 96.4 97.21
20170215 confusion % nuage_maccs clair_maccs OA
nuage_geosys 0.24 1.27
clair_geosys 0.15 98.35 98.59
20161231 confusion % nuage_maccs clair_maccs OA
nuage_geosys 21.41 2.67
clair_geosys 2.18 73.73 95.14
Arles 20170103 confusion % nuage_maccs clair_maccs OA
nuage_geosys 2.42 2.77
clair_geosys 0.41 94.4 96.82
20170113 confusion % nuage_maccs clair_maccs OA
nuage_geosys 29.98 5.11
clair_geosys 3.89 61.03 91.01
20170202 confusion % nuage_maccs clair_maccs OA
nuage_geosys 82.65 2.87
clair_geosys 6.7 7.77 90.42
20160209 confusion % nuage_maccs clair_maccs OA
nuage_geosys 87.93 4.43
clair_geosys 0.23 7.41 95.34

 Ce tableau présente les matrices de confusion obtenues pour chaque date traitée, et la colonne OA  (Overall Accuracy), fournit le pourcentage de pixels bien classés. Celui-ci va de 86% à 99.5%. L’accord est donc excellent. Mais ce sont bien sûr les résultats les moins bons qui nous intéressent le plus, dans le but de comprendre ce qui ne va pas et éventuellement essayer d’améliorer. Vous trouverez ci-dessous deux exemples de désaccords, reportez-vous aux légendes et n’hésitez pas à cliquer sur les images pour les voir à pleine résolution.

Masques de nuages générés, par GEOSYS tout à gauche, et par MACCS tout à droite, et au centre, l'image Sentinel-2. Les pixels valides sont en noir. Ici GEOSYS classe bien comme nuages des nuages quasiment imperceptibles (mais qui sont réellement existants, en regardant bien). MACCS ne peut pas détecter des nuages aussi fins, je tire d'ailleurs mon chapeau à l'opérateur qui a réalisé ce masquage pour GEOSYS.
 
Dans ce cas, la zone observée est déclarée totalement nuageuse par GEOSYS (rectangle blanc tout à gauche signifiant qu'il n'y a aucun pixel valide) et ne l'est pas par MACCS (tout à droite). GEOSYS prend de grandes marges de sécurité et optimise sa rapidité de production en simplifiant l'acquisition de polygones complexes, alors que MACCS est un peu plus exact mais peut manquer la détection des plus petits nuages (car la détection est faite à 240 m).

 

En conclusion de cette première validation indépendante de nos produits Sentinel-2, GEOSYS et MACCS sont d’accord sur 94.5% des pixels en moyenne, sur 11 images différentes. Les opérateurs de GEOSYS font un travail remarquable et parviennent à détecter même les nuages les plus ténus. Les opérateurs ont cependant tendance à dilater généreusement les zones nuageuses, et à simplifier les polygones en présence de nuages morcelés. Cela s’explique par le fait que GEOSYS tient absolument à éviter les omissions de nuages ou d’ombre, et en même temps, la productivité des opérateurs est meilleure s’ils ne s’acharnent pas à détourer chaque nuage. Les nuages de MACCS sont eux aussi dilatés, mais pas autant que ceux de GEOSYS en général. Dans de rares cas, MACCS peut aussi manquer les nuages les plus ténus, et aussi des nuages plus épais, mais de faible surface. Cela est dû à la résolution utilisée dans MACCS pour calculer le masque de nuages (240 m). Nous comptons augmenter cette résolution, mais cela coûtera un temps de calcul supplémentaire, et il faudra que le segment sol MUSCATE soit beaucoup plus en forme !

 

Ces résultats seront bientôt complétés par la comparaison aux sorties d’autres chaînes de traitement. Ils seront bien sûr présentés dans ce blog, mais aussi par exemple au colloque RAQRS V à Valencia en Septembre.

 

Un grand merci à Arnaud Quesney (de GEOSYS) et à GEOSYS  pour la fourniture de données et leur aide à la rédaction de cet article.

2 thoughts on “Validation des masques de nuages de MACCS

  1. Bonjour monsieur Hagolle, je suis un étudiant gabonais qui lit beaucoup vos publications et je travaille actuellement sur une « étude comparative des chaines de prétraitement atmosphérique existantes pour le suivi des forets » j’aimerai pour cela bénéficier de vos orientations et de vos conseils d’experts, notamment sur la procédure d’installation des différents processeurs Maja, Sen2cor et Fmask et sur la méthode de comparaison la plus simple que je pourrais utiliser entre maja sen2cor et Fmask?
    merci.

    1. Bonjour,
      je ne vais pas pouvoir vous aider pour Sen2cor et FMask, mais vous trouverez des informations sur leurs sites respectifs. Pour MAJA, les instructions sont ici : https://github.com/CNES/Start-MAJA

      Sur les forêts du Gabon, qui ont un très fort ennuagement, la méthode multi-temporelle de MAJA n’est pas dans son cas idéal, puisque les observations sans nuages sont rares, MAJA a du mal à trouver un même pixel clair sur des images séparées par peu de temps. Les masques de nuages de Sen2cor sont toujours assez mauvais, aussi, je vous conseillerais de partir sur FMask.

      Si vous tenez à faire une comparaison par vous même, il vous faut des images ou des pixels de référence, classées interactivement. Vous pouvez par exemple utiliser notre outil ALCD pour le faire.
      https://github.com/CNES/ALCD

      Cordialement,
      Olivier

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.