=>Lors du bilan annuel de l’exploitation du projet PEPS (le site miroir des données Sentinel au CNES), la société GEOSYS a présenté ses activités opérationnelles d’utilisation des données Sentinel-2 pour fournir du conseil en agriculture sur de nombreuses zones dans le monde. A cette occasion, GEOSYS nous a présenté sa procédure de détection des nuages sur Sentinel-2. La solution Sen2cor n’a pas été jugée suffisamment fiable par GEOSYS, et les zones traitées par MACCS ne couvrent pas, loin de là, toutes les zones d’intérêt de la société. GEOSYS a donc décidé de faire intervenir des opérateurs pour affiner la notation nuageuse des images. Pour chaque image traitée, les opérateurs fournissent un masque de pixels valides (clairs, sans nuages ni ombres).J’ai bien entendu sauté sur l’occasion pour proposer à GEOSYS une collaboration visant à comparer les masques de pixels valides issus de MACCS et de la notation manuelle de GEOSYS. C’est dans ce contexte que GEOSYS m’a gracieusement donné accès à quelques-uns de ses masques de nuages à des fins de comparaison avec MACCS. Des données ont été traitées sur 4 tuiles réparties sur la France, sur une période de 3 mois, de décembre 2016 à février 2017 :
Site | Tuile |
Toulouse | 31TCJ |
Arles | 31TFJ |
Orléans | 31UDP |
Rennes | 30UWU |
La tuile de Rennes n’a pas donné de résultats, les images sont toutes nuageuses à plus de 90%, mais nous avons pu obtenir de bons résultats de validation sur les autres sites qui sont affichés ci-dessous.
Toulouse | 20170215 | confusion % | nuage_maccs | clair_maccs | OA |
nuage_geosys | 54.18 | 11.62 | |||
clair_geosys | 1.65 | 32.55 | 86.73 | ||
20170116 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 49.36 | 7.3 | |||
clair_geosys | 2.08 | 41.26 | 90.62 | ||
Orleans | 20161130 | confusion % | nuage_maccs | clair_maccs | OA |
nuage_geosys | 0 | 0.55 | |||
clair_geosys | 0 | 99.45 | 99.45 | ||
20161227 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 1.22 | 4.11 | |||
clair_geosys | 1.76 | 92.91 | 94.13 | ||
20170126 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 0.81 | 2.66 | |||
clair_geosys | 0.13 | 96.4 | 97.21 | ||
20170215 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 0.24 | 1.27 | |||
clair_geosys | 0.15 | 98.35 | 98.59 | ||
20161231 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 21.41 | 2.67 | |||
clair_geosys | 2.18 | 73.73 | 95.14 | ||
Arles | 20170103 | confusion % | nuage_maccs | clair_maccs | OA |
nuage_geosys | 2.42 | 2.77 | |||
clair_geosys | 0.41 | 94.4 | 96.82 | ||
20170113 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 29.98 | 5.11 | |||
clair_geosys | 3.89 | 61.03 | 91.01 | ||
20170202 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 82.65 | 2.87 | |||
clair_geosys | 6.7 | 7.77 | 90.42 | ||
20160209 | confusion % | nuage_maccs | clair_maccs | OA | |
nuage_geosys | 87.93 | 4.43 | |||
clair_geosys | 0.23 | 7.41 | 95.34 |
Ce tableau présente les matrices de confusion obtenues pour chaque date traitée, et la colonne OA (Overall Accuracy), fournit le pourcentage de pixels bien classés. Celui-ci va de 86% à 99.5%. L’accord est donc excellent. Mais ce sont bien sûr les résultats les moins bons qui nous intéressent le plus, dans le but de comprendre ce qui ne va pas et éventuellement essayer d’améliorer. Vous trouverez ci-dessous deux exemples de désaccords, reportez-vous aux légendes et n’hésitez pas à cliquer sur les images pour les voir à pleine résolution.
En conclusion de cette première validation indépendante de nos produits Sentinel-2, GEOSYS et MACCS sont d’accord sur 94.5% des pixels en moyenne, sur 11 images différentes. Les opérateurs de GEOSYS font un travail remarquable et parviennent à détecter même les nuages les plus ténus. Les opérateurs ont cependant tendance à dilater généreusement les zones nuageuses, et à simplifier les polygones en présence de nuages morcelés. Cela s’explique par le fait que GEOSYS tient absolument à éviter les omissions de nuages ou d’ombre, et en même temps, la productivité des opérateurs est meilleure s’ils ne s’acharnent pas à détourer chaque nuage. Les nuages de MACCS sont eux aussi dilatés, mais pas autant que ceux de GEOSYS en général. Dans de rares cas, MACCS peut aussi manquer les nuages les plus ténus, et aussi des nuages plus épais, mais de faible surface. Cela est dû à la résolution utilisée dans MACCS pour calculer le masque de nuages (240 m). Nous comptons augmenter cette résolution, mais cela coûtera un temps de calcul supplémentaire, et il faudra que le segment sol MUSCATE soit beaucoup plus en forme !
Ces résultats seront bientôt complétés par la comparaison aux sorties d’autres chaînes de traitement. Ils seront bien sûr présentés dans ce blog, mais aussi par exemple au colloque RAQRS V à Valencia en Septembre.
Un grand merci à Arnaud Quesney (de GEOSYS) et à GEOSYS pour la fourniture de données et leur aide à la rédaction de cet article.
Bonjour monsieur Hagolle, je suis un étudiant gabonais qui lit beaucoup vos publications et je travaille actuellement sur une « étude comparative des chaines de prétraitement atmosphérique existantes pour le suivi des forets » j’aimerai pour cela bénéficier de vos orientations et de vos conseils d’experts, notamment sur la procédure d’installation des différents processeurs Maja, Sen2cor et Fmask et sur la méthode de comparaison la plus simple que je pourrais utiliser entre maja sen2cor et Fmask?
merci.
Bonjour,
je ne vais pas pouvoir vous aider pour Sen2cor et FMask, mais vous trouverez des informations sur leurs sites respectifs. Pour MAJA, les instructions sont ici : https://github.com/CNES/Start-MAJA
Sur les forêts du Gabon, qui ont un très fort ennuagement, la méthode multi-temporelle de MAJA n’est pas dans son cas idéal, puisque les observations sans nuages sont rares, MAJA a du mal à trouver un même pixel clair sur des images séparées par peu de temps. Les masques de nuages de Sen2cor sont toujours assez mauvais, aussi, je vous conseillerais de partir sur FMask.
Si vous tenez à faire une comparaison par vous même, il vous faut des images ou des pixels de référence, classées interactivement. Vous pouvez par exemple utiliser notre outil ALCD pour le faire.
https://github.com/CNES/ALCD
Cordialement,
Olivier