De l'importance d'un bon masque de nuage pour le traitement automatisé de séries temporelles

=>

Série temporelle de réflectance au sommet de l'atmosphère pour les 4 bandes à 10m de résolution de Sentinel-2, issues des produits L1C

 

Le graphique ci-dessus montre une série temporelle de réflectance TOA rassemblée par Sentinel-2 sur un pixel choisi au hasard dans une tuile au centre de la France (tuile 31TDK, pixel 3000-7000), à partir de produits L1C. En regardant la série chronologique, il est assez difficile de dire quel type de surface a été observé, même si un cycle végétatif semble être présent. Comme nous le verrons ci-dessous, la plupart du bruit observé est dû à la présence de nuages ​​ou d'ombres de nuages.

 

La courbe ci-dessous montre qu'après avoir retiré tous les nuages ​​et leurs ombres, la réflectance au sommet de l'atmosphère est déjà plus lisse, et il est ainsi beaucoup plus facile de comprendre le type de surface observée. Continue reading

MACCS/MAJA, comment ça marche ?

=>

MACCS (Multi-sensor Atmospheric Correction and Cloud Screening) est une chaîne de traitement de niveau 2A, qui, comme son nom l'indique, détecte les nuages et leurs ombres, estime l'épaisseur optique des aérosols, la quantité de vapeur d'eau, et corrige les effets atmosphériques. La chaîne a été développée conjointement par le CESBIO et le CNES. Le CESBIO a mis au point les méthodes et développé un prototype, tandis que le CNES a pris en charge la version opérationnelle de la chaîne, que le CESBIO a largement contribué à valider. Le développement de la chaîne opérationnelle a été confié par le CNES à la compagnie CS-SI, et depuis peu, sa validation est gérée par CAP Gemini et le CNES.

 

Plus récemment, le CNES+CESBIO et le DLR ont décidé de mettre en commun leurs efforts pour développer la chaîne MAJA (MACCS-ATCOR Joint Algorithm). Cette chaîne est une évolution de la chaîne MACCS dans laquelle des méthodes issues de la chaîne ATCOR du DLR seront ajoutées progressivement. MAJA V1.0 a MACCS aurait dû s'appeler MACCS V6.0, mais le CNES et le DLR ont préférer changer de nom pour célébrer leur entente dans ce domaine.

 

MAJA est exploité au CNES dans le segment sol MUSCATE de Theia (données disponibles ici) et dans le segment sol du satellite Venµs. Enfin MAJA est disponible gratuitement en version binaire pour utilisation non commerciale.

 

MAJA a la particularité de s'appliquer à des séries temporelles d'images de résolution décamétrique, et de faire une large utilisation de méthodes multi-temporelles. Pour cette raison, elle ne s'applique qu'aux mission dont les observations se font sous des angles quasi constants. Ceci dit, MAJA a déjà été appliqué à de nombreux satellites :

 

Macroscopiquement, le fonctionnement de MAJA est expliqué dans le schéma ci-contre.

Correction de l'absorption atmajasphérique

Dans le cas de Sentinel-2 et de Venµs, qui disposent d'un canal 940 nm (resp 910 nm), situé dans une forte bande d'absorption de la vapeur d'eau, une première étape estime la quantité de vapeur d'eau dans  la colonne d'air traversée par l'observation. Pour les autres satellites, ce sont des données météo qui sont utilisées. Puis on passe à la correction de l'absorption gazeuse. Cette phase est réalisée avec le code SMAC.

Imajage composite

Les étapes suivantes font un grand usage de méthodes multi-temporelles. Et pour cela, une série temporelle doit être traitée dans l'ordre chronologique. En sortie de chaque traitement, une image composite est mise à jour avec les derniers pixels non nuageux acquis. Cette image sert de référence au traitement de détection des nuages et d'estimation de l'épaisseur optique des aérosols.

Les majasques de nuages

La détection des nuage repose sur une batterie de tests, dont les plus importants et plus efficaces, sont :

  • celui qui utilise la bande Cirrus (à 1380 nm) présente sur Landsat 8 et Sentinel-2 qui détecte les nuages hauts,
  • le test multi-temporel, qui détecte une soudaine augmentation de la réflectance dans le bleu, signe de la présence d'un nuage.
  • enfin, pour éviter des sur-détections, pour chaque nuage potentiellement détecté, un dernier test mesure le taux de corrélation d'un voisinage du pixel avec les images précédentes. Comme il est peu probable que plusieurs nuages successifs se ressemblent, au même endroit, si une bonne corrélation est obtenue avec l'une des images, le pixel n'est finalement pas classé nuageux

Après la détection des nuages, il faut aussi détecter leurs ombres, l'eau, et la neige.

Estimajation de l'épaisseur optique des aérosols

L'estimation de l'épaisseur optique combine plusieurs critères, décrits dans cette page, dans le calcul d'une fonction coût, qui est ensuite inversée par la méthode des moindres carrés non linéaires.

  • Critère multi-temporel ; après correction atmosphériques, deux voisinages successifs non nuageux (celui de l'image en cours, et celui du satellite) doivent avoir quasiment les mêmes réflectances. Les écarts résiduels après correction atmosphérique sont inclus dans la fonction coût.
  • Critère multi-spectral ; au dessus de la végétation, et aussi au dessus de nombreux sols nus, la réflectance de surface dans le bleu est proche de la moitié de la réflectance dans le rouge. Les écarts à cette relation après correction atmosphérique sont donc inclus aussi dans la fonction coût
  • Minimum ou maximum de l'épaisseur optique : l'épaisseur optique ne peut pas être négative, et elle ne peut normalement pas dépasser la valeur estimée par la méthode du pixel sombre. Lorsque les erreurs dépassent ces seuils, une forte erreur est ajoutée dans la fonction coût.

 

La minimisation de cette fonction coût est réalisée sur un voisinage de pixels à 240 m,  s'étendant sur environ deux kilomètres. Les résultats obtenus sont ensuite lissés, et les trous dûs au nuages sont bouchés, pour obtenir finalement une carte d'aérosols à une résolution de 5 km. Le type d'aérosols n'est pas estimé, c'est un paramètre de la méthode qui peut être fixé par zone géographique.

Correction atmajasphérique

 

L'un des quicklooks que nous produisons systématiquement à chaque traitement de MACCS, pour vérifier le bon fonctionnement d'un coup d'oeil, ici pour le site SPOT5 (Take5) du Chiapas, au Mexique. En haut à gauche, l'image au sommet de l'atmosphère, en bas à gauche, l'AOT et le masque de nuages, en haut à droite, les réflectances de surface corrigées des effets d'environnement,,en bas à droite, les mêmes, corrigées aussi des effets de pente.

Une fois connue l'épaisseur optique des aérosols, nous pouvons calculer les réflectances de surface.  Pour celà, nous utilisons des tableaux précalculés, à partir du code de transfert radiatif SOS (Successive Orders of Scattering, Lenoble, 2007). Ces mêmes tableaux sont aussi utilisés pour l'estimation des aérosols.

Les réflectances ainsi obtenues peuvent être utilisées pour mettre à jour l'image composite.

Avant d'éditer le produit de sortie, il reste cependant à corriger deux autres points, déjà détaillés dans ce blog,  les effets d'environnement et les effets de pentes en présence de relief.

 

Le développement de MACCS a démarré depuis plus de 10 ans, et de très nombreuses personnes y ont contribué au cours de ces années :

  • au CESBIO (H.Tromp, V. Debaecker, M. Huc, P.Gely, B.Rouquié et O.Hagolle),
  • au CNES (B. Petrucci, D.Villa-Pascual, Camille Desjardins),
  • au DLR (A.Makarau, R.Richterà
  • Chez CS-SI (T.Feuvrier, C.Ruffel, A.Bricier et plusieurs autres personnes)
  • Chez Cap Gemini (M.Farges, G.Rochais, E.Durand)
  • Chez Magellium (E. Hillairet)

 

Nous avons publié quatre articles dans des revues à comité de lecture, sur les méthodes et la validation de MACCS :

L'USGS distribue (enfin) les données LANDSAT 8 corrigées des effets atmosphériques

=>

Depuis Noêl ou presque (le 23/12),  l'USGS distribue aussi des données LANDSAT 8 corrigées des effets atmosphériques, comme c'était déjà le cas pour LANDSAT 5 et 7.Ces données étaient très attendues et devraient connaître un grand succès.

 

Bien évidemment, les traitements de l'USGS portent sur le monde entier. Pour y accéder, il faut utiliser le serveur earthexplorer. Les données peuvent être trouvées en cliquant sur LANDSAT CDR (Climate Data Record), comme montré sur l'image ci-jointe. Les données ne sont pas en ligne et doivent être commandées.

 

Nous n'avons pas encore fait de comparaison entre les produits de Niveau 2A de LANDAT 8 mis à disposition par THEIA sur la France avec la chaîne du CESBIO, et les traitements de l'USGS développés par la NASA (E.Vermote), mais nous y travaillerons prochainement.

 

Les données LANDSAT 5 et 7 acquises sur la France de 2009 à 2011 bientôt disponibles au niveau 2A.

=>

Comme pour LANDSAT 8, il y a quelques semaines, nous venons de produire les données de LANDSAT 5 et LANDSAT 7 acquises au dessus de la France métropolitaine (sans la Corse) de 2009 à 2011. Les données seront mises en ligne d'ici quelques jours, le temps de les transférer sur le serveur.  Les traitements ont été effectués par l'équipe MUSCATE, pour le compte du pôle THEIA, en utilisant les moyens du centre informatique du CNES. Les données seront disponibles sur le site :

http://spirit.cnes.fr/resto/Landsat/

Exemple de produit de Niveau 2A obtenu avec LANDSAT5 sur la côte atlantique. Les nuages sont entourés en vert, le masque d'eau est entouré en bleu, la neige en rose. De temps en temps, la forte turbidité des eaux charentaises fait basculer les seuils de neige, et certains zones particulièrement turbides peuvent être identifiées dans le masque de neige...

Le traitement, le format et la présentation de ces données ont beaucoup de points communs avec ceux de Landsat 8, décrits ici. Cependant, ils s'en écartent par plusieurs aspects, qui font l'objet de cet article.

Point de départ.

Le point de départ est différent pour les satellites LANDSAT 7 et LANDSAT 5.

  • Pour LANDSAT 7, comme pour LANDSAT 8, nous démarrons des produits de niveau 1T fournis par l'USGS. Ces produits présentent cependant un gros défaut, avec la présence de stries dès que l'on s'écarte du centre de l'image. Ces stries sont dues à la panne d'un miroir sur ce satellite depuis 2013. Se reporter ici pour une description du problème. Dans notre cas, nous avons décidé de n'utiliser que la partie centrale de l'image, en interpolant un peu les données manquantes, tant que les trous sont inférieurs à 4 pixels, et en éliminant directement la partie de l'image où les trous ont une largeur supérieure à 4 pixels.
  • Les données acquises par LANDSAT 5 en France ne sont malheureusement pas disponibles sur les serveurs de l'USGS. C'est l'ESA qui dispose de ces données, et qui a bien voulu nous les fournir (Merci encore à Bianca Hoersh et  Riccardo Biasutti de l'ESA, et à la société SERCO qui nous a fait parvenir les données). Le jeu de données que nous vous fournissons ici est en fait un jeu unique, qui actuellement n'est disponible sur aucun autre serveur, même si l'ESA compte en faire une production prochaînement. Ces données nous parviennent au niveau 1G, un niveau de traitement intermédiaire, pour lequel les données n'ont pas été ortho-rectifiées. Nous avons donc dû les ortho-rectifier à Theia, en utilisant l'outil SIGMA du CNES, comme pour SPOT4 (Take5).

Cette  double approche différente pour les deux capteurs a des inconvénients. La base de données de référence géométrique de LANDSAT semble avoir quelques erreurs en France, et les données obtenues par l'USGS sur la région Toulousaine par exemple sont souvent décalées d'un pixel. Ce n'est pas le cas pour les données LANDSAT 5 ortho-rectifiées par THEIA, il peut donc parfois y avoir un pixel d'écart d'une date à l'autre selon qu'elle vient de LANDSAT 5 ou LANDSAT 7. Par ailleurs, les données de l'ESA présentent des défauts, comme par exemple la présence de points brillants colorés par-ci par là, de manière aléatoire.

 

 

Reprojection en Lambert 93

Les données de l'USGS sont fournies en projection UTM. Cette projection utilise trois fuseaux différents au dessus de la France, qui se divise donc en 3 zones différentes, l'Ouest de la France, le Centre et l'Est. Comme les données de deux fuseaux différents ne se superposent pas directement, nous avons donc décidé de reprojeter les données LANDSAT 7 en Lambert 93, qui est la projection officielle pour la France.Les données LANDSAT5 ont elles aussi, bien sûr, été directement projetées en Lambert 93.

Découpage des produits en tuiles

Nous avons pris le parti de suivre la même logique que celle utilisée par Sentinel-2, et de découper les données en tuiles de 110*110 km décalées de 100 km les unes par rapport aux autres. La tuile 1x1 se trouve au sud-ouest de la France, lorsqu'on va vers l'est (vers la droite), on incrémente la première coordonnée de D0001 à D0010 (D pour Droite), lorsqu'on va vers le Nord (vers le haut), on incrémente la seconde coordonnée, de H0001 à H0010 (H pour Haut). La tuile de Toulouse s'appelle donc D0005H0002 Le découpage en tuiles est visible sur l'image ci-jointe.

 

Pour chacune des tuiles, nous fournissons l'ensemble des dates pour lesquelles une image LANDSAT (5 ou 7) a une intersection non nulle avec la tuile. Quelques dates peuvent manquer, pour plusieurs raisons, liées en général à la couverture nuageuse :

  • l'image n'a pas été acquise par LANDSAT (quand les prévisions météo indiquent un temps très couvert, les images ne sont pas acquises).
  • l'image a été acquise mais s'est avérée trop nuageuse pour être traitée au niveau 1T par l'USGS (L7) ou par le CNES (L5)
  • l'image est trop nuageuse pour être traitée par la chaîne de Niveau 2A

 

Traitement de Niveau 2A (correction atmosphériques et détection des nuages)

Il est important de noter que notre chaîne ne traite pas les bandes thermiques pour l'instant. Une correction est à l'étude, mais celle-ci ne sera pas opérationnelle avant un ou deux ans.

La méthode utilisée pour les bandes visible, proche et moyen infra rouge est quasiment la même que pour SPOT4(Take5). Le traitement a été effectué avec la même chaîne, le prototype de MACCS, développé et maintenu au CESBIO par Mireille Huc. Notre méthode de base est une méthode multi-temporelle à la fois pour la détection des nuages, des ombres de nuages, de l'eau et pour l'estimation de l'épaisseur optique des aérosols.

 

Cependant, grâce à la richesse spectrale de LANDSAT, nous avons pu enrichir nos méthodes par rapport à la version utilisée pour SPOT4 (Take5) : grâce à la bande bleue, nous pouvons utiliser un critère complémentaire pour détecter les aérosols, grâce à la relation quasi constante observée entre les réflectances des bandes bleues et rouges au dessus de la végétation. Le gain de précision dû à la présence de cette bande permet de compenser la perte de précision de la méthode multi-temporelle due à la faible répétitivité des LANDSAT. Enfin, contrairement à LANDSAT 8, la bande 1.38 n'existe pas sur LANDSAT 5 et 7, la détection des nuages hauts n'est donc pas évidente.

Images de la tuile obtenue sur la côte atlantique, en provenance de deux traces différentes de LANDSAT (à gauche au milieu, les traces 201 et 200 ). Les angles de visée sont légèrement différents sur chacune des traces (visée depuis l'ouest sur l'image de gauche visée depuis l'est sur l'image de droite). A droite une image LANDSAT 7 de la trace 201, réduite à la portion centrale.

 

Pour augmenter la précision de la détection des nuages, nous avons décidé d'utiliser les données issues de traces adjacentes de LANDSAT (5 ou 7) dans les séries temporelles de niveau 2A. Ces données ne sont pas acquises exactement sous le même angle (+/- 7 degrés), mais la différence d'angle est suffisamment petite pour qu'il y ait un vrai gain de précision sur les zones d'intersection entre traces. En raison de cette approximation, quelques artefacts peuvent être observés.

 

Format des données

Le format des produits de Niveau 2A de LANDSAT 5 et 7 est le même que celui des données SPOT4 (Take5).

 

Défauts connus :

Exemple du phénomène de rémanence observé sur les données de LANDSAT 5 à proximité d’un gros nuage. Ce défaut électronique se traduit ici par une alternance de bandes sombres et claires au dessus de la végétation.

Voici une petite liste des défauts connus des données LANDSAT 5 ou 7 :

 

  • la donnée de référence pour l'ortho-rectification à l'USGS peut présenter des biais supérieurs à 30 mètres (38 mètres à Toulouse). Les données LANDSAT 7 peuvent donc parfois être légèrement décalées par rapport aux données LANDSAT 5 ortho-rectifiées au CNES.
  • L'instrument TM sur LANDSAT 5 présente un phénomène de rémanence qui se traduit par des bandes plus ou moins sombres, perpendiculaires à la trace du satellite, a proximité de zones contrastées, comme par exemple près d'une importante masse nuageuse.
  • Exemple de parasites pouvant apparaître sur les images LANDSAT 5, sous la forme de points colorés.

     

  • Les produits LANDSAT 5 que l'ESA nous a fournis voilà deux ans présentent parfois des "parasites" sous la forme de points colorés apparaissant de manière aléatoire sur l'une ou l'autre bande.
  • Dans les produits LANDSAT, la valeur qui indique si un pixel est en dehors de l'image est égale à 0. Or cette valeur peut aussi se retrouver à l'intérieur des données. Nous avons essayé de séparer les vraies valeurs hors image des valeurs normales dans l'image mais nous n'y arrivons pas toujours, et dans ce cas, toutes les valeurs de toutes les bandes sont mise à la valeur nodata, qui chez nous vaut -10 000 justement pour éviter ces problèmes.

 

Le traitement des données acquises par LANDSAT8 sur la France en 2013 est terminé.

=>

Ça torche* ! J'annonçais le démarrage du traitement dans un précédent article: il aura fallu moins de 15 jours pour traiter l'ensemble des données acquises par LANDSAT 8 en 2013 sur la France métropolitaine (y compris la corse). La période traitée s'étend d'avril 2013 à fin 2013. Les traitements ont été effectués par l'équipe MUSCATE, pour le compte du pôle THEIA, en utilisant les moyens du centre informatique du CNES.

 

Il suffira de quelques jours de plus pour mettre les données en ligne sur le site du pôle et vérifier que les données peuvent être distribuées. Finalement, le plus long dans ce traitement est le téléchargement des produits de Niveau 1T (l'équivalent du Niveau 1C dans la nomenclature de THEIA) sur le site earthexplorer de l'USGS.

 

Les données obtenues sont de bonne qualité, comme le montrent les exemples de quicklooks de niveau 2A, à droite, tirés de la série temporelle obtenue sur la tuile de la région parisienne. Comme d'habitude, les nuages détectés sont entourés en vert, les ombres en noir, la neige en rose et l'eau en bleu. Quelques nuages sont parfois oubliés par notre méthode multi-temporelle de détection nuageuse, lorsque la répétitivité des données est insuffisante, comme, sur l'image ci contre, lors de ce printemps 2013 extrêmement nuageux. Les images suivantes de la série ne présentent pas ce genre d'erreurs.

 

Cet article décrit brièvement les principales étapes du traitement qui ont permis d'obtenir ce résultat.

 

Point de départ : Niveau 1T

Nous téléchargeons les données depuis le site earthexplorer, en utilisant une version améliorée du script de téléchargement décrit ici. Ces données sont orthorectifiées par l'USGS, à partir d'une base de données mondiale de points d'appuis.

 

Les spécifications de localisation pour les données LANDSAT de l'USGS sont de 50 mètres. Nous avons constaté, sur la région de Toulouse, des erreurs de localisation égales à 1,5 pixels, mais d'autres régions sont mieux loties. L'USGS a confirmé les erreurs que nous observons du côté de Toulouse (38m vers le sud) et promet de les corriger. Notre traitement ne corrige pas ces erreurs qui restent modérées, et pour obtenir une performance améliorée, il faudra attendre le retraitement de ces données par l'USGS, ou rattraper le décalage éventuel par vous mêmes.

 

En ce qui concerne l'étalonnage absolu du satellite LANDSAT 8, nous utilisons celui recommandé par la NASA (et fourni avec les produits LANDSAT 8).

 

Reprojection en Lambert 93


Les données de l'USGS sont fournies en projection UTM. Cette projection utilise trois fuseaux différents au dessus de la France, qui se divise donc en 3 zones différentes, l'Ouest de la France, le Centre et l'Est. Comme les données de deux fuseaux différents ne se superposent pas directement, nous avons donc décidé de reprojeter les données en Lambert 93, qui est la projection officielle pour la France.

Découpage des produits en tuiles

Nous avons pris le parti de suivre la même logique que celle utilisée par Sentinel-2, et de découper les données en tuiles de 110*110 km décalées de 100 km les unes par rapport aux autres. La tuile 1x1 se trouve au sud-ouest de la France, lorsqu'on va vers l'est (vers la droite), on incrémente la première coordonnée de D0001 à D0010 (D pour Droite), lorsqu'on va vers le Nord (vers le haut), on incrémente la seconde coordonnée, de H0001 à H0010 (H pour Haut). La tuile de Toulouse s'appelle donc D0005H0002  Le découpage en tuiles est visible sur l'image ci-jointe.

 

Pour la Corse, nous avons défini une autre grille de tuiles, composée de deux tuiles.

 

Pour chacune des tuiles, nous fournissons l'ensemble des dates pour lesquelles une image LANDSAT8 a une intersection non nulle avec la tuile. Quelques dates peuvent manquer, pour plusieurs raisons, liées en général à la couverture nuageuse :

  • l'image n'a pas été acquise par LANDSAT 8 (quand les prévisions météo indiquent un temps très couvert, les images ne sont pas acquises).
  • l'image a été acquise mais s'est avérée trop nuageuse pour être traitée au niveau 1T par l'USGS
  • l'image est trop nuageuse pour être traitée par la chaîne de Niveau 2A

 

Traitement de Niveau 2A (correction atmosphériques et détection des nuages)

Il est important de noter que notre chaîne ne traite pas les bandes thermiques pour l'instant. Une correction est à l'étude, mais celle-ci ne sera pas opérationnelle avant un ou deux ans.

 

La méthode utilisée pour les bandes visible, proche et moyen infra rouge est quasiment la même que pour SPOT4(Take5). Le traitement a été effectué avec la même chaîne, le prototype de MACCS, développé et maintenu au CESBIO par Mireille Huc. Notre méthode de base est une méthode multi-temporelle à la fois pour la détection des nuages, des ombres de nuages, de l'eau et pour l'estimation de l'épaisseur optique des aérosols.

 

Cependant, grâce à la richesse spectrale de LANDSAT, nous avons pu enrichir nos méthodes par rapport à la version utilisée pour SPOT4 (Take5) :  la bande 1.38µm de LANDSAT8 permet de détecter les nuages hauts. Et grâce à la bande bleue, nous pouvons utiliser un critère complémentaire pour détecter les aérosols, grâce à la relation quasi constante observée entre les réflectances des bandes bleues et rouges au dessus de la végétation. Le gain de précision dû à la présence de cette bande permet de compenser la perte de précision de la méthode multi-temporelle due à la faible répétitivité de LANDSAT8.

Images de la tuile obtenue sur la région parisienne, en provenance de trois traces différentes de LANDSAT (de gauche à droite, les traces 200, 199 et 198). Les angles de visée sont légèrement différents sur chacune des traces (visée depuis l'ouest sur l'image de gauche, visée au nadir au centre, visée depuis l'est sur l'image de droite).

 

Pour augmenter la précision de la détection des nuages, nous avons décidé d'utiliser les données issues de traces adjacentes de LANDSAT8 dans les séries temporelles de niveau 2A. Ces données ne sont pas acquises exactement sous le même angle (+/- 7 degrés), mais la différence d'angle est suffisamment petite pour qu'il y ait un vrai gain de précision sur les zones d'intersection entre traces. En raison de cette approximation, quelques artefacts peuvent être observés.

 

Pour gagner davantage de répétitivité, nous pourrions aussi entrelacer des données LANDSAT 7 et LANDSAT 8 dans des séries temporelles communes, mais ceci ne sera implémenté que dans une prochaine version.

 

Format des données

Le format des produits de Niveau 2A de LANDSAT 8 est le même que celui des données SPOT4 (Take5), à quelques détails près que je fournirai dans une nouvelle page, dès que j'ai un moment...

 

* Ca va vite, oui, c'est comme ça qu'on parle chez les anciens jeunes du CNES...

 

 

L'USGS distribue des produits LANDSAT corrigés des effets atmosphériques

=>

L'USGS et de la NASA viennent de mettre en place la production et la distribution de produits LANDSAT de Niveau 2A (exprimés en réflectance de surface, corrigés des effets atmosphériques, et accompagnés d'un masque des nuages et de leurs ombres, et de masques de neige et d'eau). Pour le moment, les données thermiques sont exprimées en température de brillance au sommet de l'atmosphère. Ce produit est déjà disponible pour LANDSAT 5 et LANDSAT 7 et la NASA travaille actuellement à l'adaptation de ses chaînes à LANDSAT -8.

 

Depuis la semaine dernière, ces données sont disponibles sur le site earthexplorer, il faut chercher un peu pour les trouver: cliquer sur l'onglet "data sets", et choisir "Landsat CDR". Vous pouvez donc commander vos données, qui sont prêtes dès le lendemain (sauf peut-être si vous en commandez des centaines). Il est seulement dommage que l'USGS ne dispose pas d'une grande partie des données LANDSAT historiques (Landsat 4 et 5) acquises dans les stations de l'ESA. Un transfert de ces données est prévu, mais il n'a pas encore eu lieu (nous l'attendons avec impatience).

 

Comparaison des pourcentages de nuages détectés par MACCS (=MTCD) et LEDAPS sur des scènes LANDSAT aux Etats-Unis. L'accord est très bon dans la plupart des cas, même si on note dans quelques cas rares une sous détection de nuages par LEDAPS. L'un des points les plus éloignés de l'axe est illustré ci-dessous.

Les produits de réflectance de surface LANDSAT ont été obtenus avec la chaîne LEDAPS de [Vermote et Masek 2006]. La chaîne LEDAPS utilise la méthode DDV pour estimer l'épaisseur optique des aérosols, et une batterie de tests portant sur une seule date pour détecter les nuages. Nous avions fait l'an dernier une comparaison avec nos méthodes (MACCS), et les résultats étaient assez proches, même si la méthode mono date ne peut pas tout à fait rivaliser avec la précision des méthodes multi-temporelles (cf figures ci-dessous). LEDAPS est également un peu moins bon pour la détection des ombres, encore plus difficiles à détecter que les nuages. Mais au total, l'existence de ce produit va certainement simplifier le travail de beaucoup d'utilisateurs.

 

Le produit LANDSAT Surface Reflectance est pour le moment le seul produit de niveau 2A à haute résolution existant ou prévu, avec une couverture mondiale.  Cependant, le pôle THEIA a produit des données de niveau 2A à partir des données de l'expérience SPOT4 (Take5) (disponibles ici) et à partir  des données acquises par LANDSAT 5, 7 ou 8 sur la France depuis 2009 (disponibles là).

Selon les plans actuels, l'ESA ne fournira pas de produit 2A pour Sentinel-2. Il est dores et déjà prévu que THEIA fasse tourner la chaîne MACCS pour fournir des données de niveau 2A pour Sentinel-2 sur toute la France, et très probablement sur quelques autres pays ou régions à définir, couvrant au total une surface équivalente à 10 fois la France. L'application de MACCS au monde entier n'est pas encore décidée, même si THEIA se positionne pour le faire.

 

Comparaison des masques de nuages MACCS (gauche) et LEDAPS (Droite), dans un cas difficile avec des nuages très fins, mieux détectés (entourés en rouge) par MACCS. Dans les cas standards, les masques des deux méthodes sont plus proches.

 

Reference : Masek, J. G., Vermote, E. F., Saleous, N. E., Wolfe, R., Hall, F. G., Huemmrich, K. F., ... & Lim, T. K. (2006). A Landsat surface reflectance dataset for North America, 1990-2000. Geoscience and Remote Sensing Letters, IEEE, 3(1), 68-72.

SPOT4 (Take5) : statistiques de couverture nuageuse sur un mois

=>

Nous avons reçu d'Astrium Geo toutes les images de niveau 1A de l'expérience SPOT4(Take5), acquises entre le 31/01/2013 et le 10/03/2013, qui ne sont pas entièrement couvertes de nuages. Nous ortho-rectifions ces images pour obtenir des produits de Niveau 1C. Il arrive cependant que la couverture nuageuse soit trop importante pour pouvoir fabriquer un produit de Niveau 1C

Toutes ces productions nous permettent de calculer des statistiques sur la proportion d'images nuageuses.

 

Proportion d'images produites au niveau 1A et au niveau 1C
Organisme Images acquises N1A produits N1C produits N1A (%) N1C (%)
CNES 324 184 157 56 % 49 %
JRC 54 29 27 53 % 50 %
ESA 84 41 34 49 % 40 %
NASA 48 26 26 54% 54%
CCRS 6 1 1 17 % 17 %

 

En moyenne, la moitié des images acquises sont inutilisables car entièrement nuageuses ou presque, et l'autre moitié des images (60*60 km2) contient assez de pixels clairs (au moins 15%) pour que l'ortho-rectification soit possible. Lorsque nous aurons produit les masques de nuages au Niveau 2A, nous pourrons en déduire, pour chaque pixel, le nombre d'observations claires par mois.
Nous n'en sommes pas là, mais nous avons constaté visuellement sur les acquisitions en Europe ou en Afrique du Nord,  que la totalité des pixels de ces sites ont été vus sans nuages au moins une fois en février, à l'exception de 3 sites : CAlsace, EBelgium, CTunisie (!). Pour le site Alsacien, il a fallu attendre le 4 mars, et pour le site Tunisien, le 10 mars. Enfin, seule une petite partie du site Belge a été vue, le 8 mars.

 

Nombre d'images acquises en février en fonction de leur taux de couverture nuageuse
Site nuages<10% 10%<nuages<50% 50%<nuages<80% Nuages>80%
Alpes 2 0 2 2
Alsace 0 0 0 6
Ardèche 1 1 0 4
Loire 1 0 3 2
Bretagne 1 0 1 4
Languedoc 0 2 2 2
Provence 2 3 1 0
SudmipyO 1 1 1 3
SudmipyE 1 1 1 3
VersaillesE 2 0 1 3

 

Le mois de février 2013 a été très nuageux en France, mais malgré cela, la répétitivité de 5 jours a permis d'observer la quasi totalité des sites au moins une fois en un mois, parfois davantage, mais pas toujours. Si SPOT4 n'était passé qu'une fois sur deux, seuls les sites Provence, Alpes et Versailles auraient été observés entièrement à coup sûr.

 

Ce résultat montre qu'il est absolument nécessaire de lancer les deux satellites Sentinel-2 à des dates très proches, afin de pouvoir assurer une utilisation opérationnelle et fiable des données. Il ne faudrait pas que les récentes réductions du budget de l'Union Européenne consacré à GMES/Copernicus conduisent à retarder le lancement du second satellite, réduisant la répétitivité de Sentinel-2 à seulement 10 jours pendant de longues années.

Premiers masques de nuages sur SPOT4(Take5)

=>

Maintenant que vous savez presque tout sur nos méthodes multi-temporelles de détection des nuages et de leurs ombres, nous pouvons vous présenter nos premiers résultats obtenus par Mireille Huc avec SPOT4 (Take5). Nous avons dû pour cela attendre d'avoir suffisamment de données pour initialiser correctement cette méthode multi-temporelle. Ces masques ne sont pas (encore) parfaits, mais ils sont déjà tout à fait présentables.

 

Nous présentons ci-dessous une série de 6 images de niveau 1C, exprimées en réflectances au sommet de l'atmosphère, avec superposition des masques de nuages, des ombres de nuages, et aussi des masques d'eau et de neige. Les nuages sont entourés en vert clair, leurs ombres sont entourées de noir, l'eau et la neige sont respectivement entourées de bleu et de rose. Cliquez deux fois sur les images pour voir les masques en détail. Ces images ont été acquises en Provence, chacune d'entre elles est le résultat de la fusion de 4 images SPOT4 de 60*60 km2, acquises simultanément, et ortho-rectifiées.

 

Le résultat est très honorable, la plupart des nuages, y compris de très fins nuages, sont détectés, et les grandes plages d'ombres ont également été repérées. Les fausses détections de nuages et d'ombres sont assez rares, et finalement, le masque de nuages est sévère mais juste. Le masque d'eau est très précis et quasiment sans fausse détection. Le masque de neige présente quelques manques, là où la couverture de neige reste partielle.

 

Cependant, nous ne doutons pas que votre regard, de plus en plus expert, saura trouver des nuages très fins non détectés dans le coin Nord est de la première image, quelques fausses détections de nuages sur la troisième, ainsi que dans cette même image, une partie de la neige, quand la couverture de neige est partielle, qui reste classée comme nuage au lieu de d'être classée comme neige. Sur la cinquième image, qui a une charge d'aérosols un peu plus forte, quelques parcelles de sols nus au centre de l'image sont classées nuageuses. C'est dû à une augmentation de la réflectance en raison d'une probable baisse de l'humidité des sols après de fortes pluies. Le seuil de détection des nuages au-dessus de l'eau pourrait également être relevé, certains étangs de Camargue sont déclarés nuageux à tort. Mais en pourcentage, ces petites erreurs sont bien faibles comparées à la qualité des détections et nous affinerons tous ces seuils quand nous disposerons d'un plus grand nombre d'images de test.

Sur la quatrième date, seules deux images (60*60 km²) sur les quatre sont disponibles car la couverture nuageuse sur la partie ouest du site était trop forte pour que l'ortho-rectification puisse fonctionner. En fait, on pourrait dire que l'étape d'ortho-rectification constitue notre premier filtre de nuages...

 

Les nuages sont entourés en vert clair, leurs ombres sont entourées de noir, l'eau et la neige sont respectivement entourées de bleu et de rose. Cliquez deux fois sur les images pour voir les masques en détail à 40m de résolution.

La détection des nuages, comment ça marche ?

=>

Les nuages sont blancs, brillants, plutôt hauts dans le ciel. Leur température est en général plus basse que celle de la surface. Ils se déplacent et changent d'aspect, il n'y a donc jamais le même nuage au dessus du même endroit. Les nuages produisent des ombres sur le sol.

Toutes ces propriétés peuvent être utilisées pour détecter automatiquement les nuages.

 

Détection classique

Lorsqu'on ne dispose pas d'une série temporelle, la technique de base consiste à seuiller l'image d'une des bandes spectrales dans les courtes longueurs d'onde, de préférence dans le bleu. Les pixels dont la réflectance dépasse le seuil sont déclarés nuageux. Cette méthode n'est cependant pas très subtile et souvent ne parvient pas à détecter les nuages fins, elle fait aussi de nombreuses fausses détections. On peut aussi vérifier que le nuage est blanc, mais l'apport de cette vérification n'est pas énorme car les nuages fins ne sont pas parfaitement blancs, alors que de nombreux pixels brillants sont blancs, dans les villes par exemple.

 

Détection multi-temporelle

Les nuages détectés par la méthode multi-temporelle sur cette image Formosat-2 sont entourés de blanc. Noter que certaines parcelles agricoles sont plus brillantes que certains nuages. Cliquer sur l'image pour voir l'animation.

Lorsqu'on dispose de séries temporelles d'images de satellites à acquisition systématique, obtenues sous un angle à peu près constant, comme c'est le cas pour SPOT4(Take5),  Venµs, LANDSAT, Sentinel-2, on peut utiliser des critères temporels pour détecter les nuages.

 

La réflectance des surfaces terrestres évolue en général lentement, mais lorsqu'un nuage apparaît, la réflectance augmente brusquement. En comparant donc l'image à traiter avec une image précédente, on peut classer comme nuages les pixels pour lesquels la réflectance dans le bleu a notablement augmenté. On peut aussi vérifier que les pixels ainsi détectés ont un spectre plus blanc que dans l'image précédente. Cette méthode améliore très fortement la discrimination entre pixels nuageux et pixels clairs.

 

Cependant, cette méthode de détection présente un coût, car elle oblige à traiter les données dans l'ordre chronologique et empêche un traitement indépendant par image. Elle complique donc le centre de traitement et nuit également à la parallélisation des traitements. C'est cependant cette méthode que nous mettons en place dans MUSCATE, pour traiter les données de SPOT4(Take5), LANDSAT, Venµs et Sentinel-2.

 

Pour en savoir plus sur cette méthode, utilisée dans la chaîne de niveau 2A MACCS :

Hagolle, O., Huc, M.,  Villa Pascual D., & Dedieu, G. (2010). A multi-temporal method for cloud detection, applied to FORMOSAT-2, VENµS, LANDSAT and SENTINEL-2 images. Remote Sensing of Environment, 114(8), 1747-1755.

 

Détection des nuages hauts dans une bande d'absorption

Les traces d'avion seront beaucoup plus faciles à détecter avec la nouvelle bande 1380nm présente sur Landsat 8 et Sentinel-2.

Sur Sentinel-2 et sur Landsat 8, une nouvelle bande spectrale sera disponible, avec une longueur d'onde de 1380 nm. Cette bande spectrale correspond à une bande d'absorption totale de la vapeur d'eau. A cette longueur d'onde, le rayonnement solaire est totalement absorbé dans son aller retour entre le sommet de l'atmosphère et la surface. En revanche, le rayonnement réfléchi par un nuage à plus de 3000 mètres d'altitude n'est pas totalement absorbé car la vapeur d'eau est majoritairement située dans les basses couches de l'atmosphère. Cette bande va donc nous permettre de détecter les nuages élevés, même s'ils sont fins. Les cirrus sont en général très difficiles à détecter, ce n'est plus le cas avec cette méthode, que avons mise en place dans MACCS pour ces deux satellites.

 

Détection par la température

Les nuages hauts sont en général plus froids que la surface, la présence d'une bande thermique sur les satellites Landsat permet d'utiliser ce critère de détection. Cependant, les variations thermiques de la surface sont importantes d'un jour à l'autre, il est donc difficile de détecter les nuages bas, dont la température est proche de celle de la surface. Nous n'avons pas retenu cette méthode qui ne s'applique qu'à LANDSAT.

 

Détection stéréoscopique

Le satellite Venµs possède deux bandes identiques qui observent les scènes sous deux angles différents. Cette bande permet donc de voir le relief, avec une précision modérée, mais suffisante pour distinguer les nuages de la surface terrestre. Nous utiliserons cette méthode pour Venµs, en complément de la méthode multi-temporelle. Elle devrait permettre de détecter les nuages situés à plus de 500 mètres d'altitude, et surtout, la connaissance de cette altitude facilitera la détection des ombres.

 

Détection des ombres

La détection des ombres est expliquée ici.