Let's ask ESA to improve Sentinel-2 multi-temporal registration

Update from May 4th 2018 : ESA has started planning for a global reprocessing in 2019

 

The information gathered by Sentinel-2 system on Sentinel-2 orbit, attitude, date accuracy, and viewing directions of all detectors allows an excellent accuracy for the geolocation of all Sentinel-2 pixels. The overall geo-location accuracy is better than 11 or 12 meter, for about 97 % of the cases, which is about the size of one Sentinel-2 pixel. Such a performance is more or less equivalent to that obtained for Pleiades, but Pleiades has a resolution of 0.7m. It is therefore really an achievement, which is  to be credited to ESA, to the satellite and instrument manufacturer, and to the image quality teams (including my CNES colleagues).

 

But even if it is excellent, it is not enough. The standard need for multi-temporal registration errors is 0.3 pixels, and the current performances show that for more than 50% of the cases, the performance does not meet that requirement.

From Sentinel-2 data quality report

 

 

For many  users, I guess, these figures do not mean much, and it is not easy to figure out their impact on real life applications. The animation below (made by the twitter star Simon Gascoin) makes that much more concrete :

Time series of Sentinel-2 images of the construction of Nour solar power station near Ouarzazate in Morocco. (made by Simon Gascoin using Sentinelhub)

 

Continue reading

LANDSAT 5 & 7 acquired above France since 2009 soon released by THEIA

=>

As for LANDSAT 8 a few weeks ago, we just produced the level 2A products for the LANDSAT 5 et LANDSAT 7 data acquired above France from 2009 to 2011. This data set will be released in a few days, when its transfer to the distribution server has ended. The MUSCATE team took charge of the processing for the THEIA Land data center, using CNES computing center. The data will be available on the following site :

http://spirit.cnes.fr/resto/Landsat/

Example of a Level 2A product from LANDSAT 5 over the Atlantic coast of France. The clouds are circled in green, the water mask in blue, and the snow in pink. Sometimes, the water turbidity provides a signal similar to snow in the infra-red, which turns the now flag on...

The processing methods and the data format are similar to the LANDSAT 8 data set described here. However there are also a few differences which are detailed below :

 

Starting point.

The starting point is not the same for LANDSAT 5 and LANDSAT 7 :

  • For LANDSAT 7, as for LANDSAT 8, we start from Level 1T products provided by USGS. These products have a huge defect, with black stripes appearing away from the center axis of the image. These stripes are due to the breakdown of a mirror in 2003. The origin of this defect is described here. In our case, we decided to use only the central part of the images, doing a slight interpolation when the stripes are thin, and removing the data when the lack stripes are too large.
  • LANDSAT 5 data acquired above France are not yet available at USGS. ESA owns these data and agreed to provide them  (Thanks to Bianca Hoersh and Riccardo Biasutti from ESA, and to the SERCO company who processed the data). As a result, this data set is a unique data set, only available online here and nowhere else ! These data are provided at level 1G, for which the data have not yet been ortho-rectified.  We had to ortho-rectify them at Theia, using CNES's SIGMA tool, as for SPOT4 (Take5).
  • Having a different approach for both sensors has a drawback. The grounc control point data base used at USGS seems to have some errors in France, and for instance, the location errors near Toulouse have a bias of about one pixel southward. It is not the case for the LANDSAT5 data ortho-rectified by THEIA, and therefore, one may observe registration errors in a time series involving LANDSAT 5 and LANDSAT 7 images. ESA's data also have some defects, which are presented at the end of this post.
Resampling to Lambert'93 projection

Level 1T data are provided with the UTM projection. This projections uses three different zones over France, for which the registration of data is not direct. We decided to resample the data on a Lambert'93 projection, which is the official French projection. Of course, the LANDSAT5 have been directly projected in Lambert 93.

Tiling of products

We chose to tile the data in 110*110 km tile s spaced with a 100 km interval, as it will be done for Sentinel-2. The (1,1) tile is in the SouthWest corner of France. The tile of Toulouse is the 5th to the West, and the 2nd to the North. It is named D0005H0002 (D for "droite", H for "Haut"). For Corsica, a different tiling made of 2 tiles was defined.

 

For each tile, we provide the whole set of dates for which a LANDSAT 5 or 7 image intersects the tile. A few date may be missing, for several reasons, in general related to the cloud cover :

  • The image was not acquired by LANDSAT 5 or 7 (when a 100% cloud cover is forecast, the image is not acquired).
  • The image was acquired but not processed to L1T by LANDSAT7 at USGS, or to L1C at CNES, because the cloud cover prevented from using a sufficient number of ground control points
  • The Level 2A processing rejects images with more than 90% of cloud cover.

 

Level 2A processing (atmospheric correction and cloud screening)

First of all, we would like to outline that our processor does not process the themal bands of LANDSAT

 

For the visible, near and short wave infrared bands, we use the same method as for SPOT4(Take5). It involves also the MACCS processor, developed and maintained by Mireille Huc at CESBIO. It is based on multi-temporal methods for cloud screening, cloud shadow detection, water detection as well as for the estimation of the aerosol optical thickness.

 

However, thanks to LANDSAT spectral bands, our processing was enriched compared to SPOT4 (Take5). Thanks to the blue band, we have an additional criterion to detect the aerosols, thanks to the quasi constant relationship between the surface reflectances in the blue and in the red above vegetation. The precision gain due to this criterion compensates for the precision loss due the lower repetitivity of  LANDSAT images. Finally, as there is no 1.38 µm band on LANDSAT 5 and 7, the detection of high clouds is much less easy than for LANDSAT 8.

 

Images of one of the Atlantic Coast tiles, coming from different LANDSAT Paths (left and middle, tracks 201 and 200). The viewing angles are slightly different as the left image was observed from the West and the rmiddle image from the East. On the right, a Landsat7 image from track 201 reduced to its central part.

To increase repetitivity of observation which is essential in our multi-temporal method, we decided to use time series that merge LANDSAT 5 and LANDSAT 7 data as well as LANDSAT 5 data coming from adjacent tracks. As these data are not observed under the same viewing angle (+/- 7 degrees), but the angle difference is small enough to increase precision on the overlap zones, even if it may cause the appearance of artefacts in the AOT images.

 

Data Format

For LANDSAT 5 and 7, we used the same format as for SPOT4 (Take5).

 

Known issues :

Here is a little list of known defects for THEIA's LANDSAT 5 and 7 L2A products :

Example of LANDSATV5 "afterglow" issue near a large cloud. This electronic issue takes the appearance of whiter stripes above vegetation.

- reference data for ortho-rectification at USGS may be biased by more than 30 m (38 m in Toulouse). The Landsat 8 data could be misregistered with the LANDSAT 5 data ortho-rectified at CNES using a national geographical reference.

- LANDSAT 5 TM instrument electronics have an "afterglow" issue, that causes the appearance of whiter stripes perpendicularly to the satellite track near very bright zones such as a large cloud.

- ESA's LANDSAT 5 products have some random bright spots that appear as colored spots in color composites.

Bright color spots observed on some ESA LANDSAT 5 images.

- in LANDSAT products, the "nodata" value that tells if a pixel is outside the image is 0, which is also a value observed within the image. Sometimes pixels may be identified as nodata when the are in fact within the image. It happens mainly over sea, where the medium infrared reflectance is often equal to zero. In this case, all the bands have the nodata value which, in our products is -10 000, to avoid the same difficulties for subsequent users.

Les données LANDSAT 5 et 7 acquises sur la France de 2009 à 2011 bientôt disponibles au niveau 2A.

=>

Comme pour LANDSAT 8, il y a quelques semaines, nous venons de produire les données de LANDSAT 5 et LANDSAT 7 acquises au dessus de la France métropolitaine (sans la Corse) de 2009 à 2011. Les données seront mises en ligne d'ici quelques jours, le temps de les transférer sur le serveur.  Les traitements ont été effectués par l'équipe MUSCATE, pour le compte du pôle THEIA, en utilisant les moyens du centre informatique du CNES. Les données seront disponibles sur le site :

http://spirit.cnes.fr/resto/Landsat/

Exemple de produit de Niveau 2A obtenu avec LANDSAT5 sur la côte atlantique. Les nuages sont entourés en vert, le masque d'eau est entouré en bleu, la neige en rose. De temps en temps, la forte turbidité des eaux charentaises fait basculer les seuils de neige, et certains zones particulièrement turbides peuvent être identifiées dans le masque de neige...

Le traitement, le format et la présentation de ces données ont beaucoup de points communs avec ceux de Landsat 8, décrits ici. Cependant, ils s'en écartent par plusieurs aspects, qui font l'objet de cet article.

Point de départ.

Le point de départ est différent pour les satellites LANDSAT 7 et LANDSAT 5.

  • Pour LANDSAT 7, comme pour LANDSAT 8, nous démarrons des produits de niveau 1T fournis par l'USGS. Ces produits présentent cependant un gros défaut, avec la présence de stries dès que l'on s'écarte du centre de l'image. Ces stries sont dues à la panne d'un miroir sur ce satellite depuis 2013. Se reporter ici pour une description du problème. Dans notre cas, nous avons décidé de n'utiliser que la partie centrale de l'image, en interpolant un peu les données manquantes, tant que les trous sont inférieurs à 4 pixels, et en éliminant directement la partie de l'image où les trous ont une largeur supérieure à 4 pixels.
  • Les données acquises par LANDSAT 5 en France ne sont malheureusement pas disponibles sur les serveurs de l'USGS. C'est l'ESA qui dispose de ces données, et qui a bien voulu nous les fournir (Merci encore à Bianca Hoersh et  Riccardo Biasutti de l'ESA, et à la société SERCO qui nous a fait parvenir les données). Le jeu de données que nous vous fournissons ici est en fait un jeu unique, qui actuellement n'est disponible sur aucun autre serveur, même si l'ESA compte en faire une production prochaînement. Ces données nous parviennent au niveau 1G, un niveau de traitement intermédiaire, pour lequel les données n'ont pas été ortho-rectifiées. Nous avons donc dû les ortho-rectifier à Theia, en utilisant l'outil SIGMA du CNES, comme pour SPOT4 (Take5).

Cette  double approche différente pour les deux capteurs a des inconvénients. La base de données de référence géométrique de LANDSAT semble avoir quelques erreurs en France, et les données obtenues par l'USGS sur la région Toulousaine par exemple sont souvent décalées d'un pixel. Ce n'est pas le cas pour les données LANDSAT 5 ortho-rectifiées par THEIA, il peut donc parfois y avoir un pixel d'écart d'une date à l'autre selon qu'elle vient de LANDSAT 5 ou LANDSAT 7. Par ailleurs, les données de l'ESA présentent des défauts, comme par exemple la présence de points brillants colorés par-ci par là, de manière aléatoire.

 

 

Reprojection en Lambert 93

Les données de l'USGS sont fournies en projection UTM. Cette projection utilise trois fuseaux différents au dessus de la France, qui se divise donc en 3 zones différentes, l'Ouest de la France, le Centre et l'Est. Comme les données de deux fuseaux différents ne se superposent pas directement, nous avons donc décidé de reprojeter les données LANDSAT 7 en Lambert 93, qui est la projection officielle pour la France.Les données LANDSAT5 ont elles aussi, bien sûr, été directement projetées en Lambert 93.

Découpage des produits en tuiles

Nous avons pris le parti de suivre la même logique que celle utilisée par Sentinel-2, et de découper les données en tuiles de 110*110 km décalées de 100 km les unes par rapport aux autres. La tuile 1x1 se trouve au sud-ouest de la France, lorsqu'on va vers l'est (vers la droite), on incrémente la première coordonnée de D0001 à D0010 (D pour Droite), lorsqu'on va vers le Nord (vers le haut), on incrémente la seconde coordonnée, de H0001 à H0010 (H pour Haut). La tuile de Toulouse s'appelle donc D0005H0002 Le découpage en tuiles est visible sur l'image ci-jointe.

 

Pour chacune des tuiles, nous fournissons l'ensemble des dates pour lesquelles une image LANDSAT (5 ou 7) a une intersection non nulle avec la tuile. Quelques dates peuvent manquer, pour plusieurs raisons, liées en général à la couverture nuageuse :

  • l'image n'a pas été acquise par LANDSAT (quand les prévisions météo indiquent un temps très couvert, les images ne sont pas acquises).
  • l'image a été acquise mais s'est avérée trop nuageuse pour être traitée au niveau 1T par l'USGS (L7) ou par le CNES (L5)
  • l'image est trop nuageuse pour être traitée par la chaîne de Niveau 2A

 

Traitement de Niveau 2A (correction atmosphériques et détection des nuages)

Il est important de noter que notre chaîne ne traite pas les bandes thermiques pour l'instant. Une correction est à l'étude, mais celle-ci ne sera pas opérationnelle avant un ou deux ans.

La méthode utilisée pour les bandes visible, proche et moyen infra rouge est quasiment la même que pour SPOT4(Take5). Le traitement a été effectué avec la même chaîne, le prototype de MACCS, développé et maintenu au CESBIO par Mireille Huc. Notre méthode de base est une méthode multi-temporelle à la fois pour la détection des nuages, des ombres de nuages, de l'eau et pour l'estimation de l'épaisseur optique des aérosols.

 

Cependant, grâce à la richesse spectrale de LANDSAT, nous avons pu enrichir nos méthodes par rapport à la version utilisée pour SPOT4 (Take5) : grâce à la bande bleue, nous pouvons utiliser un critère complémentaire pour détecter les aérosols, grâce à la relation quasi constante observée entre les réflectances des bandes bleues et rouges au dessus de la végétation. Le gain de précision dû à la présence de cette bande permet de compenser la perte de précision de la méthode multi-temporelle due à la faible répétitivité des LANDSAT. Enfin, contrairement à LANDSAT 8, la bande 1.38 n'existe pas sur LANDSAT 5 et 7, la détection des nuages hauts n'est donc pas évidente.

Images de la tuile obtenue sur la côte atlantique, en provenance de deux traces différentes de LANDSAT (à gauche au milieu, les traces 201 et 200 ). Les angles de visée sont légèrement différents sur chacune des traces (visée depuis l'ouest sur l'image de gauche visée depuis l'est sur l'image de droite). A droite une image LANDSAT 7 de la trace 201, réduite à la portion centrale.

 

Pour augmenter la précision de la détection des nuages, nous avons décidé d'utiliser les données issues de traces adjacentes de LANDSAT (5 ou 7) dans les séries temporelles de niveau 2A. Ces données ne sont pas acquises exactement sous le même angle (+/- 7 degrés), mais la différence d'angle est suffisamment petite pour qu'il y ait un vrai gain de précision sur les zones d'intersection entre traces. En raison de cette approximation, quelques artefacts peuvent être observés.

 

Format des données

Le format des produits de Niveau 2A de LANDSAT 5 et 7 est le même que celui des données SPOT4 (Take5).

 

Défauts connus :

Exemple du phénomène de rémanence observé sur les données de LANDSAT 5 à proximité d’un gros nuage. Ce défaut électronique se traduit ici par une alternance de bandes sombres et claires au dessus de la végétation.

Voici une petite liste des défauts connus des données LANDSAT 5 ou 7 :

 

  • la donnée de référence pour l'ortho-rectification à l'USGS peut présenter des biais supérieurs à 30 mètres (38 mètres à Toulouse). Les données LANDSAT 7 peuvent donc parfois être légèrement décalées par rapport aux données LANDSAT 5 ortho-rectifiées au CNES.
  • L'instrument TM sur LANDSAT 5 présente un phénomène de rémanence qui se traduit par des bandes plus ou moins sombres, perpendiculaires à la trace du satellite, a proximité de zones contrastées, comme par exemple près d'une importante masse nuageuse.
  • Exemple de parasites pouvant apparaître sur les images LANDSAT 5, sous la forme de points colorés.

     

  • Les produits LANDSAT 5 que l'ESA nous a fournis voilà deux ans présentent parfois des "parasites" sous la forme de points colorés apparaissant de manière aléatoire sur l'une ou l'autre bande.
  • Dans les produits LANDSAT, la valeur qui indique si un pixel est en dehors de l'image est égale à 0. Or cette valeur peut aussi se retrouver à l'intérieur des données. Nous avons essayé de séparer les vraies valeurs hors image des valeurs normales dans l'image mais nous n'y arrivons pas toujours, et dans ce cas, toutes les valeurs de toutes les bandes sont mise à la valeur nodata, qui chez nous vaut -10 000 justement pour éviter ces problèmes.

 

Performances de superposition des produits 1C de SPOT4 (Take5)

=>

Maintenant que tous les produits de l'expérience SPOT4 (take5) ont été traités, nous pouvons en tirer un bilan de l'expérience. Commençons par la géométrie, qui est l'aspect qui nous a causé le plus de difficultés :

  • SPOT4 a une précision de localisation habituelle autour de 400 mètres, mais il a traversé une période d'une quinzaine de jours où la localisation des données pouvait s'écarter de 1500 mètres de la bonne valeur.
  • Nous cherchons à obtenir une précision de superposition proche de 0.3 pixels RMS. Cette performance est difficile à mesurer car l'outil de mesure lui même (corrélation automatique) n'est pas très précis.
  • Nous fournissons donc comme critère l'erreur maximale mesurée pour les 50% meilleurs résultats de superposition ainsi que la même valeur pour les 80% meilleurs résultats. Cette deuxième valeur inclut probablement des mesures peu précises.

 

A titre d'exemple, voici les résultats pour 3 sites :

  • Le site CMaroc, qui est un site aride, peu nuageux, fortement montagneux, très vert en Mars et très sec en Juin. Les performances sont excellentes, avec des écarts inférieurs à 0.3 pixels pour 50% des pixels sauf pour les trois premières dates, assez différentes de la date utilisée comme référence, acquise le 11 avril.

 

  • Le site CBretagneLoireE qui est un site plutôt plat, côtier (avec de forts effets de marées), et surtout très nuageux. Dans ce cas les performances pour 50% des pixels restent meilleures que 0.5 pixels. On note que les images ayant les moins bonnes performances sont des images très nuageuses, pour lesquelles il est difficile de trouver de bon points d'appui pour faire l'ortho-rectification, et aussi pour mesurer la performance.

 

  • Le Site JSumatra très plat, couvert de forêt équatoriale très uniforme, avec un large fleuve dont le niveau d'eau varie. Dans ce cas, la performance de superposition est très mauvaise (jusqu'à 10 pixels). Ce site uniforme ne permet pas de trouver de bons points de corrélation, et les points trouvés sont souvent sur le bord du fleuve, dont le contour est variable.

 

Conclusion

En conclusion, nous avons obtenus de très bons résultats pour la plupart des sites, passant d'erreurs de localisation allant jusqu'à 1500 mètres, à des erreurs de superposition inférieures à 0.5 pixels (10 mètres). Cependant, quatre sites résistent à ce traitement (non, pour une fois, ce n'est pas un petit site en Bretagne qui résiste). Ces 4 sites sont des sites équatoriaux : JSumatra, JBorneo, EGabon, ECongo. . Pour la prochaine version, nous utiliserons l'une des images de la série Take5 pour essayer d'améliorer les résultats. Pour le moment, un bug nous a emêché de le faire. Ceci dit, il n'est pas sûr que cela suffise :le site ECongo par exemple est tellement uniforme qu'il n'est même pas possible de mesurer automatiquement sa performance de superposition.Il faudra peut-être un traitement manuel pour ces sites.

Ces 4 sites seront distribués avec les autres, d'ici quelques jours, avec la première version des données, mais nous vous recommandons la plus grande prudence quant à l'utilisation de leurs résultats.

Enfin, si la superposition des données de 95% des images est bonne, notez que la localisation est celle de nos images de référence, c'est à dire LANDSAT (5 et 7). Là aussi, les prochaines versions seront réalisées avec de meilleures images de référence (Geosud (IGN) en France, LANDSAT8 ailleurs). Elles devraient donc apporter une amélioration.