LANDSAT 5 & 7 acquired above France since 2009 soon released by THEIA

=>

As for LANDSAT 8 a few weeks ago, we just produced the level 2A products for the LANDSAT 5 et LANDSAT 7 data acquired above France from 2009 to 2011. This data set will be released in a few days, when its transfer to the distribution server has ended. The MUSCATE team took charge of the processing for the THEIA Land data center, using CNES computing center. The data will be available on the following site :

http://spirit.cnes.fr/resto/Landsat/

Example of a Level 2A product from LANDSAT 5 over the Atlantic coast of France. The clouds are circled in green, the water mask in blue, and the snow in pink. Sometimes, the water turbidity provides a signal similar to snow in the infra-red, which turns the now flag on...

The processing methods and the data format are similar to the LANDSAT 8 data set described here. However there are also a few differences which are detailed below :

 

Starting point.

The starting point is not the same for LANDSAT 5 and LANDSAT 7 :

  • For LANDSAT 7, as for LANDSAT 8, we start from Level 1T products provided by USGS. These products have a huge defect, with black stripes appearing away from the center axis of the image. These stripes are due to the breakdown of a mirror in 2003. The origin of this defect is described here. In our case, we decided to use only the central part of the images, doing a slight interpolation when the stripes are thin, and removing the data when the lack stripes are too large.
  • LANDSAT 5 data acquired above France are not yet available at USGS. ESA owns these data and agreed to provide them  (Thanks to Bianca Hoersh and Riccardo Biasutti from ESA, and to the SERCO company who processed the data). As a result, this data set is a unique data set, only available online here and nowhere else ! These data are provided at level 1G, for which the data have not yet been ortho-rectified.  We had to ortho-rectify them at Theia, using CNES's SIGMA tool, as for SPOT4 (Take5).
  • Having a different approach for both sensors has a drawback. The grounc control point data base used at USGS seems to have some errors in France, and for instance, the location errors near Toulouse have a bias of about one pixel southward. It is not the case for the LANDSAT5 data ortho-rectified by THEIA, and therefore, one may observe registration errors in a time series involving LANDSAT 5 and LANDSAT 7 images. ESA's data also have some defects, which are presented at the end of this post.
Resampling to Lambert'93 projection

Level 1T data are provided with the UTM projection. This projections uses three different zones over France, for which the registration of data is not direct. We decided to resample the data on a Lambert'93 projection, which is the official French projection. Of course, the LANDSAT5 have been directly projected in Lambert 93.

Tiling of products

We chose to tile the data in 110*110 km tile s spaced with a 100 km interval, as it will be done for Sentinel-2. The (1,1) tile is in the SouthWest corner of France. The tile of Toulouse is the 5th to the West, and the 2nd to the North. It is named D0005H0002 (D for "droite", H for "Haut"). For Corsica, a different tiling made of 2 tiles was defined.

 

For each tile, we provide the whole set of dates for which a LANDSAT 5 or 7 image intersects the tile. A few date may be missing, for several reasons, in general related to the cloud cover :

  • The image was not acquired by LANDSAT 5 or 7 (when a 100% cloud cover is forecast, the image is not acquired).
  • The image was acquired but not processed to L1T by LANDSAT7 at USGS, or to L1C at CNES, because the cloud cover prevented from using a sufficient number of ground control points
  • The Level 2A processing rejects images with more than 90% of cloud cover.

 

Level 2A processing (atmospheric correction and cloud screening)

First of all, we would like to outline that our processor does not process the themal bands of LANDSAT

 

For the visible, near and short wave infrared bands, we use the same method as for SPOT4(Take5). It involves also the MACCS processor, developed and maintained by Mireille Huc at CESBIO. It is based on multi-temporal methods for cloud screening, cloud shadow detection, water detection as well as for the estimation of the aerosol optical thickness.

 

However, thanks to LANDSAT spectral bands, our processing was enriched compared to SPOT4 (Take5). Thanks to the blue band, we have an additional criterion to detect the aerosols, thanks to the quasi constant relationship between the surface reflectances in the blue and in the red above vegetation. The precision gain due to this criterion compensates for the precision loss due the lower repetitivity of  LANDSAT images. Finally, as there is no 1.38 µm band on LANDSAT 5 and 7, the detection of high clouds is much less easy than for LANDSAT 8.

 

Images of one of the Atlantic Coast tiles, coming from different LANDSAT Paths (left and middle, tracks 201 and 200). The viewing angles are slightly different as the left image was observed from the West and the rmiddle image from the East. On the right, a Landsat7 image from track 201 reduced to its central part.

To increase repetitivity of observation which is essential in our multi-temporal method, we decided to use time series that merge LANDSAT 5 and LANDSAT 7 data as well as LANDSAT 5 data coming from adjacent tracks. As these data are not observed under the same viewing angle (+/- 7 degrees), but the angle difference is small enough to increase precision on the overlap zones, even if it may cause the appearance of artefacts in the AOT images.

 

Data Format

For LANDSAT 5 and 7, we used the same format as for SPOT4 (Take5).

 

Known issues :

Here is a little list of known defects for THEIA's LANDSAT 5 and 7 L2A products :

Example of LANDSATV5 "afterglow" issue near a large cloud. This electronic issue takes the appearance of whiter stripes above vegetation.

- reference data for ortho-rectification at USGS may be biased by more than 30 m (38 m in Toulouse). The Landsat 8 data could be misregistered with the LANDSAT 5 data ortho-rectified at CNES using a national geographical reference.

- LANDSAT 5 TM instrument electronics have an "afterglow" issue, that causes the appearance of whiter stripes perpendicularly to the satellite track near very bright zones such as a large cloud.

- ESA's LANDSAT 5 products have some random bright spots that appear as colored spots in color composites.

Bright color spots observed on some ESA LANDSAT 5 images.

- in LANDSAT products, the "nodata" value that tells if a pixel is outside the image is 0, which is also a value observed within the image. Sometimes pixels may be identified as nodata when the are in fact within the image. It happens mainly over sea, where the medium infrared reflectance is often equal to zero. In this case, all the bands have the nodata value which, in our products is -10 000, to avoid the same difficulties for subsequent users.

Les données LANDSAT 5 et 7 acquises sur la France de 2009 à 2011 bientôt disponibles au niveau 2A.

=>

Comme pour LANDSAT 8, il y a quelques semaines, nous venons de produire les données de LANDSAT 5 et LANDSAT 7 acquises au dessus de la France métropolitaine (sans la Corse) de 2009 à 2011. Les données seront mises en ligne d'ici quelques jours, le temps de les transférer sur le serveur.  Les traitements ont été effectués par l'équipe MUSCATE, pour le compte du pôle THEIA, en utilisant les moyens du centre informatique du CNES. Les données seront disponibles sur le site :

http://spirit.cnes.fr/resto/Landsat/

Exemple de produit de Niveau 2A obtenu avec LANDSAT5 sur la côte atlantique. Les nuages sont entourés en vert, le masque d'eau est entouré en bleu, la neige en rose. De temps en temps, la forte turbidité des eaux charentaises fait basculer les seuils de neige, et certains zones particulièrement turbides peuvent être identifiées dans le masque de neige...

Le traitement, le format et la présentation de ces données ont beaucoup de points communs avec ceux de Landsat 8, décrits ici. Cependant, ils s'en écartent par plusieurs aspects, qui font l'objet de cet article.

Point de départ.

Le point de départ est différent pour les satellites LANDSAT 7 et LANDSAT 5.

  • Pour LANDSAT 7, comme pour LANDSAT 8, nous démarrons des produits de niveau 1T fournis par l'USGS. Ces produits présentent cependant un gros défaut, avec la présence de stries dès que l'on s'écarte du centre de l'image. Ces stries sont dues à la panne d'un miroir sur ce satellite depuis 2013. Se reporter ici pour une description du problème. Dans notre cas, nous avons décidé de n'utiliser que la partie centrale de l'image, en interpolant un peu les données manquantes, tant que les trous sont inférieurs à 4 pixels, et en éliminant directement la partie de l'image où les trous ont une largeur supérieure à 4 pixels.
  • Les données acquises par LANDSAT 5 en France ne sont malheureusement pas disponibles sur les serveurs de l'USGS. C'est l'ESA qui dispose de ces données, et qui a bien voulu nous les fournir (Merci encore à Bianca Hoersh et  Riccardo Biasutti de l'ESA, et à la société SERCO qui nous a fait parvenir les données). Le jeu de données que nous vous fournissons ici est en fait un jeu unique, qui actuellement n'est disponible sur aucun autre serveur, même si l'ESA compte en faire une production prochaînement. Ces données nous parviennent au niveau 1G, un niveau de traitement intermédiaire, pour lequel les données n'ont pas été ortho-rectifiées. Nous avons donc dû les ortho-rectifier à Theia, en utilisant l'outil SIGMA du CNES, comme pour SPOT4 (Take5).

Cette  double approche différente pour les deux capteurs a des inconvénients. La base de données de référence géométrique de LANDSAT semble avoir quelques erreurs en France, et les données obtenues par l'USGS sur la région Toulousaine par exemple sont souvent décalées d'un pixel. Ce n'est pas le cas pour les données LANDSAT 5 ortho-rectifiées par THEIA, il peut donc parfois y avoir un pixel d'écart d'une date à l'autre selon qu'elle vient de LANDSAT 5 ou LANDSAT 7. Par ailleurs, les données de l'ESA présentent des défauts, comme par exemple la présence de points brillants colorés par-ci par là, de manière aléatoire.

 

 

Reprojection en Lambert 93

Les données de l'USGS sont fournies en projection UTM. Cette projection utilise trois fuseaux différents au dessus de la France, qui se divise donc en 3 zones différentes, l'Ouest de la France, le Centre et l'Est. Comme les données de deux fuseaux différents ne se superposent pas directement, nous avons donc décidé de reprojeter les données LANDSAT 7 en Lambert 93, qui est la projection officielle pour la France.Les données LANDSAT5 ont elles aussi, bien sûr, été directement projetées en Lambert 93.

Découpage des produits en tuiles

Nous avons pris le parti de suivre la même logique que celle utilisée par Sentinel-2, et de découper les données en tuiles de 110*110 km décalées de 100 km les unes par rapport aux autres. La tuile 1x1 se trouve au sud-ouest de la France, lorsqu'on va vers l'est (vers la droite), on incrémente la première coordonnée de D0001 à D0010 (D pour Droite), lorsqu'on va vers le Nord (vers le haut), on incrémente la seconde coordonnée, de H0001 à H0010 (H pour Haut). La tuile de Toulouse s'appelle donc D0005H0002 Le découpage en tuiles est visible sur l'image ci-jointe.

 

Pour chacune des tuiles, nous fournissons l'ensemble des dates pour lesquelles une image LANDSAT (5 ou 7) a une intersection non nulle avec la tuile. Quelques dates peuvent manquer, pour plusieurs raisons, liées en général à la couverture nuageuse :

  • l'image n'a pas été acquise par LANDSAT (quand les prévisions météo indiquent un temps très couvert, les images ne sont pas acquises).
  • l'image a été acquise mais s'est avérée trop nuageuse pour être traitée au niveau 1T par l'USGS (L7) ou par le CNES (L5)
  • l'image est trop nuageuse pour être traitée par la chaîne de Niveau 2A

 

Traitement de Niveau 2A (correction atmosphériques et détection des nuages)

Il est important de noter que notre chaîne ne traite pas les bandes thermiques pour l'instant. Une correction est à l'étude, mais celle-ci ne sera pas opérationnelle avant un ou deux ans.

La méthode utilisée pour les bandes visible, proche et moyen infra rouge est quasiment la même que pour SPOT4(Take5). Le traitement a été effectué avec la même chaîne, le prototype de MACCS, développé et maintenu au CESBIO par Mireille Huc. Notre méthode de base est une méthode multi-temporelle à la fois pour la détection des nuages, des ombres de nuages, de l'eau et pour l'estimation de l'épaisseur optique des aérosols.

 

Cependant, grâce à la richesse spectrale de LANDSAT, nous avons pu enrichir nos méthodes par rapport à la version utilisée pour SPOT4 (Take5) : grâce à la bande bleue, nous pouvons utiliser un critère complémentaire pour détecter les aérosols, grâce à la relation quasi constante observée entre les réflectances des bandes bleues et rouges au dessus de la végétation. Le gain de précision dû à la présence de cette bande permet de compenser la perte de précision de la méthode multi-temporelle due à la faible répétitivité des LANDSAT. Enfin, contrairement à LANDSAT 8, la bande 1.38 n'existe pas sur LANDSAT 5 et 7, la détection des nuages hauts n'est donc pas évidente.

Images de la tuile obtenue sur la côte atlantique, en provenance de deux traces différentes de LANDSAT (à gauche au milieu, les traces 201 et 200 ). Les angles de visée sont légèrement différents sur chacune des traces (visée depuis l'ouest sur l'image de gauche visée depuis l'est sur l'image de droite). A droite une image LANDSAT 7 de la trace 201, réduite à la portion centrale.

 

Pour augmenter la précision de la détection des nuages, nous avons décidé d'utiliser les données issues de traces adjacentes de LANDSAT (5 ou 7) dans les séries temporelles de niveau 2A. Ces données ne sont pas acquises exactement sous le même angle (+/- 7 degrés), mais la différence d'angle est suffisamment petite pour qu'il y ait un vrai gain de précision sur les zones d'intersection entre traces. En raison de cette approximation, quelques artefacts peuvent être observés.

 

Format des données

Le format des produits de Niveau 2A de LANDSAT 5 et 7 est le même que celui des données SPOT4 (Take5).

 

Défauts connus :

Exemple du phénomène de rémanence observé sur les données de LANDSAT 5 à proximité d’un gros nuage. Ce défaut électronique se traduit ici par une alternance de bandes sombres et claires au dessus de la végétation.

Voici une petite liste des défauts connus des données LANDSAT 5 ou 7 :

 

  • la donnée de référence pour l'ortho-rectification à l'USGS peut présenter des biais supérieurs à 30 mètres (38 mètres à Toulouse). Les données LANDSAT 7 peuvent donc parfois être légèrement décalées par rapport aux données LANDSAT 5 ortho-rectifiées au CNES.
  • L'instrument TM sur LANDSAT 5 présente un phénomène de rémanence qui se traduit par des bandes plus ou moins sombres, perpendiculaires à la trace du satellite, a proximité de zones contrastées, comme par exemple près d'une importante masse nuageuse.
  • Exemple de parasites pouvant apparaître sur les images LANDSAT 5, sous la forme de points colorés.

     

  • Les produits LANDSAT 5 que l'ESA nous a fournis voilà deux ans présentent parfois des "parasites" sous la forme de points colorés apparaissant de manière aléatoire sur l'une ou l'autre bande.
  • Dans les produits LANDSAT, la valeur qui indique si un pixel est en dehors de l'image est égale à 0. Or cette valeur peut aussi se retrouver à l'intérieur des données. Nous avons essayé de séparer les vraies valeurs hors image des valeurs normales dans l'image mais nous n'y arrivons pas toujours, et dans ce cas, toutes les valeurs de toutes les bandes sont mise à la valeur nodata, qui chez nous vaut -10 000 justement pour éviter ces problèmes.

 

SPOT4 (Take5) communications at the Sentinel-2 Symposium

The second "Sentinel-2 for science" symposium , organised by ESA, took place in italy late may 2014. More than 400 future Sentinel-2 users participated, which is a record for a conference organised by ESA at ESA premises. Compared to the first Sentinel-2 users workshop, it turns out that most of the talks were based on time series of images, while this proportion was less than a third for the first users symposium (other talks were about spectral indexes, mono date model inversions, which is good science but is not specifically tailored for Sentinel-2). This shows that the Sentinel-2 users community state of preparation did a lot of progress during the two last years.

 

To this respect, it seems that the SPOT4(Take5) experiment has helped a lot, as at least 15 of the 55 talks (and a lot of posters) of the symposium were largely based on the data set. That was exactly the purpose of the experiment and I am quite please to see it succeeded. The data are still available there, and there are still a lot of things to do.

 

Here are the links to the 15 talks that use SPOT4 (Take5) data (I may have forgotten one of two, if so please tell me ! I have not found the links to the posters, if someone found them, please tell me !).  You may also access the whole program here (some talks, although not based on SPOT4 (Take5), were also very stimulating ;-) )

 

Ground Segment


MUSCATE : An Operational Tool for Atmospheric Corrections And Monthly Composites Sentinel-2

Marc Leroy1, Olivier Hagolle2, Mireille Huc2, Mohammed Kadiri2, Gérard Dedieu2, Joëlle Donadieu1, Philippe Pacholczyk1, Céline L'Helguen1, Selma Cherchali1

1: CNES, France; 2: CESBIO


Pre-processing


Lessons learned from the SPOT4 (Take5) experiment : simulations of Sentinel-2 time series on 45 large sites

Olivier Hagolle1,3, Mireille Huc1,2, Mohamed Kadiri1,2, Dominique Clesse4, Sylvia Sylvander3, Marc Leroy3, Martin Claverie5, Gérard Dedieu1,3

1: CESBIO Umr 5126 CNRS-CNES-IRD-UPS, Toulouse, France; 2: CNRS,France; 3: CNES, France; 4: CAP GEMINI, France; 5: NASA/GSFC, USA

Eric Vermote1, Martin Claverie1,2, Jeffrey Masek3, Inbal Becker-Reshef2, Chris Justice2

1: NASA/GSFC Code 619; 2: University of Maryland, Dept of Geographical Sciences; 3: NASA/GSFC Code 618


Restoration of Missing Data due to Clouds on Optical Satellite Imagery Using Neural Networks

Nataliia Kussul, Sergii Skakun, Ruslan Basarab

Space Research Institute NASU-SSAU, Ukraine


Agriculture


Agronomy and hydrology with Sentinel-2 type time series: Towards spatial characterization of crop productivity and its impacts on water and nutrient cycle at the catchment scale

Sylvain Ferrant1,2, Simon Gascoin2,3, Amanda Veloso2, Martin Claverie4, Gérard Dedieu1,2, Valerie Demarez2,5, Eric Ceschia2,5, Patrick Durand6, Jean-luc Probst3,7, Vincent Bustillo2,5

1: CNES, France; 2: CESBIO, France; 3: CNRS, France; 4: University of Maryland; 5: University of Toulouse; 6: INRA, France; 7: ECOLAB, France

Based on Formosat-2 rather than SPOT4 (Take5), but these data are similar and produced with the same methods.


Crop mapping in complex landscape by multi-source data mining and remote sensing for food security

Elodie Vintrou1, Valentine Lebourgeois2, Agnès Bégué2, Dino Ienco3, Maguelonne Teisseire3, Pierre Todoroff1, Fidiniaina Ramahandry Andriandrahona4

1: CIRAD UR AIDA, Station Ligne Paradis, 7 chemin de l’Irat, 97410 Saint Pierre, La Réunion; 2: CIRAD UMR TETIS, Maison de la Télédétection, 500 rue J.F. Breton, Montpellier, France; 3: IRSTEA UMR TETIS, Maison de la Télédétection, 500 rue J.F. Breton, Montpellier, France; 4: FOFIFA, Station Régionale de Recherche FOFIFA Tsivatrinikamo ANTSIRABE 110, Madagascar


Sentinel-2 Agriculture project: Preparing Sentinel-2 exploitation for agriculture monitoring

Defourny Pierre1, Bontemps Sophie1, Cara Cosmin4, Dedieu Gérard2, Guzzonato Eric3, Hagolle Olivier2, Inglada Jordi2, Rabaute Thierry3, Savinaud Mickael3, Sepulcre Guadalupe1, Valero Silvia2, Koetz Benjamin5

1: UCLouvain, Belgium; 2: CESBIO, France; 3: CS-Systèmes d’Information, France; 4: CS-Systèmes d’Information, Romania; 5: ESA, ESRIN, Italy


Crop Identification and acreage estimate using a combination of Spot4-Take5 & Landsat 8.  A preparatory study for Sentinel 2

N. Knox1,2, L.T. Tsoeleng1, C. Adjorlolo1,2, T. Newby3

1: South African National Space Agency (SANSA), South Africa; 2: University of KwaZulu-Natal (UKZN), South Africa; 3: National Earth Observation and Space Secretariat (NEOSS), c/o SIIU - CSIR, South Africa.


Multisource EO Data for the optimal agricultural drainage water management in semi-arid area of Doukkala (Western MOROCCO): Potential of Sentinel-2 Type Observation

Kamal Labbassi1, Nadia Akdim1, Silvia Maria Alfieri2,3, Massimo Menenti2

1: Chouaib Doukkaly University, Morocco; 2: Delft University of Technology, Netherlands; 3: Institute for Mediterranean Agricultural and Forest Systems, Italy


Forests


Potential of Sentinel 2 constellation to provide near real time forest disturbance mapping over cloudy areas in Gabon

Christophe Sannier, Louis-Vincent Fichet

SIRS, France


Assessing Forest Degradation from Selective Logging using Time Series of Fine Spatial Resolution Imagery in Republic of Congo

Astrid Verhegghen, Baudouin Desclée, Hugh Eva, Frédéric Achard

Joint Research Centre of the European Commission, Italy


Potential benefits that Sentinel-2 data could bring to characterise and monitor forestry, simulated through SPOT 4 Take5 data

Colette Meyer1, Hervé Yesou1, Stephen Clandillon1, Henri Giraud1, Jérôme Maxant1, Paul de Fraipont1, Arnaud Selle2

1: SERTIT, France; 2: CNES, France


 

Coastal and inland waters


Mapping estuarine turbidity using high and medium resolution time series imagery Virginie Lafon1, Arthur Robinet1, Tatiana Donnay2, David Doxaran2, Bertrand Lubac3, Eric Maneux1, Aldo Sottolichio3, Olivier Hagolle4, Alexandra Coynel3

1: GEO-Transfert, ADERA, Université de Bordeaux, France; 2: Laboratoire d'Océanographie de Villefranche, UMR 7093 - CNRS / UPMC, France; 3: UMR EPOC, Université de Bordeaux-CNRS, France; 4: CESBIO, CNRS,UPS, CNES, IRD, France


CoastColour Spot 4 Take 5

Carsten Brockmann1, Ruescas Ana1, Pinnock Simon2

1: Brockmann Consult GmbH, Germany; 2: ESA ESRIN, Italy


Sentinel-2 Time Series for GlobWetland II to map Threats in Wetlands

Kathrin Weise1, Marc Paganini2, Max Tobaschus1,3, Martin Faber1,3

1: Jena-Optronik GmbH, Germany; 2: European Space Agency, Italy; 3: Friedrich Schiller University Jena, Germnay

Level 2A LANDSAT data over France released by THEIA

=>

It is our great pleasure to announce that the LANDSAT 8 level 2A data produced by THEIA are available at the following address.

http://theia.cnes.fr/

 

The available data are all the data acquired by LANDSAT over France, for which a sufficient number of cloud free pixels were available. They were processed to Level 2A : they are expressed as surface reflectance after atmospheric correction, and are provided with a cloud mask. The way we produced them is explained here for LANDSAT 8 and here for LANDSAT 5 and 7.

The distribution server was developed by my CNES colleague Jérôme Gaspéri, helped by Rémi Mourembles from CAP Gemini ; it has a very simple but very modern interface, with only one simple field to formulate requests, which may be provided as sentences in day to day language. The tool indeed makes a semantic analysis of your requests. And it is meant to work as well on your computer, tablet or phone (but you should think before downloading a whole LANDSAT product on a smartphone).

 

Example of requests :

1) Date and location
LANDSAT7 images on Biarritz between january and june 2009
LANDSAT8 images on Toulouse acquired in may 2013
2) Research on land cover characteristics :
Herbaceous area on Jersey in 2013
Images with forest in October 2013
Images without forest in October 2013
3) Or any combination :
Images with cultivated area and forest on Paris between March and August 2010
Cultivated area on Bordeaux in August 2013
4) Telegraphic style
LANDSAT8 July 2013
Arcachon LANDSAT5

 

To select the geographic extent, you could also zoom on the map to define the region of interest fom the corners of the displayed region.

 

Finally, to download the product, you need first to create an account, by clicking on the orange icon, and then you need to identify yourself. Every image can be downloaded by clicking on the download button or directly using its URL defined from the product name. I have to write an automatic download script, but you may already use the very convenient DownThemAll Firefox plugin. To use it, you will have first to login, then to ask Downthemall to download all the URLs thant end with "$download". (HowTo provided here)

 

The publication of these data is the result of years of work, at CESBIO and CNES, although their production takes less than 2 weeks. It is also the first cersion of this processing. Positive comments are welcome, as well as negative, they will be useful to enhance the service, before we start processing Sentinel-2, which should be launched next year.

 

Finally, we would like to thank our NASA and USGS colleagues who distribute the input data with no restriction, which allows THEIA to deliver fully open data. Please do not forget to tell us about what you did with the data, it is very important to elp us justify our funding requests.

 

Diffusion de données LANDSAT sur la France par THEIA

=>

Nous avons le plaisir de vous annoncer que les données LANDSAT de niveau 2A, produites par le pôle THEIA sont disponibles à l'adresse suivante :

http://theia.cnes.fr/

Cet article vous décrit les données et le fonctionnement du serveur de distribution. Un autre article vous décrit la méthode pour télécharger des séries entières de données.

Les données de Theia sont traitées jusqu'au Niveau 2A : elles sont donc fournies en réflectance de surface après correction atmosphérique, et sont accompagnées de masques de nuages. La façon dont nous les avons produites est décrite ici pour Landsat 8, et ici pour LANDSAT 5 et 7. Le serveur, mis en place par mon collègue du CNES Jérôme Gaspéri, aidé par Rémi Mourembles de CAP Gemini, est doté d'une interface épurée et résolument moderne, avec une seule petite fenêtre pour saisir les requêtes, qui peuvent être rédigées sous forme de phrases. L'outil pratique donc une analyse sémantique (waouh!) de vos requêtes. Il fonctionne aussi sur votre tablette ou téléphone, et bientôt sur votre réfrigérateur.

 

Exemples de requêtes :

1) Recherche de lieu et de date :
images LANDSAT 8 à Paris entre janvier et juin 2013
images LANDSAT 7 à Toulouse acquises en mai 2013
2) Recherche de caractéristiques :
zone herbacée en 2013
images avec forêts en octobre 2009
images sans forêts en octobre 2013
3) Combinaison de caractéristiques :
Images avec zones cultivées et forêts près de Paris entre mars et juin 2013
zone cultivées à Bordeaux en 2013.
4) Style télégraphique
Landsat8 Juillet 2013
LANDSAT5 2011
Arcachon 2009

 

Pour le choix de la zone géographique, vous pouvez aussi zoomer sur la carte pour définir votre zone d'intérêt.

 

Enfin pour télécharger les données, il faut, dans un premier temps créer un compte (ça se passe sur l'icône orange, en haut à gauche), puis vous identifier. Cette inscription nous sera utile pour établir des statistiques d'utilisation. Il ne vous reste plus qu'à télécharger la donnée en cliquant sur l'icône avec le petit nuage. Chaque image est aussi téléchargeable directement à partir de son url définie logiquement avec le nom du produit. Je vais essayer de faire  rapidement un script de téléchargement plus automatique, mais déjà, vous pouvez utiliser le plugin DownThemAll de Firefox, en lui spécifiant, après vous être authentifiés, de télécharger tous les liens du type "*download" présents dans la page (mode d'emploi ici)

 

La publication de ces données est le résultat de plusieurs années de travail, au CESBIO et au CNES, et avec nos sous traitants, mais c'est aussi la première version. Merci de nous faire parvenir vos constats et remarques, surtout si vos avis sont favorables, mais pas seulement, les critiques nous seront très utiles pour améliorer le service, avant l'arrivée de Sentinel 2 dont le lancement est prévu dans un an !

 

Enfin, nous souhaitons vraiment remercier nos collègues de la NASA et de l'USGS pour LANDSAT 7 et 8, et de l'ESA pour LANDSAT 5 qui mettent ces données à disposition sans aucune restriction, ce qui nous permet d'en faire de même au pôle THEIA. Les données sont donc disponibles pour tout utilisateur et pour toute utilisation. Utilisez les donc autant que vous voudrez, mais n'oubliez pas de nous faire part de ce que vous en faites, c'est très important pour nos futures demandes budgétaires.

Completion of the processing of LANDSAT 8 Level 2A products taken above France in 2013.

=>

That was fast ! The processing of all the LANDSAT 8 images taken above France in 2013 took less than 15 days. The first LANDSAT 8 images were taken in April 2013. The MUSCATE team processed the data for the THEIA land data center, using CNES computing center.

 

A few more days will be necessary to upload the data on the THEIA website and to check that the data are correct. Finally, the longest part in the processing is the downloading of the input Level 1T products from USGS earthexplorer website (equivalent to the Level 1C in THEIA's nomenclature).

 

The Level 2A data quality is quite good, as may be seen on the browse products on the right, as shown by images on the right, which come from the times series obtained on the tile of Paris. As usual on this blog, the clouds are circled in green, the shadows in black, the snow in pink and the water in blue. A few clouds are sometimes missed by our multi-temporal method, when the repetitivity of cloud free acquisition is too low, as in the image on the right which was acquired during a cloudy spring. The following images in the time series are not affected by this kind of defect.

 

This paper aims at describing the main steps of the processing.

 

Starting point : Level 1T

We download the input data from the earthexplorer website, using an enhanced version of the script described here. These products are ortho-rectified by USGS, using a global data base of ground control points.

 

The location requirement for LANDSAT 8 is 50 m, which seems to be met by the L1T products. We found location errors around 1.5 pixels near Toulouse, but most regions seem to have better performances. USGS confirmed a 38m bias Southward near Toulouse and will try to correct them.  Our processing does not correct for these small errors, and the next version of the USGS LANDSAT 8 processing only wil lcorrect for this bias.

 

Regarding LANDSAT 8 absolute radiometric calibration, we use the coefficient values recommended by LANDSAT 8 and provided with the L1T products.

 

Resampling to Lambert'93 projection


Level 1T data are provided with the UTM projection. This projections uses three different zones over France, for which the registration of data is not direct. We decided to resample the data on a Lambert'93 projection, which is the official French projection.

Tiling of products

We chose to tile the data in 110*110 km tiles spaced with a 100 km interval, as it will be done for Sentinel-2. The (1,1) tile is in the SouthWest corner of France. The tile of Toulouse is the 5th to the West, and the 2nd to the North. It is named D0005H0002 (D for "droite", H for "Haut")

 

For Corsica, a different tiling made of 2 tiles was defined.

 

For each tile, we provide the whole set of dates for which a LANDSAT 8 image intersects the tile. A few date may be missing, for several reasons, in general related to the cloud cover :

  • The image was not acquired by LANDSAT 8 (when a 100% cloud cover is forecast, the image is not acquired).
  • The image was acquired but not processed to level 1T by LANDSAT8, because the cloud cover prevented from using a sufficient number of ground control points
  • The Level 2A processing rejects images with more than 90% of cloud cover.

 

Level 2A processing (atmospheric correction and cloud screening)

First of all, we would like to outline that our processor does not process the themal bands of LANDSAT 8.

For the visible, near and short wave infrared bands, we use the same method as for SPOT4(Take5). It involves also the MACCS processor, developed and maintained by Mireille Huc at CESBIO. It is based on multi-temporal methods for cloud screening, cloud shadow detection, water detection as well as for the estimation of the aerosol optical thickness.

 

However, thanks to LANDSAT 8 spectral bands, our processing was enriched compared to SPOT4 (Take5) : LANDSAT8's 1.38µm band enables an enhanced detection of high and thin clouds. And thanks to the blue band, we have an additional criterion to detect the aerosols, thanks to the quasi constant relationship between the surface reflectances in the blue and in the red above vegetation. The precision gain due to this criterion compensates for the precision loss due the lower repetitivity of  LANDSAT8 images.

Level 2A images from Paris's tile, from 3 different LANDSAT 8 tracks (From left to right, tracks 200, 199, 198). The viewing angle differs as the image is from the west on the left image, at nadir in the center and from the east for the right image.

 

To enhance the cloud screening accuracy, we decided to use the data from adjacent satellite tracks within the same time series. These data are not acquired under exactly the same angle (+/- 7 degrees), which is the assumed by the multi-temporal method, but the difference is small enough to allow a large accuracy gain due to the enhanced repetitivity. However, because of this approximation, a few artefacts may be observed.

 

For a greater enhancement, we might also use LANDSAT 7 and LANDSAT 8 data in the same time series, but we will implement that later on...

 

Data Format

For LANDSAT 8, we used the same format as for SPOT4 (Take5), excepted a few details, that I will describe soon...

 

 

 

Le traitement des données acquises par LANDSAT8 sur la France en 2013 est terminé.

=>

Ça torche* ! J'annonçais le démarrage du traitement dans un précédent article: il aura fallu moins de 15 jours pour traiter l'ensemble des données acquises par LANDSAT 8 en 2013 sur la France métropolitaine (y compris la corse). La période traitée s'étend d'avril 2013 à fin 2013. Les traitements ont été effectués par l'équipe MUSCATE, pour le compte du pôle THEIA, en utilisant les moyens du centre informatique du CNES.

 

Il suffira de quelques jours de plus pour mettre les données en ligne sur le site du pôle et vérifier que les données peuvent être distribuées. Finalement, le plus long dans ce traitement est le téléchargement des produits de Niveau 1T (l'équivalent du Niveau 1C dans la nomenclature de THEIA) sur le site earthexplorer de l'USGS.

 

Les données obtenues sont de bonne qualité, comme le montrent les exemples de quicklooks de niveau 2A, à droite, tirés de la série temporelle obtenue sur la tuile de la région parisienne. Comme d'habitude, les nuages détectés sont entourés en vert, les ombres en noir, la neige en rose et l'eau en bleu. Quelques nuages sont parfois oubliés par notre méthode multi-temporelle de détection nuageuse, lorsque la répétitivité des données est insuffisante, comme, sur l'image ci contre, lors de ce printemps 2013 extrêmement nuageux. Les images suivantes de la série ne présentent pas ce genre d'erreurs.

 

Cet article décrit brièvement les principales étapes du traitement qui ont permis d'obtenir ce résultat.

 

Point de départ : Niveau 1T

Nous téléchargeons les données depuis le site earthexplorer, en utilisant une version améliorée du script de téléchargement décrit ici. Ces données sont orthorectifiées par l'USGS, à partir d'une base de données mondiale de points d'appuis.

 

Les spécifications de localisation pour les données LANDSAT de l'USGS sont de 50 mètres. Nous avons constaté, sur la région de Toulouse, des erreurs de localisation égales à 1,5 pixels, mais d'autres régions sont mieux loties. L'USGS a confirmé les erreurs que nous observons du côté de Toulouse (38m vers le sud) et promet de les corriger. Notre traitement ne corrige pas ces erreurs qui restent modérées, et pour obtenir une performance améliorée, il faudra attendre le retraitement de ces données par l'USGS, ou rattraper le décalage éventuel par vous mêmes.

 

En ce qui concerne l'étalonnage absolu du satellite LANDSAT 8, nous utilisons celui recommandé par la NASA (et fourni avec les produits LANDSAT 8).

 

Reprojection en Lambert 93


Les données de l'USGS sont fournies en projection UTM. Cette projection utilise trois fuseaux différents au dessus de la France, qui se divise donc en 3 zones différentes, l'Ouest de la France, le Centre et l'Est. Comme les données de deux fuseaux différents ne se superposent pas directement, nous avons donc décidé de reprojeter les données en Lambert 93, qui est la projection officielle pour la France.

Découpage des produits en tuiles

Nous avons pris le parti de suivre la même logique que celle utilisée par Sentinel-2, et de découper les données en tuiles de 110*110 km décalées de 100 km les unes par rapport aux autres. La tuile 1x1 se trouve au sud-ouest de la France, lorsqu'on va vers l'est (vers la droite), on incrémente la première coordonnée de D0001 à D0010 (D pour Droite), lorsqu'on va vers le Nord (vers le haut), on incrémente la seconde coordonnée, de H0001 à H0010 (H pour Haut). La tuile de Toulouse s'appelle donc D0005H0002  Le découpage en tuiles est visible sur l'image ci-jointe.

 

Pour la Corse, nous avons défini une autre grille de tuiles, composée de deux tuiles.

 

Pour chacune des tuiles, nous fournissons l'ensemble des dates pour lesquelles une image LANDSAT8 a une intersection non nulle avec la tuile. Quelques dates peuvent manquer, pour plusieurs raisons, liées en général à la couverture nuageuse :

  • l'image n'a pas été acquise par LANDSAT 8 (quand les prévisions météo indiquent un temps très couvert, les images ne sont pas acquises).
  • l'image a été acquise mais s'est avérée trop nuageuse pour être traitée au niveau 1T par l'USGS
  • l'image est trop nuageuse pour être traitée par la chaîne de Niveau 2A

 

Traitement de Niveau 2A (correction atmosphériques et détection des nuages)

Il est important de noter que notre chaîne ne traite pas les bandes thermiques pour l'instant. Une correction est à l'étude, mais celle-ci ne sera pas opérationnelle avant un ou deux ans.

 

La méthode utilisée pour les bandes visible, proche et moyen infra rouge est quasiment la même que pour SPOT4(Take5). Le traitement a été effectué avec la même chaîne, le prototype de MACCS, développé et maintenu au CESBIO par Mireille Huc. Notre méthode de base est une méthode multi-temporelle à la fois pour la détection des nuages, des ombres de nuages, de l'eau et pour l'estimation de l'épaisseur optique des aérosols.

 

Cependant, grâce à la richesse spectrale de LANDSAT, nous avons pu enrichir nos méthodes par rapport à la version utilisée pour SPOT4 (Take5) :  la bande 1.38µm de LANDSAT8 permet de détecter les nuages hauts. Et grâce à la bande bleue, nous pouvons utiliser un critère complémentaire pour détecter les aérosols, grâce à la relation quasi constante observée entre les réflectances des bandes bleues et rouges au dessus de la végétation. Le gain de précision dû à la présence de cette bande permet de compenser la perte de précision de la méthode multi-temporelle due à la faible répétitivité de LANDSAT8.

Images de la tuile obtenue sur la région parisienne, en provenance de trois traces différentes de LANDSAT (de gauche à droite, les traces 200, 199 et 198). Les angles de visée sont légèrement différents sur chacune des traces (visée depuis l'ouest sur l'image de gauche, visée au nadir au centre, visée depuis l'est sur l'image de droite).

 

Pour augmenter la précision de la détection des nuages, nous avons décidé d'utiliser les données issues de traces adjacentes de LANDSAT8 dans les séries temporelles de niveau 2A. Ces données ne sont pas acquises exactement sous le même angle (+/- 7 degrés), mais la différence d'angle est suffisamment petite pour qu'il y ait un vrai gain de précision sur les zones d'intersection entre traces. En raison de cette approximation, quelques artefacts peuvent être observés.

 

Pour gagner davantage de répétitivité, nous pourrions aussi entrelacer des données LANDSAT 7 et LANDSAT 8 dans des séries temporelles communes, mais ceci ne sera implémenté que dans une prochaine version.

 

Format des données

Le format des produits de Niveau 2A de LANDSAT 8 est le même que celui des données SPOT4 (Take5), à quelques détails près que je fournirai dans une nouvelle page, dès que j'ai un moment...

 

* Ca va vite, oui, c'est comme ça qu'on parle chez les anciens jeunes du CNES...

 

 

Exprimez vos besoins pour un suivi de l'agriculture avec Sentinel-2

=>
Comme vous le savez, nous avons été sélectionnés pour le projet de l'ESA "Sentinel-2 Agriculture". Parmi les tâches à accomplir pour ce projet, nous devons faire un tour des besoins des utilisateurs, concernant l'utilisation des données Sentinel-2 pour l'Agriculture.

 

L'ESA avait déjà fait circuler un questionnaire lors du colloque Sentinel 2 de 2012. Mon vénéré collègue (et chef) Gérard Dedieu, que le soleil de printemps illumine sa chevelure argentée, a préparé avec minutie un nouveau formulaire d'enquête . N'hésitez pas à y répondre si vous pensez être un utilisateur potentiel de données de télédétection pour le suivi de l'agriculture.

 
Bien que les grandes lignes des produits à fournir lors de ce projet aient été définies lors de l'appel d'offres du projet Sen2Agri de l'ESA, vos réponses seront très utiles pour affiner les spécifications des produits que nous nous sommes engagés à produire, pour faire passer vos demandes à l'ESA, aux autres agences spatiales et au pôle THEIA, et afin de définir les prochaines versions de produits.