Level 2A LANDSAT data over France released by THEIA

=>

It is our great pleasure to announce that the LANDSAT 8 level 2A data produced by THEIA are available at the following address.

http://theia.cnes.fr/

 

The available data are all the data acquired by LANDSAT over France, for which a sufficient number of cloud free pixels were available. They were processed to Level 2A : they are expressed as surface reflectance after atmospheric correction, and are provided with a cloud mask. The way we produced them is explained here for LANDSAT 8 and here for LANDSAT 5 and 7.

The distribution server was developed by my CNES colleague Jérôme Gaspéri, helped by Rémi Mourembles from CAP Gemini ; it has a very simple but very modern interface, with only one simple field to formulate requests, which may be provided as sentences in day to day language. The tool indeed makes a semantic analysis of your requests. And it is meant to work as well on your computer, tablet or phone (but you should think before downloading a whole LANDSAT product on a smartphone).

 

Example of requests :

1) Date and location
LANDSAT7 images on Biarritz between january and june 2009
LANDSAT8 images on Toulouse acquired in may 2013
2) Research on land cover characteristics :
Herbaceous area on Jersey in 2013
Images with forest in October 2013
Images without forest in October 2013
3) Or any combination :
Images with cultivated area and forest on Paris between March and August 2010
Cultivated area on Bordeaux in August 2013
4) Telegraphic style
LANDSAT8 July 2013
Arcachon LANDSAT5

 

To select the geographic extent, you could also zoom on the map to define the region of interest fom the corners of the displayed region.

 

Finally, to download the product, you need first to create an account, by clicking on the orange icon, and then you need to identify yourself. Every image can be downloaded by clicking on the download button or directly using its URL defined from the product name. I have to write an automatic download script, but you may already use the very convenient DownThemAll Firefox plugin. To use it, you will have first to login, then to ask Downthemall to download all the URLs thant end with "$download". (HowTo provided here)

 

The publication of these data is the result of years of work, at CESBIO and CNES, although their production takes less than 2 weeks. It is also the first cersion of this processing. Positive comments are welcome, as well as negative, they will be useful to enhance the service, before we start processing Sentinel-2, which should be launched next year.

 

Finally, we would like to thank our NASA and USGS colleagues who distribute the input data with no restriction, which allows THEIA to deliver fully open data. Please do not forget to tell us about what you did with the data, it is very important to elp us justify our funding requests.

 

Diffusion de données LANDSAT sur la France par THEIA

=>

Nous avons le plaisir de vous annoncer que les données LANDSAT de niveau 2A, produites par le pôle THEIA sont disponibles à l'adresse suivante :

http://theia.cnes.fr/

Cet article vous décrit les données et le fonctionnement du serveur de distribution. Un autre article vous décrit la méthode pour télécharger des séries entières de données.

Les données de Theia sont traitées jusqu'au Niveau 2A : elles sont donc fournies en réflectance de surface après correction atmosphérique, et sont accompagnées de masques de nuages. La façon dont nous les avons produites est décrite ici pour Landsat 8, et ici pour LANDSAT 5 et 7. Le serveur, mis en place par mon collègue du CNES Jérôme Gaspéri, aidé par Rémi Mourembles de CAP Gemini, est doté d'une interface épurée et résolument moderne, avec une seule petite fenêtre pour saisir les requêtes, qui peuvent être rédigées sous forme de phrases. L'outil pratique donc une analyse sémantique (waouh!) de vos requêtes. Il fonctionne aussi sur votre tablette ou téléphone, et bientôt sur votre réfrigérateur.

 

Exemples de requêtes :

1) Recherche de lieu et de date :
images LANDSAT 8 à Paris entre janvier et juin 2013
images LANDSAT 7 à Toulouse acquises en mai 2013
2) Recherche de caractéristiques :
zone herbacée en 2013
images avec forêts en octobre 2009
images sans forêts en octobre 2013
3) Combinaison de caractéristiques :
Images avec zones cultivées et forêts près de Paris entre mars et juin 2013
zone cultivées à Bordeaux en 2013.
4) Style télégraphique
Landsat8 Juillet 2013
LANDSAT5 2011
Arcachon 2009

 

Pour le choix de la zone géographique, vous pouvez aussi zoomer sur la carte pour définir votre zone d'intérêt.

 

Enfin pour télécharger les données, il faut, dans un premier temps créer un compte (ça se passe sur l'icône orange, en haut à gauche), puis vous identifier. Cette inscription nous sera utile pour établir des statistiques d'utilisation. Il ne vous reste plus qu'à télécharger la donnée en cliquant sur l'icône avec le petit nuage. Chaque image est aussi téléchargeable directement à partir de son url définie logiquement avec le nom du produit. Je vais essayer de faire  rapidement un script de téléchargement plus automatique, mais déjà, vous pouvez utiliser le plugin DownThemAll de Firefox, en lui spécifiant, après vous être authentifiés, de télécharger tous les liens du type "*download" présents dans la page (mode d'emploi ici)

 

La publication de ces données est le résultat de plusieurs années de travail, au CESBIO et au CNES, et avec nos sous traitants, mais c'est aussi la première version. Merci de nous faire parvenir vos constats et remarques, surtout si vos avis sont favorables, mais pas seulement, les critiques nous seront très utiles pour améliorer le service, avant l'arrivée de Sentinel 2 dont le lancement est prévu dans un an !

 

Enfin, nous souhaitons vraiment remercier nos collègues de la NASA et de l'USGS pour LANDSAT 7 et 8, et de l'ESA pour LANDSAT 5 qui mettent ces données à disposition sans aucune restriction, ce qui nous permet d'en faire de même au pôle THEIA. Les données sont donc disponibles pour tout utilisateur et pour toute utilisation. Utilisez les donc autant que vous voudrez, mais n'oubliez pas de nous faire part de ce que vous en faites, c'est très important pour nos futures demandes budgétaires.

Completion of the processing of LANDSAT 8 Level 2A products taken above France in 2013.

=>

That was fast ! The processing of all the LANDSAT 8 images taken above France in 2013 took less than 15 days. The first LANDSAT 8 images were taken in April 2013. The MUSCATE team processed the data for the THEIA land data center, using CNES computing center.

 

A few more days will be necessary to upload the data on the THEIA website and to check that the data are correct. Finally, the longest part in the processing is the downloading of the input Level 1T products from USGS earthexplorer website (equivalent to the Level 1C in THEIA's nomenclature).

 

The Level 2A data quality is quite good, as may be seen on the browse products on the right, as shown by images on the right, which come from the times series obtained on the tile of Paris. As usual on this blog, the clouds are circled in green, the shadows in black, the snow in pink and the water in blue. A few clouds are sometimes missed by our multi-temporal method, when the repetitivity of cloud free acquisition is too low, as in the image on the right which was acquired during a cloudy spring. The following images in the time series are not affected by this kind of defect.

 

This paper aims at describing the main steps of the processing.

 

Starting point : Level 1T

We download the input data from the earthexplorer website, using an enhanced version of the script described here. These products are ortho-rectified by USGS, using a global data base of ground control points.

 

The location requirement for LANDSAT 8 is 50 m, which seems to be met by the L1T products. We found location errors around 1.5 pixels near Toulouse, but most regions seem to have better performances. USGS confirmed a 38m bias Southward near Toulouse and will try to correct them.  Our processing does not correct for these small errors, and the next version of the USGS LANDSAT 8 processing only wil lcorrect for this bias.

 

Regarding LANDSAT 8 absolute radiometric calibration, we use the coefficient values recommended by LANDSAT 8 and provided with the L1T products.

 

Resampling to Lambert'93 projection


Level 1T data are provided with the UTM projection. This projections uses three different zones over France, for which the registration of data is not direct. We decided to resample the data on a Lambert'93 projection, which is the official French projection.

Tiling of products

We chose to tile the data in 110*110 km tiles spaced with a 100 km interval, as it will be done for Sentinel-2. The (1,1) tile is in the SouthWest corner of France. The tile of Toulouse is the 5th to the West, and the 2nd to the North. It is named D0005H0002 (D for "droite", H for "Haut")

 

For Corsica, a different tiling made of 2 tiles was defined.

 

For each tile, we provide the whole set of dates for which a LANDSAT 8 image intersects the tile. A few date may be missing, for several reasons, in general related to the cloud cover :

  • The image was not acquired by LANDSAT 8 (when a 100% cloud cover is forecast, the image is not acquired).
  • The image was acquired but not processed to level 1T by LANDSAT8, because the cloud cover prevented from using a sufficient number of ground control points
  • The Level 2A processing rejects images with more than 90% of cloud cover.

 

Level 2A processing (atmospheric correction and cloud screening)

First of all, we would like to outline that our processor does not process the themal bands of LANDSAT 8.

For the visible, near and short wave infrared bands, we use the same method as for SPOT4(Take5). It involves also the MACCS processor, developed and maintained by Mireille Huc at CESBIO. It is based on multi-temporal methods for cloud screening, cloud shadow detection, water detection as well as for the estimation of the aerosol optical thickness.

 

However, thanks to LANDSAT 8 spectral bands, our processing was enriched compared to SPOT4 (Take5) : LANDSAT8's 1.38µm band enables an enhanced detection of high and thin clouds. And thanks to the blue band, we have an additional criterion to detect the aerosols, thanks to the quasi constant relationship between the surface reflectances in the blue and in the red above vegetation. The precision gain due to this criterion compensates for the precision loss due the lower repetitivity of  LANDSAT8 images.

Level 2A images from Paris's tile, from 3 different LANDSAT 8 tracks (From left to right, tracks 200, 199, 198). The viewing angle differs as the image is from the west on the left image, at nadir in the center and from the east for the right image.

 

To enhance the cloud screening accuracy, we decided to use the data from adjacent satellite tracks within the same time series. These data are not acquired under exactly the same angle (+/- 7 degrees), which is the assumed by the multi-temporal method, but the difference is small enough to allow a large accuracy gain due to the enhanced repetitivity. However, because of this approximation, a few artefacts may be observed.

 

For a greater enhancement, we might also use LANDSAT 7 and LANDSAT 8 data in the same time series, but we will implement that later on...

 

Data Format

For LANDSAT 8, we used the same format as for SPOT4 (Take5), excepted a few details, that I will describe soon...

 

 

 

Le traitement des données acquises par LANDSAT8 sur la France en 2013 est terminé.

=>

Ça torche* ! J'annonçais le démarrage du traitement dans un précédent article: il aura fallu moins de 15 jours pour traiter l'ensemble des données acquises par LANDSAT 8 en 2013 sur la France métropolitaine (y compris la corse). La période traitée s'étend d'avril 2013 à fin 2013. Les traitements ont été effectués par l'équipe MUSCATE, pour le compte du pôle THEIA, en utilisant les moyens du centre informatique du CNES.

 

Il suffira de quelques jours de plus pour mettre les données en ligne sur le site du pôle et vérifier que les données peuvent être distribuées. Finalement, le plus long dans ce traitement est le téléchargement des produits de Niveau 1T (l'équivalent du Niveau 1C dans la nomenclature de THEIA) sur le site earthexplorer de l'USGS.

 

Les données obtenues sont de bonne qualité, comme le montrent les exemples de quicklooks de niveau 2A, à droite, tirés de la série temporelle obtenue sur la tuile de la région parisienne. Comme d'habitude, les nuages détectés sont entourés en vert, les ombres en noir, la neige en rose et l'eau en bleu. Quelques nuages sont parfois oubliés par notre méthode multi-temporelle de détection nuageuse, lorsque la répétitivité des données est insuffisante, comme, sur l'image ci contre, lors de ce printemps 2013 extrêmement nuageux. Les images suivantes de la série ne présentent pas ce genre d'erreurs.

 

Cet article décrit brièvement les principales étapes du traitement qui ont permis d'obtenir ce résultat.

 

Point de départ : Niveau 1T

Nous téléchargeons les données depuis le site earthexplorer, en utilisant une version améliorée du script de téléchargement décrit ici. Ces données sont orthorectifiées par l'USGS, à partir d'une base de données mondiale de points d'appuis.

 

Les spécifications de localisation pour les données LANDSAT de l'USGS sont de 50 mètres. Nous avons constaté, sur la région de Toulouse, des erreurs de localisation égales à 1,5 pixels, mais d'autres régions sont mieux loties. L'USGS a confirmé les erreurs que nous observons du côté de Toulouse (38m vers le sud) et promet de les corriger. Notre traitement ne corrige pas ces erreurs qui restent modérées, et pour obtenir une performance améliorée, il faudra attendre le retraitement de ces données par l'USGS, ou rattraper le décalage éventuel par vous mêmes.

 

En ce qui concerne l'étalonnage absolu du satellite LANDSAT 8, nous utilisons celui recommandé par la NASA (et fourni avec les produits LANDSAT 8).

 

Reprojection en Lambert 93


Les données de l'USGS sont fournies en projection UTM. Cette projection utilise trois fuseaux différents au dessus de la France, qui se divise donc en 3 zones différentes, l'Ouest de la France, le Centre et l'Est. Comme les données de deux fuseaux différents ne se superposent pas directement, nous avons donc décidé de reprojeter les données en Lambert 93, qui est la projection officielle pour la France.

Découpage des produits en tuiles

Nous avons pris le parti de suivre la même logique que celle utilisée par Sentinel-2, et de découper les données en tuiles de 110*110 km décalées de 100 km les unes par rapport aux autres. La tuile 1x1 se trouve au sud-ouest de la France, lorsqu'on va vers l'est (vers la droite), on incrémente la première coordonnée de D0001 à D0010 (D pour Droite), lorsqu'on va vers le Nord (vers le haut), on incrémente la seconde coordonnée, de H0001 à H0010 (H pour Haut). La tuile de Toulouse s'appelle donc D0005H0002  Le découpage en tuiles est visible sur l'image ci-jointe.

 

Pour la Corse, nous avons défini une autre grille de tuiles, composée de deux tuiles.

 

Pour chacune des tuiles, nous fournissons l'ensemble des dates pour lesquelles une image LANDSAT8 a une intersection non nulle avec la tuile. Quelques dates peuvent manquer, pour plusieurs raisons, liées en général à la couverture nuageuse :

  • l'image n'a pas été acquise par LANDSAT 8 (quand les prévisions météo indiquent un temps très couvert, les images ne sont pas acquises).
  • l'image a été acquise mais s'est avérée trop nuageuse pour être traitée au niveau 1T par l'USGS
  • l'image est trop nuageuse pour être traitée par la chaîne de Niveau 2A

 

Traitement de Niveau 2A (correction atmosphériques et détection des nuages)

Il est important de noter que notre chaîne ne traite pas les bandes thermiques pour l'instant. Une correction est à l'étude, mais celle-ci ne sera pas opérationnelle avant un ou deux ans.

 

La méthode utilisée pour les bandes visible, proche et moyen infra rouge est quasiment la même que pour SPOT4(Take5). Le traitement a été effectué avec la même chaîne, le prototype de MACCS, développé et maintenu au CESBIO par Mireille Huc. Notre méthode de base est une méthode multi-temporelle à la fois pour la détection des nuages, des ombres de nuages, de l'eau et pour l'estimation de l'épaisseur optique des aérosols.

 

Cependant, grâce à la richesse spectrale de LANDSAT, nous avons pu enrichir nos méthodes par rapport à la version utilisée pour SPOT4 (Take5) :  la bande 1.38µm de LANDSAT8 permet de détecter les nuages hauts. Et grâce à la bande bleue, nous pouvons utiliser un critère complémentaire pour détecter les aérosols, grâce à la relation quasi constante observée entre les réflectances des bandes bleues et rouges au dessus de la végétation. Le gain de précision dû à la présence de cette bande permet de compenser la perte de précision de la méthode multi-temporelle due à la faible répétitivité de LANDSAT8.

Images de la tuile obtenue sur la région parisienne, en provenance de trois traces différentes de LANDSAT (de gauche à droite, les traces 200, 199 et 198). Les angles de visée sont légèrement différents sur chacune des traces (visée depuis l'ouest sur l'image de gauche, visée au nadir au centre, visée depuis l'est sur l'image de droite).

 

Pour augmenter la précision de la détection des nuages, nous avons décidé d'utiliser les données issues de traces adjacentes de LANDSAT8 dans les séries temporelles de niveau 2A. Ces données ne sont pas acquises exactement sous le même angle (+/- 7 degrés), mais la différence d'angle est suffisamment petite pour qu'il y ait un vrai gain de précision sur les zones d'intersection entre traces. En raison de cette approximation, quelques artefacts peuvent être observés.

 

Pour gagner davantage de répétitivité, nous pourrions aussi entrelacer des données LANDSAT 7 et LANDSAT 8 dans des séries temporelles communes, mais ceci ne sera implémenté que dans une prochaine version.

 

Format des données

Le format des produits de Niveau 2A de LANDSAT 8 est le même que celui des données SPOT4 (Take5), à quelques détails près que je fournirai dans une nouvelle page, dès que j'ai un moment...

 

* Ca va vite, oui, c'est comme ça qu'on parle chez les anciens jeunes du CNES...