Production of LANDSAT L2A data at THEIA to begin shortly.

At CNES, the prototype MUSCATE production facility of THEIA land data centre will soon start the production and distribution of Level 2A Landsat 5 and 7 data, and shortly after of LANDSAT 8 data covering the entire surface of France.

 

Mosaic of LANDSAT 5 & 7 data produced at CESBIO, from both ESA and USGS data. These data are cut in 110 x 110 km² tiles. For each tile, each LANDSAT acquisition with at least a little clear sky corner is provided.

 

For Landsat 5 and 7, we use data from both USGS and ESA : indeed, up to now only ESA has the LANDSAT 5 data that were acquired over the receiving stations of Mas Palomas (Canary Islands), Matera (Italy), and Svalbard (Norway). A transfer to USGS of ESA's data is expected, it may have started in Svalbard, but it has not yet begun for the Matera station, which covers France.

Level 1C

The USGS data are orthorectified, but those from ESA are not, so, as for SPOT4 (Take5), we set up an ortho-rectification processing using the SIGMA tool provided by CNES.  The ESA's products we received 2 years ago also have some flaws (which may have been corrected by now, but given it took months to obtain the data we did not ask for a reprocessing): the thermal band is unusable and you will find here and there colourful bright spots, such as those produced by your neighbour moped on your TV when you were a child. Nevertheless, we can produce correct Level 1 products, although we look forward to the reprocessing of these products by USGS. ESA has now it own processing of LANDSAT data, but it stops at level 1C.

For Landsat 7, this processing is not necessary because the data are already ortho-rectified. We interpolate only a small portion of the missing data due to LANDSAT 7 SLC breakdown, and then we discard the parts of the image where the gaps are too large. For LANDSAT 8, none of these processings are needed.

 

Level 2A

The Level 2A products (Cloud Mask, Atmospheric correction) will be produced by the prototype of MACCS software developed and maintained by Mireille Huc (CESBIO, CNRS). Two years ago, I had already produced such a data set on the most Southern part of France, at CESBIO. These products are already distributed on THEIA web site and are also used to illustrate this post.

 

LANDSAT 5 and 7 :

Starting in April, we will process the LANDSAT 5 & 7 data acquired above France from 2009 to 2011.

 

LANDSAT 8 :

From April or May, we will process the LANDSAT 8 data acquired since april 2013, and we will try to keep the pace so as to produce the incoming new LANDSAT 8 acquisitions with a short delay.

 

Data Format :

We will reuse the data format of SPOT4 (Take5). France will be split into 110*110 km² tiles with a 10 km overlap with their neighbours. (See the image mosaic obtained for the South of France).

Depending on the success of the distribution of these data, we will decide if it is worth producing older time periods or other regions. Please tell us if you need such data.

Exemple : available LANDSAT images from July to October 2009 for the tile centered on Toulouse. For each date, we provide the level 1C image tTOA reflectance), on the left, and the level 2A image on the right (surface reflectance). The detected clouds are circled in red.

Bientôt, des séries LANDSAT de Niveau 2A au pôle THEIA

=>

Le centre de production MUSCATE du pôle THEIA au CNES va bientôt lancer la production puis la distribution de données de niveau 2A acquises par LANDSAT 5 et 7, puis LANDSAT 8 couvrant toute la surface de la France (Métropole pour LANDSAT 5 et 7, Métropole + ROM COM pour LANDSAT 8).

 

Mosaique de données LANDSAT 5 et 7 produite au CESBIO, à partir de données de l'ESA et de l'USGS. Les données sont découpées en tuiles de 110 x 110 km². Pour chaque tuile, toutes les dates ayant un petit coin de ciel clair sont fournies.

 

Pour LANDSAT 5 et 7, nous utilisons des données provenant à la fois de l'USGS et de l'ESA : en effet pour le moment, seule l'ESA dispose des données LANDSAT 5 acquises au dessus des stations de Mas Palomas (Canaries), Matera (Italie) et Svalbard (Norvège). Un transfert des données de l'ESA vers l'USGS est prévu, il a peut-être débuté pour Svalbard, mais il n'est pas encore commencé pour la station Matera, qui couvre la France.

 

Niveau 1C :

Les données de l'USGS sont bien ortho-rectifiées, mais celles de l'ESA ne le sont pas, nous avons donc mis en place, comme pour SPOT4(Take5), une chaîne d'ortho-rectification des images à partir de l'outil SIGMA du CNES. Les produits de l'ESA dont nous disposons présentent aussi quelques défauts : la bande thermique est inutilisable et vous trouverez, par ci par la, des points brillants colorés, comme ceux que la mobylette du voisin faisait apparaître sur notre télé quand nous étions petits. Malgré tout, nous arrivons à produire des produits de Niveau 1C corrects, même si nous attendons avec impatience le retraitement des données par l'USGS. Depuis peu, l'ESA a sa propre chaîne de traitement de données LANDSAT 5, mais celle-ci s'arrête au niveau 1C.

 

Pour LANDSAT 7, ce traitement n'est pas nécessaire car les données sont déjà ortho-rectifiées. Nous interpolons seulement une petite partie des données manquantes (les stries sur les images), puis nous rognons une grande partie de l'image. Pour LANDSAT 8, aucun de ces traitements n'est nécessaire.

 

Niveau 2A :

Les produits de Niveau 2A (Masque de Nuages, Corrections atmosphériques) seront produits à partir de la chaîne prototype développée et maintenue par Mireille Huc (CESBIO, CNRS). J'avais réalisé au CESBIO, il y a quelques années une production de ces mêmes données sur l'extrême Sud de la France, de Bordeaux à Marseille en passant par les Pyrénées. Cette production est d'ores et déjà disponible sur le site du pôle THEIA. Les illustrations ci-jointes en proviennent.

 

LANDSAT 5 et 7 :

Nous traiterons, dans un premier temps, probablement à partir du mois d'Avril, les données LANDSAT 5 et 7 acquises de 2009 à 2011.

LANDSAT 8 :

A partir d'Avril ou Mai 2014, nous traiterons les données LANDSAT 8 acquises depuis avril 2013, puis nous traiterons les données arrivant au fur et à mesure.

Format des données :

Le format des données sera identique à celui utilisé pour SPOT4 (Take5). La France sera découpée en tuiles de 110*110 kilomètres se recouvrant avec leurs voisines sur 10 kilomètres. (Cf la mosaique d'images de 2010 sur le sud de la France).

 

En fonction du succès de la mise à disposition de ces données, nous déciderons s'il y a lieu de produire d'autres années, ou d'étendre la zone couverte à d'autres produits. N'hésitez donc pas à nous faire part de votre intérêt pour ces données.

Exemple des images disponibles pour les de juillet à octobre 2009 pour la tuile centrée sur Toulouse. Pour chaque date, nous fournissons à gauche l'image de niveau 1C (en réflectances TOA), et à droite l'image de niveau 2A (en réflectances de surface). Les nuages détectés sont entourés en rouge

A python module for batch downloads of LANDSAT data.

=>

The Python routine, provided via the link at the end of this post, enables batch downloads of LANDSAT data, on USGS earth explorer site.

 

It works for LANDSAT 8 and LANDSAT 7 (and could work for LANDSAT 5), it just requires that the data are available on line. It is the case for all LANDSAT 8 data, but for LANDSAT 5&7, it may be necessary to order the data first on http://earthexplorer.usgs.gov. The routine of course requires that you have an account and password on earth explorer, and you will have to configure your accounts and directories within the routine.

 

This routine may be used in two ways :

  • You select a LANDSAT scene defined by its WRS-2 coordinates (for instance, (198,030) pour Toulouse). The -d option requires that you provide a day of year for which the scene was observed (1 overpass every 16 days)
    • example :
    • python  download_landsat_scene.py -o scene -t LC8 -a 2013 -d 113 -f 365 -s 199030
  • You provide a list of products to download, with a site name for each product.
    • Example :
      python download_landsat_scene.py -o list -l landsat8_list.txt
    • landsat8_list.txt is as follows : of course, you need to get the references on Earth Explorer.
    • Tunisia LC81910352013160LGN00
      Tunisia LC81910362013160LGN00

 

The routine is available here : Download_landsat_scene.py

 

Once you have downloaded the data, you will probably want to convert them to reflectances or temperatures for the thermal bands. One of our colleagues at CESBIO provides a Python module to do the conversion (The post is in French, but Python is a universal language...).

Pour télécharger vos données LANDSAT sans un clic.

=>

Le bout de code Python dont le lien est fourni ci-dessous, permet de télécharger automatiquement des données LANDSAT, sur la version actuelle du site EarthExplorer.

 

Il fonctionne pour LANDSAT 8 et pour LANDSAT5 et 7, et nécessite que les données soient en ligne. C'est le cas pour toutes les données LANDSAT 8, pour les données LANDSAT5 ou LANDSAT7, il peut être au préalable nécessaire de demander la production sur le site http://earthexplorer.usgs.gov. Pour que le programme fonctionne, il faut bien sûr un compte sur Earth explorer, et il vous faudra configurer vos comptes, mots de passe et répertoires dans le corps du programme.

 

Ce programme peut être lancé de deux manières différentes :

  • En choisissant une scène LANDSAT définie par ses coordonnées WRS-2, par exemple, (198,030) pour Toulouse. Pour l'option -d il faut fournir un jour dans l'année pour lequel il y a un passage au dessus de la scène (1 passage tous les 16 jours)
    • exemple :
    • python  download_landsat_scene.py -t LC8 -a 2013 -d 113 -f 365 -s 199030
  • En fournissant en entrée un fichier avec la liste des produits à télécharger (un produit par ligne)
    • exemple :
      python download_landsat_scene.py -o liste -l list2_landsat8.txt
    • Avec un fichier list2_landsat8.txt comme ci-dessous, il faut aller chercher les références des produits sur earthExplorer.
    • Tunisie LC81910352013160LGN00
      Tunisie LC81910362013160LGN00

 

J'ai déplacé le code sur GitHub, qui est beaucoup plus pratique et fait pour ça.

https://github.com/olivierhagolle/LANDSAT-Download

 

Une fois que vos données auront été téléchargées, vous voudrez probablement les convertir en réflectance (TOA), ou en température pour les bandes thermiques. Un collègue du CESBIO fournit un programme en Python pour faire la conversion.

 

A new year of time series

=>

Dear readers of this blog, all my best wishes for 2014 !

 

May this new year bring you nice image time series, but spare you some time to process those recorded last year (among which SPOT4 (Take5) ;) ). Even if 2014 will be another year without Sentinel-2 and VENµS, let's guess that with LANDSAT-8 et SPOT4 (Take5),  the data sets produced by THEIA et maybe the new experiment SPOT5 (Take5), we won't have time to get bored.

This new year is also the first birthday of this blog, and though I only imagined to keep it during SPOT4 (Take5) experiment,  the large number of readers incite me to go on.  And a blog about time series should at least last for some time...

 

At least one visit from all the countries in blue has been recorded

Country Pages Visits
France
19 228 4 272
Italy
1 306 177
USA
1 250 515
Germany
781 218
Morocco
698 290
Tunisia
684 243
Belgium
682 162
Algeria
549 220
Canada
493 277
Netherlands
458 84

 

During its first year, this blog received 14000 visits, which is 60 visits per day of work (some of you even read it during week-ends, but I hope this blog is not the reason why you are not going for  a walk, to the movies or don't read good books !). 31000 pages were visited (with a click), but as it is a blog you may read several posts with only one click. 60% of the visits come from France and 40% from abroad, and the blog received at least a visitor from nearly every country.

Apart from the main pages, the most successful posts are :

 

 

 

 

Une nouvelle année de séries temporelles

=>

Chers lecteurs de ce blog, tous mes voeux pour 2014 !

 

Que cette nouvelle année vous procure de belles séries d'images mais vous laisse le temps de vous occuper de celles acquises l'an dernier ;) . Même si 2014 sera encore une année sans Sentinel-2 et Venµs, avec LANDSAT-8 et SPOT4 (Take5), avec les projets du pôle thématique THEIA, et peut être une nouvelle expérience SPOT5 (Take5), nous ne devrions pas nous ennuyer.

 

Cette nouvelle année marque aussi le premier anniversaire de ce blog, j'imaginais au départ le limiter à l'expérience SPOT4(Take5), mais les nombreux lecteurs de ce blog m'encouragent à poursuivre. Et un blog sur les série temporelles doit bien se poursuivre quelque temps...

 

Au cours de cette première année, ce blg a reçu 14000 visites, soit environ 60 visites par jour travaillé (mais certains d'entre vous le visitent aussi le week-end, et j'espère bien que ce n'est pas ce blog qui vous empêche d'aller vous promener, d'aller oir un film ou lire un bon livre). 31000 accès à des pages ont été enregistrés, mais comme pour tous les blogs, il est possible de lire plusieurs billets en un clic. 60% des visites viennent de France, et 40% viennent d'ailleurs, et le blog a reçu des visites de quasiment tous les pays du monde.

 

At least one visit from all the countries in blue has been recorded

Pays Pages Visites
France
19 228 4 272
Italy
1 306 177
USA
1 250 515
Germany
781 218
Morocco
698 290
Tunisia
684 243
Belgium
682 162
Algeria
549 220
Canada
493 277
Netherlands
458 84

 

Les pages les plus fréquentées sont les suivantes :