Production of LANDSAT L2A data at THEIA to begin shortly.

At CNES, the prototype MUSCATE production facility of THEIA land data centre will soon start the production and distribution of Level 2A Landsat 5 and 7 data, and shortly after of LANDSAT 8 data covering the entire surface of France.

 

Mosaic of LANDSAT 5 & 7 data produced at CESBIO, from both ESA and USGS data. These data are cut in 110 x 110 km² tiles. For each tile, each LANDSAT acquisition with at least a little clear sky corner is provided.

 

For Landsat 5 and 7, we use data from both USGS and ESA : indeed, up to now only ESA has the LANDSAT 5 data that were acquired over the receiving stations of Mas Palomas (Canary Islands), Matera (Italy), and Svalbard (Norway). A transfer to USGS of ESA's data is expected, it may have started in Svalbard, but it has not yet begun for the Matera station, which covers France.

Level 1C

The USGS data are orthorectified, but those from ESA are not, so, as for SPOT4 (Take5), we set up an ortho-rectification processing using the SIGMA tool provided by CNES.  The ESA's products we received 2 years ago also have some flaws (which may have been corrected by now, but given it took months to obtain the data we did not ask for a reprocessing): the thermal band is unusable and you will find here and there colourful bright spots, such as those produced by your neighbour moped on your TV when you were a child. Nevertheless, we can produce correct Level 1 products, although we look forward to the reprocessing of these products by USGS. ESA has now it own processing of LANDSAT data, but it stops at level 1C.

For Landsat 7, this processing is not necessary because the data are already ortho-rectified. We interpolate only a small portion of the missing data due to LANDSAT 7 SLC breakdown, and then we discard the parts of the image where the gaps are too large. For LANDSAT 8, none of these processings are needed.

 

Level 2A

The Level 2A products (Cloud Mask, Atmospheric correction) will be produced by the prototype of MACCS software developed and maintained by Mireille Huc (CESBIO, CNRS). Two years ago, I had already produced such a data set on the most Southern part of France, at CESBIO. These products are already distributed on THEIA web site and are also used to illustrate this post.

 

LANDSAT 5 and 7 :

Starting in April, we will process the LANDSAT 5 & 7 data acquired above France from 2009 to 2011.

 

LANDSAT 8 :

From April or May, we will process the LANDSAT 8 data acquired since april 2013, and we will try to keep the pace so as to produce the incoming new LANDSAT 8 acquisitions with a short delay.

 

Data Format :

We will reuse the data format of SPOT4 (Take5). France will be split into 110*110 km² tiles with a 10 km overlap with their neighbours. (See the image mosaic obtained for the South of France).

Depending on the success of the distribution of these data, we will decide if it is worth producing older time periods or other regions. Please tell us if you need such data.

Exemple : available LANDSAT images from July to October 2009 for the tile centered on Toulouse. For each date, we provide the level 1C image tTOA reflectance), on the left, and the level 2A image on the right (surface reflectance). The detected clouds are circled in red.

Bientôt, des séries LANDSAT de Niveau 2A au pôle THEIA

=>

Le centre de production MUSCATE du pôle THEIA au CNES va bientôt lancer la production puis la distribution de données de niveau 2A acquises par LANDSAT 5 et 7, puis LANDSAT 8 couvrant toute la surface de la France (Métropole pour LANDSAT 5 et 7, Métropole + ROM COM pour LANDSAT 8).

 

Mosaique de données LANDSAT 5 et 7 produite au CESBIO, à partir de données de l'ESA et de l'USGS. Les données sont découpées en tuiles de 110 x 110 km². Pour chaque tuile, toutes les dates ayant un petit coin de ciel clair sont fournies.

 

Pour LANDSAT 5 et 7, nous utilisons des données provenant à la fois de l'USGS et de l'ESA : en effet pour le moment, seule l'ESA dispose des données LANDSAT 5 acquises au dessus des stations de Mas Palomas (Canaries), Matera (Italie) et Svalbard (Norvège). Un transfert des données de l'ESA vers l'USGS est prévu, il a peut-être débuté pour Svalbard, mais il n'est pas encore commencé pour la station Matera, qui couvre la France.

 

Niveau 1C :

Les données de l'USGS sont bien ortho-rectifiées, mais celles de l'ESA ne le sont pas, nous avons donc mis en place, comme pour SPOT4(Take5), une chaîne d'ortho-rectification des images à partir de l'outil SIGMA du CNES. Les produits de l'ESA dont nous disposons présentent aussi quelques défauts : la bande thermique est inutilisable et vous trouverez, par ci par la, des points brillants colorés, comme ceux que la mobylette du voisin faisait apparaître sur notre télé quand nous étions petits. Malgré tout, nous arrivons à produire des produits de Niveau 1C corrects, même si nous attendons avec impatience le retraitement des données par l'USGS. Depuis peu, l'ESA a sa propre chaîne de traitement de données LANDSAT 5, mais celle-ci s'arrête au niveau 1C.

 

Pour LANDSAT 7, ce traitement n'est pas nécessaire car les données sont déjà ortho-rectifiées. Nous interpolons seulement une petite partie des données manquantes (les stries sur les images), puis nous rognons une grande partie de l'image. Pour LANDSAT 8, aucun de ces traitements n'est nécessaire.

 

Niveau 2A :

Les produits de Niveau 2A (Masque de Nuages, Corrections atmosphériques) seront produits à partir de la chaîne prototype développée et maintenue par Mireille Huc (CESBIO, CNRS). J'avais réalisé au CESBIO, il y a quelques années une production de ces mêmes données sur l'extrême Sud de la France, de Bordeaux à Marseille en passant par les Pyrénées. Cette production est d'ores et déjà disponible sur le site du pôle THEIA. Les illustrations ci-jointes en proviennent.

 

LANDSAT 5 et 7 :

Nous traiterons, dans un premier temps, probablement à partir du mois d'Avril, les données LANDSAT 5 et 7 acquises de 2009 à 2011.

LANDSAT 8 :

A partir d'Avril ou Mai 2014, nous traiterons les données LANDSAT 8 acquises depuis avril 2013, puis nous traiterons les données arrivant au fur et à mesure.

Format des données :

Le format des données sera identique à celui utilisé pour SPOT4 (Take5). La France sera découpée en tuiles de 110*110 kilomètres se recouvrant avec leurs voisines sur 10 kilomètres. (Cf la mosaique d'images de 2010 sur le sud de la France).

 

En fonction du succès de la mise à disposition de ces données, nous déciderons s'il y a lieu de produire d'autres années, ou d'étendre la zone couverte à d'autres produits. N'hésitez donc pas à nous faire part de votre intérêt pour ces données.

Exemple des images disponibles pour les de juillet à octobre 2009 pour la tuile centrée sur Toulouse. Pour chaque date, nous fournissons à gauche l'image de niveau 1C (en réflectances TOA), et à droite l'image de niveau 2A (en réflectances de surface). Les nuages détectés sont entourés en rouge

A new version of the SPOT4(Take5) products is available.

Here are the thumbnails from the China(2) site, for which several dates were missing on the version 1.0. Please note that on the server, you may download all the dates at once by clicking on the 1C or 2A buttons.

=>

The CNES teams of the THEIA Land Data Center have reprocessed the SPOT4 (Take5) data, in order to take into account a large number of images that were not processed in the first place, because some data had not been yet received or because their processing had failed due to a few little bugs.

 

The same processors and parameters were used and the only difference is the increased number of available dates, but as the L2A methods are multi-temporal and recurrent, when we add an image, the results on the subsequent images are also changed. It is thus advisable that you download again all the products of the sites you are interested in, from the following address : http://spirit.cnes.fr/take5

 

On this prototype ground segment, our management of product versions is basic, and only takes the processors into account. As the processors are unchanged, the new version 1.1 products are still identified as level 1.0 products in the Metadata. We are sorry for this inconvenience, you will need to pay attention not to mix them with the older version.

 

The adjacency effects, how they work.

As explained in the post about atmospheric effects, the scattering of light by molecules and aerosols in the atmosphere brings about several effects : scattering adds some haze on the images (the atmospheric reflectance), lessens the signal from the surface (the atmospheric transmission), and blurs the images (the adjacency effects). This post is about the adjacency effects, the other aspects have already been quickly explained in the above post.

 

The figure on the right shows the types of paths that light can follow before getting to the satellite. Path 1 corresponds to the atmospheric reflectance, path 2 is path that interacts with the target, it is the one which is useful to determine the surface reflectance, paths 3 and 4 contribute to the total reflectance but interact with the surface away from the target. These paths are thus the cause of adjacency effects and they blur the images.

 

 

If not corrected, adjacency effects may cause large errors. Let's take the case of a fully developed irrigated field surrounded by bare soil. For such a case, the second figure on the right shows the relative percentage of errors for reflectances and NDVI as a function of aerosol optical thickness, if adjacency effect is not corrected.

 

 

 

An approximate correction can be applied, but it thus requires to know the aerosol optical thickness. In our MACCS processor, here is how it works :

 

  1. We first correct the images under the assumption that the Landscape is uniform. We obtain a surface reflectance under uniform absorption which is noted  \rho_{s,unif} .
  2. We compute the neighbourhood reflectance (  \rho_{s,adj} ) using a convolution filter with a 2km radius, that computes the average neighborhood reflectance weighted by the distance to the target. To be fully rigorous, this filter should depend on the optical thickness and on the viewing and sun angle (The less aerosols, the larger radius), but as we did not work on an accurate model, we used a constant radius.
  3. We correct for the contribution of paths 3 and 4 using :

 \rho_{s}=\frac{\rho_{s,unif}.T^{\uparrow}.\frac{1-\rho_{s,unif}.s}{1-\rho_{s,adj}.s}-\rho_{s,adj}. T_{dif}^{\uparrow}}{T_{dir}^{\uparrow}}

  • where  T^{\uparrow}=T_{dif}^{\uparrow}+T_{dir}^{\uparrow} is the total upward transmission, sum of diffuse and direct upward transmissions, and s is the atmosphere spheric albedo. These quantities depend on the wavelength, on the aerosol model and on the AOT. They are computed using Look up Tables based on radiative transfer calculations.

 

As this processing uses convolution with a large radius, it takes quite a large part of the atmospheric processing time.

 

Result Exemples

The images below show 3 stages of the atmospheric processing, for 2 Formosat-2 images obtained over Montreal (Canada) with a 2 days interval. The first image was acquired on a hazy day (aerosol optical thickness (AOT) of 0.47 according to MACCS estimate); and the second one on a clear day (AOT=0.1).

  • The first line corresponds to the Top Of Atmosphere images, without atmospheric correction. The left image is obviously blurred compared to the right image.
  • The second line corresponds to the atmospheric correction under uniform landscape assumption (as in step 1). The left image is still obviously blurred compared to the right image.
  • the third line show the same images after adjacency effect correction. In that case, the left image is not blurred any more, it is even maybe a little over corrected as it seems somewhat sharper that the right image.

TOA Images (On the left, the hazy image)


Surface reflectance under uniform landscape assumption (on the left, the hazy image)

 

Surface reflectance after adjacency effect correction (on the left, the hazy image)

 

The pixel wise comparison of reflectances is also a way to show the enhancement due to the adjacency effect correction. The plot below compares the images of both dates corrected under the uniform landscape assumption (on the left), and after adjacency effect correction (on the right). You may observe that the dots are closer the the black diagonal on the right. On the hazy image (May 27th), the high reflectances are a little too low, while the low reflectances are a little too high, which is the symptom of a loss of contrast.

Le Pôle Thématique Surfaces Continentales THEIA

(English Version)

Le "Pôle Thématique Surfaces Continentales" THEIA est une structure nationale inter-organismes destinée à valoriser les données satellitaires, en premier lieu au service de la recherche environnementale sur les terres émergées, et en second lieu des politiques publiques de suivi et de gestion des ressources environnementales. Son objectif est de faciliter la mesure de l’impact des pressions anthropiques et du climat sur les écosystèmes et les territoires, observer, quantifier et modéliser les cycles de l’eau et du carbone, de suivre les évolutions des sociétés et de leurs activités, notamment de leurs pratiques agricoles, et de comprendre les dynamiques de la biodiversité.

Au sein de ce Pôle Thématique, le CNES met en place un centre de production MUlti Satellite, multi-CApteurs, pour des données multi-TEmporelles (MUSCATE). Ce centre a pour but de mettre à disposition des utilisateurs des produits prêts à l'emploi issus de séries temporelles d'images acquises sur de grands territoires. La mission Sentinel-2 sera bien sûr le fer de lance de ce centre de production, mais avant le lancement de la constellation, MUSCATE a d'ores et déjà produit les données issues de l'expérience SPOT4 (Take 5). En même temps, le centre de traitement prépare aussi l'exploitation de toutes les données LANDSAT acquises au dessus de la France continentale, de 2009 à 2011.

Le centre de production MUSCATE existe déjà sous la forme d'un prototype développé au CNES avec un fort soutien de la société CAP GEMINI. Ce prototype est déjà capable de traiter les données des satellites LANDSAT, SPOT, Formosat-2, Venµs et Sentinel-2, à partir de chaînes développées au CNES pour le traitement géométrique [1], au CESBIO pour la détection des nuages [2] et pour la correction des effets atmosphériques [3]. En parallèle, le développement d'un centre de production opérationnel est en phase de spécification.

Les produits fournis par le centre MUSCATE sont les suivants :

Simulations des produits SPOT4(Take5) à partir d'images Formosat-2

  • Niveau 1C (Données ortho-rectifiées en réflectance au sommet de l’atmosphère)
  • Niveau 2A (Données ortho-rectifiées en réflectance de surface après correction atmosphérique,  avec un masque des nuages et de leurs ombres, ainsi qu'un masque des surfaces d’eau et de neige).
  • Niveau 3A (Synthèses bi-mensuelles ou mensuelles de réflectances de surface, constituées de la moyenne pondérée des réflectances de surface des pixels non nuageux obtenus au cours de la période). Pour le moment, la chaîne de Niveau 3A n'existe que pour le satellite Venµs.

Les données produites par le centre MUSCATE seront autant que possible distribuées gratuitement aux laboratoires de recherche d'une part, et aux institutions publiques françaises d'autre part. Le PTSC disposera bien sûr, dans les mois qui viennent d'un serveur de distribution des données, dont la première version est en cours de finalisation.

[1]: Baillarin, S., P. Gigord, et O. Hagolle. 2008. « Automatic Registration of Optical Images, a Stake for Future Missions: Application to Ortho-Rectification, Time Series and Mosaic Products ». In Geoscience and Remote Sensing Symposium, 2008, 2:II‑1112‑II‑1115. doi:10.1109/IGARSS.2008.4779194.

[2]: Hagolle, Olivier, Mireille Huc, David Villa Pascual, et Gérard Dedieu. 2010. « A multi-temporal method for cloud detection, applied to FORMOSAT-2, VENµS, LANDSAT and SENTINEL-2 images ». Remote Sensing of Environment 114 (8) (août 16): 1747‑1755. doi:10.1016/j.rse.2010.03.002.

[3]: Hagolle, O, G Dedieu, B Mougenot, V Debaecker, B Duchemin, et A Meygret. 2008. « Correction of aerosol effects on multi-temporal images acquired with constant viewing angles: Application to Formosat-2 images ». REMOTE SENSING OF ENVIRONMENT 112 (4) (avril 15): 1689‑1701. doi:10.1016/j.rse.2007.08.016.

 

THEIA : A new French Data Centre dedicated to Land Surfaces

(French Version)

The THEIA Land Data Centre is a French inter-agency initiative designed to promote the use of satellite data, primarily for environmental research on land surfaces but also for public policy monitoring and for management of environmental resources. Its objective is to foster the use of remote sensing data to measure the impact of human pressure and climate on ecosystems and local areas, to observe, quantify and model water and carbon cycles, to follow the evolution of societies and of their activities, including agricultural practices, and to understand the dynamics of biodiversity.

 

Within the Land Data Centre, CNES set up a production centre named MUSCATE. This centre aims are providing users with ready-to-use products derived from time series of images acquired over large areas. Sentinel-2 will of course be the spearhead of the production centre, but before the launch of the Sentinel-2, MUSCATE will already begin to produce data from the SPOT4 (Take 5) experiment. At the same time, the processing centre also prepares the production of all Landsat data acquired over mainland France from 2009 to 2011.

 

MUSCATE production centre already exists in the form of a prototype developed by CNES with strong support from Cap Gemini. This prototype is already able to handle LANDSAT, SPOT, FORMOSAT-2, Sentinel-2 and Venμs data, using processors developed by CNES for geometric processing [1], and developed by CESBIO for cloud detection [2] and for atmospheric correction [3]. Simultaneously, the development of an operational production facility is being specified.

Products provided by the MUSCATE Centre are:

Simulations of SPOT4(Take5) products from Formosat-2 data
  • Level 1C (orthorectified reflectance at the top of the atmosphere)
  • Level 2A (ortho-rectified surface reflectance after atmospheric correction, along with a mask of clouds and their shadows, as well as a mask of water and snow).
  • Level 3A (bi-monthly or monthly composite products of surface reflectances, obtained as the weighted average surface reflectance of non-cloudy pixels obtained during the period). Up to now, Level 3A chain is only available for Venμs satellite.

The data produced by MUSCATE will be freely distributed to research laboratories on the one hand, and to the French public institutions on the other, they will be if possible distributed freely to a wider community. The Land Data Center is also building a distribution server to make all these data available.

 

Further reading about these products :

[1]: Baillarin, S., P. Gigord, et O. Hagolle. 2008. « Automatic Registration of Optical Images, a Stake for Future Missions: Application to Ortho-Rectification, Time Series and Mosaic Products ». In Geoscience and Remote Sensing Symposium, 2008, 2:II‑1112‑II‑1115. doi:10.1109/IGARSS.2008.4779194.

[2]: Hagolle, Olivier, Mireille Huc, David Villa Pascual, et Gérard Dedieu. 2010. « A multi-temporal method for cloud detection, applied to FORMOSAT-2, VENµS, LANDSAT and SENTINEL-2 images ». Remote Sensing of Environment 114 (8) (août 16): 1747‑1755. doi:10.1016/j.rse.2010.03.002.

[3]: Hagolle, O, G Dedieu, B Mougenot, V Debaecker, B Duchemin, et A Meygret. 2008. « Correction of aerosol effects on multi-temporal images acquired with constant viewing angles: Application to Formosat-2 images ». REMOTE SENSING OF ENVIRONMENT 112 (4) (avril 15): 1689‑1701. doi:10.1016/j.rse.2007.08.016.