THEIA/MUSCATE nears real time for Sentinel-2 L2A

THEIA MUSCATE production of Sentinel-2 L2A products nears real time, and L2A products acquired until March 2017 over France and Reunion Island have started to appear on our distribution server :

https://theia.cnes.fr

The production will progressively be extended over the whole France and over the other sites (Spain, Morocco, Belgium Tunisia, Senegal, Burkina, Mali...) and then follow the real time acquisitions with the shortest delay possible.

 

La production par MUSCATE des données de niveau 2A de Sentinel-2 s'approche du temps réel, et les données acquises jusqu'à mars 2017 sur la France et l’île de la Réunion ont commencé à apparaître sur le serveur de distribution.

https://theia.cnes.fr

 

La production va être progressivement étendue à toute la France et aux autres sites (Espagne, Maroc, Belgique Tunisie, Sénégal, Burkina Faso, Mali...), et suivra ensuite les acquisitions en temps réel avec le plus court délai possible


5000 produits L2A Sentinel-2A ajoutés sur le serveur Theia

=>

:) :) :) Après avoir répété pendant des mois, "désolé, notre production a pris du retard pour telle ou telle raison", dans des articles de blog, au téléphone, en réunion, par email, sur twitter, vous ne pouvez pas imaginer le plaisir que j'éprouve à annoncer que le CNES vient de mettre en ligne de grandes séries de données Sentinel-2A, au niveau 2A, sur la France, la Réunion, le Nord de l'Espagne, le et des sites au Burkina Faso, en Ethiopie, et  en Tunisie (partiellement encore).  La période traitée s'étend sur un an, du 1er décembre 2015 au 30 novembre 2016. Au total, plus de 5000 tuiles sont disponibles. Les traitements sur les zones du Mali, du Maroc et du Sénegal vont commencer, puis ce sera le tour de Madagascar et des différentes zones affichées ici. Les données ont été traitées avec la chaîne MACCS.

Les données sont disponibles ici :

https://theia.cnes.fr/

N'oubliez pas de de consulter la page d'aide du site, nottamment pour accéder à la documentation du format du produit et pour installer l'outil de téléchargement.

Continue reading

MUSCATE : Nouvelles, News... y Noticias

On dirait que mes annonces concernant Muscate ne portent pas chance à ce système. La semaine dernière, alors que j'annonçais une production régulière, les performances d'accès à la baie de disques du nouveau cluster se sont nettement dégradées (nous utilisons encore l'ancien cluster, mais nos données sont sur la baie du nouveau, avec un accès par NFS (Network File System) qui a tendance à ralentir les performances). Après un arrêt d'une journée, les ingénieurs du centre informatique ont pu faire des tests et quelques réglages qui ont nettement amélioré les performances, permettant à Muscate de repartir sur de meilleures bases.

 

En conséquence, la production est maintenant plus soutenue (jusqu'à 160 produits par jour), aucune nouvelle anomalie sur Muscate n'a été détectée lors des dernières semaines, et la production des données sur la France jusqu'à début décembre est terminée. Comme vous pouvez le voir sur les images jointes, la production réalisée s'étend au Nord de l'Espagne. Les nouvelles données, qui portent le numéro de version 1_1 ont commencé à être distribuées sur l'atelier de distribution https://theia.cnes.fr. Vu le volume de données, celà prendra quelques jours !

 

Enfin, le traitement des zones Burkina, Sénégal, Maroc et Tunisie commence aujourd'hui, et d'ici peu, l'adaptation au nouveau format des tuiles sera validée et nous pourrons nous approcher d'une production en temps réel. En espérant par ce nouvel article ne pas avoir jeté le mauvais oeil à Muscate...

 

It seems that my posts on this blog throw an evil eye to Muscate. Last week, while I was announcing a steady production, the performances of the new cluster considerably degraded. We do not use the new cluster yet (in a few weeks), apart from it disks racks, accessed through a quite slow Network File System. After a one day closure of the system, to allow tests and tuning by the computer center engineers, the production resumed with much improved performances.

 

As a result, Muscate production is much faster (up to 160 products per day), no new anomaly has been detected for weeks now, and the production of data above France until December 2016 just ended. It also extends to the Noth of Spain. The data have started to be pushed to the distribution server, http://theia.cnes.fr. Given the data volume, it will take a few days.
We are starting, today, the production of 4 other zones : Burkina, Senegal, Morocco and Tunisia, and as the adaptation to the new Sentinel-2 data format is nearly qualified, we will soon start real-time production. Hoping this new post is not a bad curse for Muscate...

 

 

La producción de Muscate se extiende al Norte de España, Aquí, una tela al norte de Burgos.

Parece que mis artículos sobre Muscate no traen suerte a este sistema. La semana pasada, cuando anuncié que la producción estaba regular, el acceso al nuevo cluster se degrado considerablemente. Después de una parada para un día, los ingenieros de centros de datos fueron capaces de hacer pruebas y ajustes que mejoraron significativamente el rendimiento, lo que permite Muscate trabajar en mejores condiciones.

 

 

En consecuencia, la producción es ahora mas rápida (hasta 160 productos por día), no se detectó ninguna anomalía nueva en Muscate en las últimas semanas, y se completó la producción de datos para Francia hasta principios de diciembre. Como se puede ver en las imágenes adjuntas, la producción obtenida se extiende al norte de España. Los nuevos datos, que llevan el número de versión 1_1 comenzaron a distribuirse en el taller de distribución https://theia.cnes.fr. Dado el volumen de datos, se tardará unos pocos días!

 

Por último, el tratamiento de las zonas de Burkina Faso, Senegal, Marruecos y Túnez comienza hoy, y en poco tiempo, se validará la adaptación al nuevo formato de la baldosa. Por fin podremos nos acercar a una producción en tiempo real.

Nouvelles de MUSCATE / MUSCATE news

Depuis que le nouveau cluster du CNES a été installé, le centre de production MUSCATE a fonctionné de manière régulière, avec un rythme de production de 100 tuiles Sentinel-2 traitées au Niveau 2 par jour. Nous sommes encore loin de la pleine vitesse :, il faudra d'une part encore quelques mises à jours pour que le système soit plus robuste, et d'autre part que le nouveau centre de calcul du CNES termine sa phase de rodage car il tourne tourne encore assez lentement. Cependant, la production des données sur la France, la Belgique, les Pyrénées, le bassin de l'Ebre et la Catalogne en Espagne devrait se terminer ce week-end et les données seront ensuite poussées verts le serveur de distribution dans le courant de la semaine prochaine. Les nouvelles données porteront la version V1_1.

 

Nous démarrerons par la suite la production des données de trois nouvelles zones, au Maroc, en Tunisie et au Burkina Faso. Quant au traitement en temps réel, il nous faut attendre la validation de la modification qui permet de gérer le nouveau format de données Sentinel-2, mis en place le 4 décembre. C'est pour très bientôt !

 

Since the new CNES cluster has been installed, the MUSCATE production rate has been steady, around 100 products per day. This is not full speed, as MUSCATE still needs a few updates to be more robust and can't still be used at full capacity, and as the CNES cluster is in its tuning phase and is often running quite slow. However, the production of all data above France, Belgium, and North of Spain (Pyrenees, Ebro basin, Catalonia) should be completed this week-end and pushed to the distribution server next week. The new products will have version number V1_1. This version brings mainly a few bug corrections, regarding the cloud shadows for instance.

 

Then we will proceed with 3 other zones ; Burkina, Morocco and Tunisia. To start real time production, we are waiting for the end of validation of the adaptation to the new format of Sentinel-2 data, which started to be used of the 4th of December 2017. It's nearly ready !

Production of LANDSAT L2A data at THEIA to begin shortly.

At CNES, the prototype MUSCATE production facility of THEIA land data centre will soon start the production and distribution of Level 2A Landsat 5 and 7 data, and shortly after of LANDSAT 8 data covering the entire surface of France.

 

Mosaic of LANDSAT 5 & 7 data produced at CESBIO, from both ESA and USGS data. These data are cut in 110 x 110 km² tiles. For each tile, each LANDSAT acquisition with at least a little clear sky corner is provided.

 

For Landsat 5 and 7, we use data from both USGS and ESA : indeed, up to now only ESA has the LANDSAT 5 data that were acquired over the receiving stations of Mas Palomas (Canary Islands), Matera (Italy), and Svalbard (Norway). A transfer to USGS of ESA's data is expected, it may have started in Svalbard, but it has not yet begun for the Matera station, which covers France.

Level 1C

The USGS data are orthorectified, but those from ESA are not, so, as for SPOT4 (Take5), we set up an ortho-rectification processing using the SIGMA tool provided by CNES.  The ESA's products we received 2 years ago also have some flaws (which may have been corrected by now, but given it took months to obtain the data we did not ask for a reprocessing): the thermal band is unusable and you will find here and there colourful bright spots, such as those produced by your neighbour moped on your TV when you were a child. Nevertheless, we can produce correct Level 1 products, although we look forward to the reprocessing of these products by USGS. ESA has now it own processing of LANDSAT data, but it stops at level 1C.

For Landsat 7, this processing is not necessary because the data are already ortho-rectified. We interpolate only a small portion of the missing data due to LANDSAT 7 SLC breakdown, and then we discard the parts of the image where the gaps are too large. For LANDSAT 8, none of these processings are needed.

 

Level 2A

The Level 2A products (Cloud Mask, Atmospheric correction) will be produced by the prototype of MACCS software developed and maintained by Mireille Huc (CESBIO, CNRS). Two years ago, I had already produced such a data set on the most Southern part of France, at CESBIO. These products are already distributed on THEIA web site and are also used to illustrate this post.

 

LANDSAT 5 and 7 :

Starting in April, we will process the LANDSAT 5 & 7 data acquired above France from 2009 to 2011.

 

LANDSAT 8 :

From April or May, we will process the LANDSAT 8 data acquired since april 2013, and we will try to keep the pace so as to produce the incoming new LANDSAT 8 acquisitions with a short delay.

 

Data Format :

We will reuse the data format of SPOT4 (Take5). France will be split into 110*110 km² tiles with a 10 km overlap with their neighbours. (See the image mosaic obtained for the South of France).

Depending on the success of the distribution of these data, we will decide if it is worth producing older time periods or other regions. Please tell us if you need such data.

Exemple : available LANDSAT images from July to October 2009 for the tile centered on Toulouse. For each date, we provide the level 1C image tTOA reflectance), on the left, and the level 2A image on the right (surface reflectance). The detected clouds are circled in red.

Bientôt, des séries LANDSAT de Niveau 2A au pôle THEIA

=>

Le centre de production MUSCATE du pôle THEIA au CNES va bientôt lancer la production puis la distribution de données de niveau 2A acquises par LANDSAT 5 et 7, puis LANDSAT 8 couvrant toute la surface de la France (Métropole pour LANDSAT 5 et 7, Métropole + ROM COM pour LANDSAT 8).

 

Mosaique de données LANDSAT 5 et 7 produite au CESBIO, à partir de données de l'ESA et de l'USGS. Les données sont découpées en tuiles de 110 x 110 km². Pour chaque tuile, toutes les dates ayant un petit coin de ciel clair sont fournies.

 

Pour LANDSAT 5 et 7, nous utilisons des données provenant à la fois de l'USGS et de l'ESA : en effet pour le moment, seule l'ESA dispose des données LANDSAT 5 acquises au dessus des stations de Mas Palomas (Canaries), Matera (Italie) et Svalbard (Norvège). Un transfert des données de l'ESA vers l'USGS est prévu, il a peut-être débuté pour Svalbard, mais il n'est pas encore commencé pour la station Matera, qui couvre la France.

 

Niveau 1C :

Les données de l'USGS sont bien ortho-rectifiées, mais celles de l'ESA ne le sont pas, nous avons donc mis en place, comme pour SPOT4(Take5), une chaîne d'ortho-rectification des images à partir de l'outil SIGMA du CNES. Les produits de l'ESA dont nous disposons présentent aussi quelques défauts : la bande thermique est inutilisable et vous trouverez, par ci par la, des points brillants colorés, comme ceux que la mobylette du voisin faisait apparaître sur notre télé quand nous étions petits. Malgré tout, nous arrivons à produire des produits de Niveau 1C corrects, même si nous attendons avec impatience le retraitement des données par l'USGS. Depuis peu, l'ESA a sa propre chaîne de traitement de données LANDSAT 5, mais celle-ci s'arrête au niveau 1C.

 

Pour LANDSAT 7, ce traitement n'est pas nécessaire car les données sont déjà ortho-rectifiées. Nous interpolons seulement une petite partie des données manquantes (les stries sur les images), puis nous rognons une grande partie de l'image. Pour LANDSAT 8, aucun de ces traitements n'est nécessaire.

 

Niveau 2A :

Les produits de Niveau 2A (Masque de Nuages, Corrections atmosphériques) seront produits à partir de la chaîne prototype développée et maintenue par Mireille Huc (CESBIO, CNRS). J'avais réalisé au CESBIO, il y a quelques années une production de ces mêmes données sur l'extrême Sud de la France, de Bordeaux à Marseille en passant par les Pyrénées. Cette production est d'ores et déjà disponible sur le site du pôle THEIA. Les illustrations ci-jointes en proviennent.

 

LANDSAT 5 et 7 :

Nous traiterons, dans un premier temps, probablement à partir du mois d'Avril, les données LANDSAT 5 et 7 acquises de 2009 à 2011.

LANDSAT 8 :

A partir d'Avril ou Mai 2014, nous traiterons les données LANDSAT 8 acquises depuis avril 2013, puis nous traiterons les données arrivant au fur et à mesure.

Format des données :

Le format des données sera identique à celui utilisé pour SPOT4 (Take5). La France sera découpée en tuiles de 110*110 kilomètres se recouvrant avec leurs voisines sur 10 kilomètres. (Cf la mosaique d'images de 2010 sur le sud de la France).

 

En fonction du succès de la mise à disposition de ces données, nous déciderons s'il y a lieu de produire d'autres années, ou d'étendre la zone couverte à d'autres produits. N'hésitez donc pas à nous faire part de votre intérêt pour ces données.

Exemple des images disponibles pour les de juillet à octobre 2009 pour la tuile centrée sur Toulouse. Pour chaque date, nous fournissons à gauche l'image de niveau 1C (en réflectances TOA), et à droite l'image de niveau 2A (en réflectances de surface). Les nuages détectés sont entourés en rouge

A new version of the SPOT4(Take5) products is available.

Here are the thumbnails from the China(2) site, for which several dates were missing on the version 1.0. Please note that on the server, you may download all the dates at once by clicking on the 1C or 2A buttons.

=>

The CNES teams of the THEIA Land Data Center have reprocessed the SPOT4 (Take5) data, in order to take into account a large number of images that were not processed in the first place, because some data had not been yet received or because their processing had failed due to a few little bugs.

 

The same processors and parameters were used and the only difference is the increased number of available dates, but as the L2A methods are multi-temporal and recurrent, when we add an image, the results on the subsequent images are also changed. It is thus advisable that you download again all the products of the sites you are interested in, from the following address : http://spirit.cnes.fr/take5

 

On this prototype ground segment, our management of product versions is basic, and only takes the processors into account. As the processors are unchanged, the new version 1.1 products are still identified as level 1.0 products in the Metadata. We are sorry for this inconvenience, you will need to pay attention not to mix them with the older version.

 

The adjacency effects, how they work.

As explained in the post about atmospheric effects, the scattering of light by molecules and aerosols in the atmosphere brings about several effects : scattering adds some haze on the images (the atmospheric reflectance), lessens the signal from the surface (the atmospheric transmission), and blurs the images (the adjacency effects). This post is about the adjacency effects, the other aspects have already been quickly explained in the above post.

 

The figure on the right shows the types of paths that light can follow before getting to the satellite. Path 1 corresponds to the atmospheric reflectance, path 2 is path that interacts with the target, it is the one which is useful to determine the surface reflectance, paths 3 and 4 contribute to the total reflectance but interact with the surface away from the target. These paths are thus the cause of adjacency effects and they blur the images.

 

 

If not corrected, adjacency effects may cause large errors. Let's take the case of a fully developed irrigated field surrounded by bare soil. For such a case, the second figure on the right shows the relative percentage of errors for reflectances and NDVI as a function of aerosol optical thickness, if adjacency effect is not corrected.

 

 

 

An approximate correction can be applied, but it thus requires to know the aerosol optical thickness. In our MACCS processor, here is how it works :

 

  1. We first correct the images under the assumption that the Landscape is uniform. We obtain a surface reflectance under uniform absorption which is noted  \rho_{s,unif} .
  2. We compute the neighbourhood reflectance (  \rho_{s,adj} ) using a convolution filter with a 2km radius, that computes the average neighborhood reflectance weighted by the distance to the target. To be fully rigorous, this filter should depend on the optical thickness and on the viewing and sun angle (The less aerosols, the larger radius), but as we did not work on an accurate model, we used a constant radius.
  3. We correct for the contribution of paths 3 and 4 using :

 \rho_{s}=\frac{\rho_{s,unif}.T^{\uparrow}.\frac{1-\rho_{s,unif}.s}{1-\rho_{s,adj}.s}-\rho_{s,adj}. T_{dif}^{\uparrow}}{T_{dir}^{\uparrow}}

  • where  T^{\uparrow}=T_{dif}^{\uparrow}+T_{dir}^{\uparrow} is the total upward transmission, sum of diffuse and direct upward transmissions, and s is the atmosphere spheric albedo. These quantities depend on the wavelength, on the aerosol model and on the AOT. They are computed using Look up Tables based on radiative transfer calculations.

 

As this processing uses convolution with a large radius, it takes quite a large part of the atmospheric processing time.

 

Result Exemples

The images below show 3 stages of the atmospheric processing, for 2 Formosat-2 images obtained over Montreal (Canada) with a 2 days interval. The first image was acquired on a hazy day (aerosol optical thickness (AOT) of 0.47 according to MACCS estimate); and the second one on a clear day (AOT=0.1).

  • The first line corresponds to the Top Of Atmosphere images, without atmospheric correction. The left image is obviously blurred compared to the right image.
  • The second line corresponds to the atmospheric correction under uniform landscape assumption (as in step 1). The left image is still obviously blurred compared to the right image.
  • the third line show the same images after adjacency effect correction. In that case, the left image is not blurred any more, it is even maybe a little over corrected as it seems somewhat sharper that the right image.

TOA Images (On the left, the hazy image)


Surface reflectance under uniform landscape assumption (on the left, the hazy image)

 

Surface reflectance after adjacency effect correction (on the left, the hazy image)

 

The pixel wise comparison of reflectances is also a way to show the enhancement due to the adjacency effect correction. The plot below compares the images of both dates corrected under the uniform landscape assumption (on the left), and after adjacency effect correction (on the right). You may observe that the dots are closer the the black diagonal on the right. On the hazy image (May 27th), the high reflectances are a little too low, while the low reflectances are a little too high, which is the symptom of a loss of contrast.

Le Pôle Thématique Surfaces Continentales THEIA

(English Version)

Le "Pôle Thématique Surfaces Continentales" THEIA est une structure nationale inter-organismes destinée à valoriser les données satellitaires, en premier lieu au service de la recherche environnementale sur les terres émergées, et en second lieu des politiques publiques de suivi et de gestion des ressources environnementales. Son objectif est de faciliter la mesure de l’impact des pressions anthropiques et du climat sur les écosystèmes et les territoires, observer, quantifier et modéliser les cycles de l’eau et du carbone, de suivre les évolutions des sociétés et de leurs activités, notamment de leurs pratiques agricoles, et de comprendre les dynamiques de la biodiversité.

Au sein de ce Pôle Thématique, le CNES met en place un centre de production MUlti Satellite, multi-CApteurs, pour des données multi-TEmporelles (MUSCATE). Ce centre a pour but de mettre à disposition des utilisateurs des produits prêts à l'emploi issus de séries temporelles d'images acquises sur de grands territoires. La mission Sentinel-2 sera bien sûr le fer de lance de ce centre de production, mais avant le lancement de la constellation, MUSCATE a d'ores et déjà produit les données issues de l'expérience SPOT4 (Take 5). En même temps, le centre de traitement prépare aussi l'exploitation de toutes les données LANDSAT acquises au dessus de la France continentale, de 2009 à 2011.

Le centre de production MUSCATE existe déjà sous la forme d'un prototype développé au CNES avec un fort soutien de la société CAP GEMINI. Ce prototype est déjà capable de traiter les données des satellites LANDSAT, SPOT, Formosat-2, Venµs et Sentinel-2, à partir de chaînes développées au CNES pour le traitement géométrique [1], au CESBIO pour la détection des nuages [2] et pour la correction des effets atmosphériques [3]. En parallèle, le développement d'un centre de production opérationnel est en phase de spécification.

Les produits fournis par le centre MUSCATE sont les suivants :

Simulations des produits SPOT4(Take5) à partir d'images Formosat-2

  • Niveau 1C (Données ortho-rectifiées en réflectance au sommet de l’atmosphère)
  • Niveau 2A (Données ortho-rectifiées en réflectance de surface après correction atmosphérique,  avec un masque des nuages et de leurs ombres, ainsi qu'un masque des surfaces d’eau et de neige).
  • Niveau 3A (Synthèses bi-mensuelles ou mensuelles de réflectances de surface, constituées de la moyenne pondérée des réflectances de surface des pixels non nuageux obtenus au cours de la période). Pour le moment, la chaîne de Niveau 3A n'existe que pour le satellite Venµs.

Les données produites par le centre MUSCATE seront autant que possible distribuées gratuitement aux laboratoires de recherche d'une part, et aux institutions publiques françaises d'autre part. Le PTSC disposera bien sûr, dans les mois qui viennent d'un serveur de distribution des données, dont la première version est en cours de finalisation.

[1]: Baillarin, S., P. Gigord, et O. Hagolle. 2008. « Automatic Registration of Optical Images, a Stake for Future Missions: Application to Ortho-Rectification, Time Series and Mosaic Products ». In Geoscience and Remote Sensing Symposium, 2008, 2:II‑1112‑II‑1115. doi:10.1109/IGARSS.2008.4779194.

[2]: Hagolle, Olivier, Mireille Huc, David Villa Pascual, et Gérard Dedieu. 2010. « A multi-temporal method for cloud detection, applied to FORMOSAT-2, VENµS, LANDSAT and SENTINEL-2 images ». Remote Sensing of Environment 114 (8) (août 16): 1747‑1755. doi:10.1016/j.rse.2010.03.002.

[3]: Hagolle, O, G Dedieu, B Mougenot, V Debaecker, B Duchemin, et A Meygret. 2008. « Correction of aerosol effects on multi-temporal images acquired with constant viewing angles: Application to Formosat-2 images ». REMOTE SENSING OF ENVIRONMENT 112 (4) (avril 15): 1689‑1701. doi:10.1016/j.rse.2007.08.016.