De l'importance d'un bon masque de nuage pour le traitement automatisé de séries temporelles

=>

Série temporelle de réflectance au sommet de l'atmosphère pour les 4 bandes à 10m de résolution de Sentinel-2, issues des produits L1C

 

Le graphique ci-dessus montre une série temporelle de réflectance TOA rassemblée par Sentinel-2 sur un pixel choisi au hasard dans une tuile au centre de la France (tuile 31TDK, pixel 3000-7000), à partir de produits L1C. En regardant la série chronologique, il est assez difficile de dire quel type de surface a été observé, même si un cycle végétatif semble être présent. Comme nous le verrons ci-dessous, la plupart du bruit observé est dû à la présence de nuages ​​ou d'ombres de nuages.

 

La courbe ci-dessous montre qu'après avoir retiré tous les nuages ​​et leurs ombres, la réflectance au sommet de l'atmosphère est déjà plus lisse, et il est ainsi beaucoup plus facile de comprendre le type de surface observée. Continue reading

The importance of a good cloud mask for the operational use of Sentinel-2 data

=>

Top of Atmosphere reflectance in the 4 high resolution channels of Sentinel-2

The above plot shows the TOA reflectance time series gathered by Sentinel-2 over a pixel chosen randomly in a tile in the centre of France (tile 31TDK, pixel 3000-7000), from L1C products.  Looking at the time series, it is rather difficult to tell what kind of surface was observed, even if a vegetation cycle seems to be present.  As we will see below, most of the observed noise is due to the presence of clouds or cloud shadows.

Continue reading

(Enfin !) Téléchargement par script des produits de niveau 2A de Sentinel-2 de Theia

=>

La production des données de niveau 2A de Sentinel-2 se poursuit au CNES, mais un peu moins vite que prévu pour le moment.  Nous avons connu un jour faste pendant lequel 600 tuiles ont été produites, mais le rythme de production a souvent été plus lent : nous avons  résolu progressivement de petites anomalies et en même temps, le centre informatique du CNES sur lequel nous nous appuyons a connu de petits soucis.

 

Pendant ce temps, mes collègues de l'équipe MUSCATE, et notamment Dominique Clesse et Remi Mourembles de CAP GEMINI, on ajouté au site de distribution la possibilité de télécharger les données par script, sans un clic.

 

Le script est très facile à utiliser, par exemple, la ligne ci-dessous télécharge les données Sentinel-2 de la tuile 31TCJ (Toulouse), acquises en Septembre 2016 :

python ./theia_download.py -t 'T31TCJ' -c SENTINEL2 -a config_theia.cfg -d 2016-09-01 -f 2016-10-01

Continue reading

Retour au plan A pour Theia-Muscate

Depuis deux mois, nous distribuons les données Sentinel-2 de niveau 2A sur la France sur le centre de traitement MUSCATE. Les données sont produites par le CNES, pour le compte de THEIA et disponibles à l'adresse ci-dessous :

 

https://theia.cnes.fr/atdistrib/rocket

 

Mais ces données étaient jusqu'ici produites selon le plan B : sur une plate-forme de test, avec une ancienne version des chaînes, puis transportées à la main sur le serveur de distribution. Mais il existe bien sûr un plan A  : production opérationnelle des données, sur la plate forme opérationnelle, avec la chaîne à jour. Le Plan A avait été suspendu, car le système MUSCATE était soupçonné d'avoir fait planter, au cœur du mois d’août le centre informatique du CNES en écroulant ses performances.  MUSCATE a été complètement disculpé après 7 semaines de tests. Le plan A a donc été activé, qualifié, et TATATA :

La production a démarré mardi soir (22 novembre) !

Continue reading

Monthly cloud free syntheses merging Sentinel-2 and Landsat 8

To compute a cloud free synthesis of surface reflectances every month, a good repetitivity of observations is necessary. The weighted average method we developed at CESBIO, and which will be part of ESA's sen2agri system was coded by Cosmin Udroiu at CS Romania. It was meant to work with both Sentinel-2 sensors and an observation every fifth day. As we are still waiting for the launch of Sentinel-2B, the monthly syntheses obtained with Sentinel-2A alone really lack cloud free data.

 

On the left, the Sentinel-2A monthly synthesis, above Odessa (Ukraine) in May, and on the right its flag, with, in black, the areas flagged as cloud or cloud shadow. When a pixel is flagged as cloud or cloud shadow, the monthly synthesis provides the minimum blue reflectance, which tends to avoid clouds (if possible), but often selects cloud shadows.

 

Fortunately, the Sen2agri L3A processor is designed to work with LANDSAT 8 too, as both satellites have similar spectral bands, and as the MACCS atmospheric correction used to produce the L2A input products works for both sensors. Of course LANDSAT 8 geometric resolution is not that of Sentinel-2, so to avoid degrading Sentinel-2 imagery when LANDSAT8 data are available, we give Landsat 8 a very low weight in the weighted average. As a result, Landsat is really taken into account only when no cloud free Sentinel-2 was available during the synthesis period.

 

Same result as above, but including LANDSAT 8 data. A cloud free date at least is now found for every pixel. The water mask obtained from Level 2A product is a little wrong on the Landsat 8 image due to the presence of turbid waters and thin clouds. A solution for this problem will be implemented in next MACCS L2A version. Note that the monthly synthesis of both Sentinel-2 and LANDSAT-8 leaves nearly no visible artifacts on the lands.


For a better comparison of both versions, here is a little animation of composites with and without Landsat 8.

The Sen2Agri system is still in validation phase and should be released as open source next May, 6 months from now. The L3A synthesis processor will be also implemented within Theia and monthly L3A products will be distributed by Theia as it is already the case for L2A products.

THEIA releases Sentinel-2 L2A data over France

Four of the released L2A images for tile 31TFJ in Provence. Detected clouds, shadows, water and snow are respectively circled in green, yellow, blue, and pink. Turbid waters may be detected as snow.

=>

A first large scale data set of Sentinel-2 level 2A products was just issued by CNES. It contains all the data acquired by Sentinel-2 over France, from December 1st, 2015 until end of August. It was produced with MACCS on MUSCATE ground segment. The data can be downloaded from :

 

https://theia.cnes.fr

In case all DNS are not updated, you might also use the following address.

https://theia.cnes.fr/atdistrib/rocket

 

All you need to do is register, log in, and then search and download. You may use classical requests with criteria or much simpler ones such as "Toulouse in July". You may also use the tile number to select the data set, for instance "T31TEJ" for Montpellier (don't forget the first T). The data format is described here.

Continue reading

Theia diffuse les données de niveau 2A de Sentinel-2 sur la France

 

La page d'accueil

=>

Le CNES vient de mettre en ligne un premier lot de produits Sentinel-2 de niveau 2A. Il contient toutes les données acquises par Sentinel-2 au dessus de la France, depuis décembre 2015 jusqu'à fin août 2016. Les données ont été produites par la chaîne MACCS sur le nouveau centre de traitement MUSCATE, dont il s'agit du premier traitement. Les données peuvent être téléchargées depuis :

 

https://theia.cnes.fr

Continue reading

Les données LANDSAT de THEIA déménagent

=>

Beaucoup d'utilisateurs nous l'ont dit, "elles déménagent vos données", mais cette fois, c'est au sens propre. En effet, le site de téléchargement actuel http://theia.cnes.fr se prépare à accueillir les données sentinel-2 produites par le centre de production MUSCATE opérationnel,. Pendant ce temps, le centre prototype continue à traiter les données LANDSAT sur la France, mais l+eur format n'est pas compatible avec le nouveau serveur.

Pour cette raison, les données LANDSAT vont rester sur l'ancien serveur, qui va changer d'adresse. Provisoirement, les données LANDSAT sont donc distribuées sur ::


http://theia-landsat.cnes.fr

Continue reading

Some news from Theia's production of Sentinel-2A L2A data

=>

The production of Level2A Sentinel-2A data by Theia is a little delayed, but we will still deliver, before the end of the month, the level 2A products acquired over France by Sentinel-2A so far. The production of the other selected sites, and the real time production will start a little later.

 

It is not a piece of cake to start our new processing center (MUSCATE), which will require a significant part of CNES computing facilities. We need to put together in working order the L2A processor, MACCS, the ground segment, MUSCATE, which prepares the data, decides the sequences of processing and allocates the ressources,  and CNES computing center : "the Cluster". The operational production of Sentinel-2  L2A data (processing of all the sites acquired since beginning 2016 and real time processing of all newly acquired data) is being delayed because the integration of MUSCATE in the Cluster meets issues of disk access performances which were not observed in the test configuration

Time series of Sentinel-2A surface reflectances (top), et aerosol optical thickness (bottom), for a pine forest near Marseilles.

 

Meanwhile, Theia will soon release the data we produced over France on the test configuration. I already used this data set in this blog post, and obtained the joined figure. To release the data, we still have to transfer the data on the distribution server, which has also a few glithces to repair.  This should be ready by the end of the month.
 
And finally, the test processing allowed us to find a little bug. When more than 256 clouds are found in the image, our processor finds shadows anywhere. Such images are not that frequent, and we had not identified this bug with the first images we processed. However,the overall data quality is good, and you'll be able to use it to make first tests. Of course, we will update the data with our new, corrected processor.
 
We are very sorry for these delays which certainly must bother some of you, who have been waiting for this data set. CNES and the associated industrial teams are working hard to solve these issues and start processing as soon as possible.

Des nouvelles de la diffusion des produits N2A pour Sentinel-2 par Theia

=>

La production des données de N2A de Sentinel-2 par Theia a pris du retard, mais nous allons cependant fournir, dès la fin septembre, les produits de niveau 2A correspondant aux données acquises sur la France par Sentinel-2. La production des autres sites sélectionnés, et celle en temps réel démarreront un peu plus tard.

 

Ce n'est pas simple de mettre en place un nouveau centre de traitement (MUSCATE), qui va consommer une bonne part des ressources du centre informatique du CNES. Il faut que la chaîne de traitement MACCS fonctionne (des petits bugs ont été trouvés récemment),tout comme le centre de traitement MUSCATE, qui décide dans quel ordre les traitements doivent être lancés et leur alloue les ressources disponibles dans le centre de calcul, et il faut que le centre de calcul du CNES (le "cluster") supporte la charge de travail. La production opérationnelle de Sentinel-2 (traitement des données acquises depuis début 2016 et traitement en temps réel sur toutes les zones sélectionnées ) va prendre du retard car la mise en place de MUSCATE dans l’environnement du cluster de calcul opérationnel se heurte à des problèmes de performance d’accès disque qui n’avaient pas lieu dans l’environnement de test.

Série temporelle de réflectances (en haut), et d'épaisseur optique d'aérosols (en bas), obtenu sur un pixel de forêt de conifères près de Marseille.

 

En attendant, nous allons distribuer les données produites sur la France, celles avec lesquelles j'ai écrit ce petit article, et obtenu la figure ci-jointe. Pour cela, il nous faut donc transférer les données sur le nouveau serveur de distribution qui lui aussi a quelques petits problèmes, mais nous espérons bien pouvoir le faire d'ici la fin du mois.

 

Enfin, les données que nous distribuerons ont été traitées avec une chaîne affectée par un petit bug. Lorsqu'il y a plus de 256 nuages dans l'image ), la chaîne trouve des ombres à tort et à travers. Les images avec plus de 256 nuages sont assez rares et nous n'avions donc pas identifié ce bug lors des traitements de validation portant sur quelques produits ! Bref, Je vous expliquerai tout ceci bientôt, mais  la plupart des images distribuées seront de bonne qualité et vous permettront de mettre au point vos chaines de traitement. Nous mettrons bien sûr les données à jour dans un proche avenir, avec une chaîne corrigée.

 

Nous sommes désolés de ces retards qui doivent gêner certains d'entre vous. Les équipes du CNES et des industriels associés sont sur le pont pour essayer de résoudre les difficultés actuelles et démarrer la production au plus vite.