Sentinel-2 Level 3A products : syntheses or composites ?

=>

For the past few months, Copernicus has been distributing Level 3A products for the Sentinel-2 mission as part of the S2GM (Sentinel-2 Global Mosaics) .

 

This ambitious project aims to provide monthly, quarterly or annual Level 3A products worldwide. The user defines his zone and period of interest and orders the product. The web site seems to be hosted by SInergise, and as everything done by this company, is easy and very straightforward to use.

 

The call for tender, with two or three million euros, was launched by the Copernicus program of the European Union two years ago. It required the use of ESA Level 2A official products obtained with Sen2Cor. For this reason, we decided not to participate because our Level 3A method, which calculates a weighted average of non-cloudy observations, requires very good cloud masks, which is not quite the case of Sen2cor products.

 

The tender was won by a consortium of Brockman Consult, Geoville and SInergise companies. To compensate for the poor quality of cloud detection, the authors of the S2GM product had to use a BAP method: "Best Available Pixel". This method chooses for each pixel the best date according to certain criteria (no cloud or shadow detected, minimum reflectance in the blue, maximum NDVI ...). This method minimizes cloud disturbances when clouds are not detected correctly, but also has the disadvantage of suddenly changing the date from one pixel to another, which causes artifacts and noise. Outputs are therefore composite products , which assemble pieces of images acquired for the different dates available over the period.

 

Theia Level 3 products are not composites, but syntheses, which use all cloudless observations of a single pixel over the entire monthly observation period to find the value that best represents the surface reflectance we would have had at the central date of the product. Theia's syntheses use the WASP (Weighted Average Synthesis Processor) chain, which calculates a weighted average of surface reflectances over a month, after atmospheric correction and detection of clouds obtained from Level 2A products generated by our MAJA channel , of course. If the clouds are badly detected, they enter into the synthesis and disturb it.

Comparison of a synthesis obtained with WASP + MAJA, with a composite product from S2GM + Sen2cor, on the Toulouse region, in October 2018. (Click on image to enlarge)

The animation provided above shows a full resolution comparison over Toulouse region, of a synthesis of WASP and of the corresponding composite of S2GM obtained on the same date in October 2018. We see very quickly that the composite of S2GM is very noisy, much more than the synthesis from WASP. It is quite often possible to locate the areas where the synthesis tool has chosen to change the date in its composite. You will also notice the appearance of many white dots, which are in fact pixels without clouds, but quite bright that Sen2Cor systematically classifies as clouds.

 

In short, provided you have a good level 2A product, syntheses can provide much better results than composites.

 

 

Produits de Niveau 3A: Synthèses ou composites ?

=>

Copernicus diffuse depuis quelques mois des produits de niveau 3A pour la mission Sentinel-2 dans le cadre du projet S2GM (Sentinel-2 Global Mosaics).

 

Ce projet très ambitieux a pour but de fournir, à l'échelle mondiale, des synthèses mensuelles, trimestrielles ou annuelles. L'utilisateur définit sa zone et sa période d'intérêt et commande le produit. Le site est très bien conçu et très évident à utiliser.

 

L'appel d'offres, doté de deux ou trois millions d'€uros quand même, avait été lancé par le programme Copernicus de l'Union Européenne il y a deux ans. Il imposait d'utiliser les produits officiels de niveau 2A de l'ESA, obtenus avec Sen2Cor. C'est pour cette raison que nous avons décidé de ne pas participer, car notre méthode de synthèse, qui calcule une moyenne pondérée des observations non nuageuses, a besoin de très bons masques de nuages, ce qui n'est pas tout à fait le cas des produits de Sen2cor.

 

L'appel d'offres a été remporté par un consortium composé des sociétés Brockman Consult, Geoville et SInergise. Pour compenser la piètre qualité de la détection des nuages, les auteurs du produit S2GM ont dû utiliser une méthode BAP : "Best Available Pixel". Cette méthode choisit, pour chaque pixel la meilleure date selon certains critères (pas de nuage ou d'ombre détecté, réflectance dans le bleu minimale, NDVI maximal...). Cette méthode permet de minimiser les perturbations nuageuses lorsque les nuages sont mal détectés, mais présente aussi l'inconvénient de changer brutalement de date d'un pixel à l'autre, ce qui cause des artefacts et du bruit. Les sorties sont donc des produits composites, qui assemblent des morceaux d'images acquis lors des différentes dates disponibles sur la période.

 

Les produits de Niveau 3 de Theia ne sont pas des composites, mais des synthèses, qui utilisent toutes les observations sans nuage d'un même pixel sur la période d'observation mensuelle en entier pour trouver la valeur qui représente le mieux la réflectance de surface qu'on aurait eu à la date centrale du produit. Les synthèses de Theia utilisent la chaîne WASP (Weighted Average Synthesis Processor), qui calcule une moyenne pondérée des réflectances de surface sur un mois, après correction atmosphérique et détection des nuages obtenus à partir de produits de niveau 2A générés par notre chaîne MAJA, bien sûr. Si les nuages sont mal détectés, ils entrent dans la synthèse et la perturbent.

Comparaison d'une synthèse obtenue avec WASP+MAJA, avec un produit composite issu de S2GM+Sen2cor, sur la région de Toulouse, en Octobre 2018. (cliquer sur l

L'animation fournie ci-dessus présente une comparaison sur la région de Toulouse, et à pleine résolution, d'une synthèse de WASP et du composite correspondant de S2GM obtenu à la même date en octobre 2018. On constate très vite que le composite de S2GM est très bruités, beaucoup plus que les synthèses issues de WASP. Il est assez souvent possible de repérer les zones où l'outil de synthèse a choisi de changer de date dans son composite. Vous remarquerez aussi l'apparition de nombreux points blancs, qui sont en fait des pixels sans nuages, mais assez brillants que Sen2Cor classe systématiquement comme nuages.

 

Bref, à condition d'avoir un bon produit de niveau 2A, les synthèses peuvent fournir de bien meilleurs résultats que les composites.

 

Les séries temporelles de niveau 3A de Sentinel-2, de Juillet à Novembre

=>

Comme chaque mois, Peter Kettig du CNES a produit les synthèses de niveau 3A à partir de Sentinel-2 du mois précédent (Merci Peter !). Les données à pleine résolution, avec leurs masques de qualité, peuvent être téléchargées depuis le serveur de distribution Theia au CNES.
 
Si vous n'avez pas peur d'y passer trop de temps, alors que de nombreuses urgences vous attendent, vous pouvez jeter un oeil aux mosaïques de ces produits disponibles sur la France depuis Juillet. Chaque mosaique est accessible à partir des liens ci-dessous :

 
Une chouette interface de visualisation (merci à Michel Lepage !), est aussi disponible ci-dessous, pour comparer la synthèse d'octobre avec celle des mois précédents.
 
En novembre , en France, nous avons eu une météo française de novembre, et plusieurs régions sont restées couvertes à chaque passage de Sentinel-2, sur la période de synthèse de 45 jours, centrée sur le 15 Novembre. Dans ce cas, nous fournissons les réflectances de la date où la réflectance dans le bleu est minimale, et nous indiquons dans les produits, pas sur la mosaïque, que le pixel est nuageux. Donc, la synthèse du mois de novembre n'est pas aussi belle que les précédentes. Comme en octobre (voir ci-dessous), des bords d'orbite deviennent visibles.
 
Ceci dit, les résultats restent corrects sur de nombreuses régions, et on peut observer les sols plus humides et plus sombres, le démarrage des cultures d'hiver, la chute des feuilles dans les forêts de feuillus, et les sommets enneigés.
 
En octobre, pour la première fois, un artefact de bord d'orbite apparaît clairement du côté de Cambrai. Même si c'est un endroit où l'on peut faire des bêtises, cet artefact est dû au changement de date. la partie Ouest est brune, et la partie Est est verte. A cause de la couverture nuageuse importante, la date moyenne de la partie Est se situe bien après celle de la partie Ouest. Le seul moyen d'éviter ce genre d'artefacts sera d'a jouter un ou deux satellites Sentinel-2 de plus, pour faire des synthèses sur des données moins longues (ici nous utilisons 45 jours).

 

See it full screen
Continue reading

Sentinel-2 Level3A time series (July to November 2018)

=>

As every month, Peter Kettig from CNES processed the Sentinel-2 L3A composites of France from the Month before. The full resolution data, and the corresponding data quality masks, can be downloaded from Theia's distribution server at CNES.

If you are not afraid to spend too much time while you have urgent things to do, you may have a look to the mosaic of Sentinel-2 monthly syntheses for each month since July over France. Each monthly synthesis is accessible using the following links :

Or you may also use the nice viewer below (merci Michel Lepage !) to compare with the previous months.

In November, in France, we had a... French November weather, and several zones stayed overcast for all Sentinel-2 overpasses during the synthesis period of 45 days. In that case, we try to provide a value, which is the minimum reflectance in the blue band. Of course this value is flagged as invalid. So the November synthesis is not as nice as the previous ones, due to the presence of remaining clouds. As in October (see below), we now also see artefacts at the edges of the swath.

Anyway, in many regions, the results are rather correct and they allow us to see the changes. Forests are now brown, soils are wetter and darker, winter crops have started, and the highest mountains are turning white.

In October, we had the first the opportunity to observe a neat swath edge effect in four months, near Cambrai, North of France. The Western part of the artefact is browner than the Eastern part. Because of the cloud cover, the average date used in the eastern part is several days before the average date of the western part. , due to the observation at very different dates on each side of the swath. So the only way to improve that with the current method would be to add a third or even a fourth Sentinel satellite.

See it full screen
Continue reading

Sentinel-2 Level3A time series (July, August, September 2018)

If you are not afraid to spend too much time while you have urgent things to do, you may have a look to the mosaic of Sentinel-2 monthly syntheses for September over France. You may access to each monthly synthesis using the following links :

 
Or you may also use the viewer below to compare with the previous months and see how France became brown in September :
 

See it full screen

The monthly syntheses are produced using the WASP processor, which is described here.

By comparing the various syntheses, you will see the evolution of the landscape, generally much brownler in September, but this representation will also help you spot the composite artefacts. These are not very numerous, but you will see them :

  • on some web browsers (firefox V58), geometrical differences appear even at a low resolution. Other browsers and versions do not have this defect. It is really not due to Sentinel-2 or Theia products
  • above water and snow (we must work on this defect)
  • where clouds have covered a place during the whole month of July or August. These pixels are flagged as invalid in the products (but not on the mosaic).
  • where clouds or shadows were not properly detected by MAJA
  • at the edges of Sentinel-2 swath. For the first time, in october, a swath edge is clearly visible near Cambrai. The area must have been quite cloudy, and we observe here a greener part on the right, observed later in October, that the browner part on the left. The only way to correct this kind of atefact while keeping a physical meaning to the reflectances, would be to improve Sentinel-2 revisit time
  • some tile edges in July, due to the fact that Level 3A products were not all generated for the 15th of July, but for dates between the 8th and the 26th. This has been corrected for the next months

 

Snow cover duration from 01 Sep 2017 to 31 Aug 2018 in the Alps and Pyrenees

=>

We are thinking to distribute a new product that would provide the snow cover duration in the Alps and the Pyrenees over a hydrological year (snow persistence map). Here is a preview of a "beta" version that is only 100 m resolution for now.
 

Snow cover duration from 01 Sep 2017 to 31 Aug 2018. Pixels with less than 60 days were masked out.


 
A few words on the method (see also here): this map is generated after a linear interpolation at the daily time step of every available Theia snow product. Here we have selected 26 Sentinel-2 tiles, which represents 3189 snow maps for the study period, that is 96 billion pixels to process.
 
With the accumulation of Sentinel-2 data it becomes possible to look at interannual variability. Here is for example a visual comparison of the snow cover duration calculated from January to May for three years in the Pyrenees (31TCH):

 Snow cover duration 31TCH

Snow Duration from Jan 01 to May 31 in the Pyrenees (tile 31TCH)

 
We can see longer snow durations for the year 2018, which was an exceptional year!
 

Durée d'enneigement dans les Alpes et les Pyrénées du 01/09/2017 au 31/08/2018

=>

Nous sommes en train de penser à un nouveau produit qui donnerait la durée d'enneigement dans les Alpes et les Pyrénées au cours de la dernière année hydrologique. Voici ci-dessous un aperçu d'une version "beta" (artisanale) qui n'est qu'à 100 m de résolution pour l'instant.
 

Durée d'enneigement du 01/09/2017 au 31/08/2018.

Durée d'enneigement du 01/09/2017 au 31/08/2018. Les pixels avec moins de 60 jours ont été masqués.


 
Quelques mots sur la méthode (voir aussi ici) : cette carte est générée après une interpolation linéaire au pas de temps journalier de toutes les cartes d'enneigement Theia disponibles. Ici nous avons sélectionné 26 tuiles Sentinel-2, ce qui représente 3189 cartes d'enneigement pour la période considérée, soit 96 milliards de pixels à traiter.
 
Avec l'accumulation des données Sentinel-2 il devient possible de comparer les années entre elles. Voici par exemple une comparaison visuelle de la durée d'enneigement calculée de janvier à mai pour trois années dans les Pyrénées (31TCH):

Durée d'enneigement 31TCH

Durée d'enneigement du 01 janvier au 31 mai sur la tuile 31TCH

 
On voit ressortir des durées d'enneigement élevées pour l'année 2018 qui fut une année exceptionnelle !
 
Un grand merci à Germain Salgues de Magellium pour avoir produit toutes les données rapidement ce qui nous a permis de montrer cette carte au séminaire Theia à Montpellier dès le 18 octobre ! Et merci à Michel Le Page pour la mise en ligne.

[Nouvelles de MUSCATE] Un été très productif

=>

Mise à jour le 4 octobre 2018

Cet été, alors que la plupart d'entre nous prenions des coups de soleil sur la plage, nous faisions dévorer par des moustiques, attrapions des courbatures en rando, ou faisions de longues siestes pour nous remettre de nuits fatigantes, les équipes de production et de distribution de MUSCATE ont eu la chance de bénéficier d'une climatisation efficace, de fauteuils confortables, d'ordinateur rapides et de l'accès à la meilleure cantine du monde au CNES. Il n'est donc pas surprenant que la production ait fait de gros progrès, mais nous pouvons néanmoins leur adresser un grand merci, car les résultats sont impressionnants.

 

Amélioration des performances de production

Theia's L2A counter reached 100 000 images on August 12th

 

Tout d'abord, l'anomalie qui avait perturbé la production à la fin du printemps a été résolue. C'était un problème de capacité de mémoire sur la machine qui héberge le catalogue interne de MUSCATE. Petit à petit, la besoin de mémoire dépassait le volume prévu, et les performances se dégradaient avant que le système ne plante, quasiment tous les jours. Il a suffi de quelques ajustement et d'un doublement de la mémoire pour que le problème disparaisse.

Ainsi, depuis début juillet, MUSCATE n'a plus connu que deux courtes interruptions dues à une phase de maintenance du centre informatique du CNES. Comme on peut le voir sur la figure qui suit,  la courbe orange, qui moyenne la production sur un mois n'a jamais été aussi haute, depuis le démarrage de la production.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

Continue reading

[MUSCATE News] A very productive summer

=>

Updated on October 4th

 

This summer, while most of us were getting sunburnt near the coast, or getting sore legs after hiking in mountains, or having long naps after hectic nights, the lucky MUSCATE teams stayed at work, with a good and efficient air conditioning, convenient armchairs, fast computers and accessed to the best canteen in the world at CNES. So it's no surprise they progressed a lot in all aspects, but even if they benefited from perfect conditions, we should thank them a lot.

 

Improved production performances

Theia's L2A counter reached 100 000 images on August 12th

 

First of all, the colleagues solved the issue that delayed a lot MUSCATE production in late spring. It was a memory issue, with a heavy swap consumption that slowed then crashed the MUSCATE ground segment. Doubling the available memory on the catalogue server solved the issue.

As a result, since beginning of July, MUSCATE had only two interruptions of production, due to maintenance interventions on the CNES platform. As it may be seen below, the monthly average plot in orange shows that the production rate is at its best in two years.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

Continue reading

A seamless and cloudless Sentinel-2 image of France in July 2018

=>
UPDATE: resolution improved to 20m !
 
I had to tinker a couple of days with Theia's Sentinel-2 monthly syntheses, in order to produce the mosaic below. For that, I used:

  • monthly syntheses of Sentinel-2 L3A products delivered by Theia in July 2018; this products are made from Level2A products, corrected from atmospheric effects, and provided with a good cloud mask, thanks to MAJA processor. Such L3A products will be delivered every month.
  • a script developed by Simon Gascoin
  • good advice from Simon and Michel Le Page
  • and Gdal, (Thanks Gdal !)

This mosaic best resolution is 20m. It is already requiring 8 GB. We could have provided it at 10m resolution, but it would have required 32 GB and several dozens of hours of computation.


See it full screen

Continue reading