Les séries temporelles de niveau 3A de Sentinel-2

=>

Le beau temps est revenu avant la fin de l'hiver cette année, et la synthèse de février 2019 est donc montrable, même si les forts angles solaires ne simplifient pas le travail. Comme chaque mois, Peter Kettig du CNES a produit les synthèses de niveau 3A à partir de Sentinel-2 du mois précédent. D'ailleurs, il faut que je vous dise, grâce à son brillant travail, Peter a été recruté au CNES sur un poste permanent !
 
Les données à pleine résolution, avec leurs masques de qualité, peuvent être téléchargées depuis le serveur de distribution Theia au CNES.
 
Si vous n'avez pas peur d'y passer trop de temps, alors que de nombreuses urgences vous attendent, vous pouvez jeter un œil aux mosaïques de ces produits disponibles sur la France depuis Juillet. Chaque mosaïque est accessible à partir des liens ci-dessous :

 
Une chouette interface de visualisation (merci à Michel Lepage !), est aussi disponible ci-dessous, pour comparer la synthèse d'octobre avec celle des mois précédents.
En février 2019 le temps a été magnifique et anormalement chaud et sec. Nous avons donc pu cumuler plusieurs acquisitions sans nuages sur la plupart des régions, à quelques exceptions près. Si on compare au mois de juillet, la neige est très présente, les cultures d'hiver sont vertes, et les forêts de feuillus on perdu leur feuilles. Bref, le paysage auquel on s'attend pour février, sans les nuages. En parlant de nuages, un nuage bas et semi transparent a échappé à la détection par MAJA, au Nord de Bourges. Une bonne piqûre de rappel pour nous motiver à améliorer encore notre logiciel (la version 3.3 de MAJA devrait résoudre ce problème, elle est presque prête!). Si vous zoomez sur les zones neigeuses, vous constaterez aussi qu'il y a quelques artefacts, là, c'est WASP qui doit être amélioré. Enfin, avec la forte inclinaison solaire à cette période de l'année, la correction des effets directionnels n'est pas parfaire. On voit des bords d'orbite du côté de l'ouest de la France.

 
En novembre , en France, nous avons eu une météo française de novembre, et plusieurs régions sont restées couvertes à chaque passage de Sentinel-2, sur la période de synthèse de 45 jours, centrée sur le 15 Novembre. Dans ce cas, nous fournissons les réflectances de la date où la réflectance dans le bleu est minimale, et nous indiquons dans les produits, pas sur la mosaïque, que le pixel est nuageux. Donc, la synthèse du mois de novembre n'est pas aussi belle que les précédentes. Comme en octobre (voir ci-dessous), des bords d'orbite deviennent visibles.
 
Ceci dit, les résultats restent corrects sur de nombreuses régions, et on peut observer les sols plus humides et plus sombres, le démarrage des cultures d'hiver, la chute des feuilles dans les forêts de feuillus, et les sommets enneigés.
 
En octobre, pour la première fois, un artefact de bord d'orbite apparaît clairement du côté de Cambrai. Même si c'est un endroit où l'on peut faire des bêtises, cet artefact est dû au changement de date. la partie Ouest est brune, et la partie Est est verte. A cause de la couverture nuageuse importante, la date moyenne de la partie Est se situe bien après celle de la partie Ouest. Le seul moyen d'éviter ce genre d'artefacts sera d'a jouter un ou deux satellites Sentinel-2 de plus, pour faire des synthèses sur des données moins longues (ici nous utilisons 45 jours).
 

voir en plein écran
Continue reading

Sentinel-2 Level-3A time series

=>

This year, good weather came back earlier, and the synthesis of February can therefore be shown, event if the low sun elevation does not help. As every month, Peter Kettig from CNES processed the Sentinel-2 L3A composites of France from the Month before. And I am very pleased to announce that thanks to his brilliant work, Peter has now been hired by CNES on a permanent position.
 
The full resolution data, and the corresponding data quality masks, can be downloaded from Theia's distribution server at CNES.
 
If you are not afraid to spend too much time while you have urgent things to do, you may have a look to the mosaic of Sentinel-2 monthly syntheses for each month since July over France. Each monthly synthesis is accessible using the following links :

Or you may also use the nice viewer below (merci Michel Lepage !) to compare with the previous months.

 
In February 2019 the weather was nice, hot and dry. Sentinel-2 was able to acquire several cloud free images in nearly all regions In February, snow is abundant, winter crops are green, and deciduous forests are brown. That's a normal february image, except for the clouds. Speaking of clouds, a low cloud escaped the detection within MAJA just North of Bourges. A good reminder to go on improving our methods. MAJA 3.3 should improve the results, and it's nearly ready. If you zoom on the snow covered regions, you will see atefacts, which come from WASP. We know how to improve them, we just need to find some time. And finally, because of the low sun elevation, directional effects are increased and our correction model is not perfect. Some swath edges are visible in the West of France. But all in all, it is a good February synthesis.

 
In November, in France, we had a... French November weather, and several zones stayed overcast for all Sentinel-2 overpasses during the synthesis period of 45 days. In that case, we try to provide a value, which is the minimum reflectance in the blue band. Of course this value is flagged as invalid. So the November synthesis is not as nice as the previous ones, due to the presence of remaining clouds. As in October (see below), we now also see artefacts at the edges of the swath.

Anyway, in many regions, the results are rather correct and they allow us to see the changes. Forests are now brown, soils are wetter and darker, winter crops have started, and the highest mountains are turning white.

 
In October, we had the first the opportunity to observe a neat swath edge effect in four months, near Cambrai, North of France. The Western part of the artefact is browner than the Eastern part. Because of the cloud cover, the average date used in the eastern part is several days before the average date of the western part. , due to the observation at very different dates on each side of the swath. So the only way to improve that with the current method would be to add a third or even a fourth Sentinel satellite.
 

See it full screen
Continue reading

[MUSCATE news] back to nominal production

Good news, MUSCATE is back to nominal production !

The source of the issue (archiving the produced data) is not solved yet, but it has been mitigated to allow to come back to real time production. A big thanks to the exploitation team and to the CNES computing center who gave us extra disk space to store the files we do not send immediately to the archiving facility.

 

 

[MUSCATE news] Slow production / Production ralentie

Following the installation of MUSCATE version 2.5, the production has resumed, but very slowly. It seems to be hampered by the archiving of data, which takes too much time. This causes traffic jams in the scheduler, an the team has no other solution right now than reducing the throughput of MUSCATE.We hope to solve this issue very soon.

We apologize for the delays due to this issue.

 

Après l'installation de la version 2.5 de MUSCATE, la production a repris, mais très lentement. La production semble être limitée par l'opération d'archivage des produits, ce qui cause des embouteillages dans notre orchestrateur. L'équipe d'exploitation a donc du réduire la taille des zones à traiter pour éviter ces plantages.Nous espérons résoudre ces problèmes au plus vite.

Nous vous prions de nous excuser pour les retards actuels de notre production.

 

 

Sentinel-2 Level 3A products : syntheses or composites ?

=>

For the past few months, Copernicus has been distributing Level 3A products for the Sentinel-2 mission as part of the S2GM (Sentinel-2 Global Mosaics) .

 

This ambitious project aims to provide monthly, quarterly or annual Level 3A products worldwide. The user defines his zone and period of interest and orders the product. The web site seems to be hosted by SInergise, and as everything done by this company, is easy and very straightforward to use.

 

The call for tender, with two or three million euros, was launched by the Copernicus program of the European Union two years ago. It required the use of ESA Level 2A official products obtained with Sen2Cor. For this reason, we decided not to participate because our Level 3A method, which calculates a weighted average of non-cloudy observations, requires very good cloud masks, which is not quite the case of Sen2cor products.

 

The tender was won by a consortium of Brockman Consult, Geoville and SInergise companies. To compensate for the poor quality of cloud detection, the authors of the S2GM product had to use a BAP method: "Best Available Pixel". This method chooses for each pixel the best date according to certain criteria (no cloud or shadow detected, minimum reflectance in the blue, maximum NDVI ...). This method minimizes cloud disturbances when clouds are not detected correctly, but also has the disadvantage of suddenly changing the date from one pixel to another, which causes artifacts and noise. Outputs are therefore composite products , which assemble pieces of images acquired for the different dates available over the period.

 

Theia Level 3 products are not composites, but syntheses, which use all cloudless observations of a single pixel over the entire monthly observation period to find the value that best represents the surface reflectance we would have had at the central date of the product. Theia's syntheses use the WASP (Weighted Average Synthesis Processor) chain, which calculates a weighted average of surface reflectances over a month, after atmospheric correction and detection of clouds obtained from Level 2A products generated by our MAJA channel , of course. If the clouds are badly detected, they enter into the synthesis and disturb it.

Comparison of a synthesis obtained with WASP + MAJA, with a composite product from S2GM + Sen2cor, on the Toulouse region, in October 2018. (Click on image to enlarge)

The animation provided above shows a full resolution comparison over Toulouse region, of a synthesis of WASP and of the corresponding composite of S2GM obtained on the same date in October 2018. We see very quickly that the composite of S2GM is very noisy, much more than the synthesis from WASP. It is quite often possible to locate the areas where the synthesis tool has chosen to change the date in its composite. You will also notice the appearance of many white dots, which are in fact pixels without clouds, but quite bright that Sen2Cor systematically classifies as clouds.

 

In short, provided you have a good level 2A product, syntheses can provide much better results than composites.

 

 

Produits de Niveau 3A: Synthèses ou composites ?

=>

Copernicus diffuse depuis quelques mois des produits de niveau 3A pour la mission Sentinel-2 dans le cadre du projet S2GM (Sentinel-2 Global Mosaics).

 

Ce projet très ambitieux a pour but de fournir, à l'échelle mondiale, des synthèses mensuelles, trimestrielles ou annuelles. L'utilisateur définit sa zone et sa période d'intérêt et commande le produit. Le site est très bien conçu et très évident à utiliser.

 

L'appel d'offres, doté de deux ou trois millions d'€uros quand même, avait été lancé par le programme Copernicus de l'Union Européenne il y a deux ans. Il imposait d'utiliser les produits officiels de niveau 2A de l'ESA, obtenus avec Sen2Cor. C'est pour cette raison que nous avons décidé de ne pas participer, car notre méthode de synthèse, qui calcule une moyenne pondérée des observations non nuageuses, a besoin de très bons masques de nuages, ce qui n'est pas tout à fait le cas des produits de Sen2cor.

 

L'appel d'offres a été remporté par un consortium composé des sociétés Brockman Consult, Geoville et SInergise. Pour compenser la piètre qualité de la détection des nuages, les auteurs du produit S2GM ont dû utiliser une méthode BAP : "Best Available Pixel". Cette méthode choisit, pour chaque pixel la meilleure date selon certains critères (pas de nuage ou d'ombre détecté, réflectance dans le bleu minimale, NDVI maximal...). Cette méthode permet de minimiser les perturbations nuageuses lorsque les nuages sont mal détectés, mais présente aussi l'inconvénient de changer brutalement de date d'un pixel à l'autre, ce qui cause des artefacts et du bruit. Les sorties sont donc des produits composites, qui assemblent des morceaux d'images acquis lors des différentes dates disponibles sur la période.

 

Les produits de Niveau 3 de Theia ne sont pas des composites, mais des synthèses, qui utilisent toutes les observations sans nuage d'un même pixel sur la période d'observation mensuelle en entier pour trouver la valeur qui représente le mieux la réflectance de surface qu'on aurait eu à la date centrale du produit. Les synthèses de Theia utilisent la chaîne WASP (Weighted Average Synthesis Processor), qui calcule une moyenne pondérée des réflectances de surface sur un mois, après correction atmosphérique et détection des nuages obtenus à partir de produits de niveau 2A générés par notre chaîne MAJA, bien sûr. Si les nuages sont mal détectés, ils entrent dans la synthèse et la perturbent.

Comparaison d'une synthèse obtenue avec WASP+MAJA, avec un produit composite issu de S2GM+Sen2cor, sur la région de Toulouse, en Octobre 2018. (cliquer sur l

L'animation fournie ci-dessus présente une comparaison sur la région de Toulouse, et à pleine résolution, d'une synthèse de WASP et du composite correspondant de S2GM obtenu à la même date en octobre 2018. On constate très vite que le composite de S2GM est très bruités, beaucoup plus que les synthèses issues de WASP. Il est assez souvent possible de repérer les zones où l'outil de synthèse a choisi de changer de date dans son composite. Vous remarquerez aussi l'apparition de nombreux points blancs, qui sont en fait des pixels sans nuages, mais assez brillants que Sen2Cor classe systématiquement comme nuages.

 

Bref, à condition d'avoir un bon produit de niveau 2A, les synthèses peuvent fournir de bien meilleurs résultats que les composites.