[MUSCATE News] two incidents affecting production and distribution

Update (September 13th) : Both incidents are solved and production is resumed

 

Two incidents happened on MUSCATE production center.

- the authentication on the distribution server is not working any more, and as a result, it is not possible to download products.

- CNES HPC center has been stopped yesterday, due to a breakdown on the disk storage facility, stopping the production. We will have to catch-up a backlog when the production resumes.

The technical teams are working on the issues and we hope the production and distribution will resume before the end of the week.  We apologize for any inconvenience.

A seamless and cloudless Sentinel-2 image of France in July 2018

=>
UPDATE: resolution improved to 20m !
 
I had to tinker a couple of days with Theia's Sentinel-2 monthly syntheses, in order to produce the mosaic below. For that, I used:

  • monthly syntheses of Sentinel-2 L3A products delivered by Theia in July 2018; this products are made from Level2A products, corrected from atmospheric effects, and provided with a good cloud mask, thanks to MAJA processor. Such L3A products will be delivered every month.
  • a script developed by Simon Gascoin
  • good advice from Simon and Michel Le Page
  • and Gdal, (Thanks Gdal !)

This mosaic best resolution is 20m. It is already requiring 8 GB. We could have provided it at 10m resolution, but it would have required 32 GB and several dozens of hours of computation.


See it full screen

Continue reading

La France sans nuages et sans coutures, vue par Sentinel-2 et Theia

=>
UPDATE: résolution améliorée à 20m !

Voilà, après quelques jours de bidouille, j'ai réussi à produire la mosaïque de la France à partir:

  • des synthèses mensuelles de produits Sentinel-2 de Niveau 3A fournis par Theia en juillet 2018; Ces produits sont réalisés à partir de données de niveau 2A, corrigé des effets atmosphériques, et avec une bonne détection des nuages, grâce à la chaîne MAJA. Ces données seront produites tous les mois
  • du script mis au point par Simon Gascoin
  • des conseils avisés de Simon et de Michel Le Page
  • et de Gdal, (Merci Gdal !)

La mosaïque vous est présentée à 20m de résolution, elle occupe déjà 8GO. Il aurait été possible de la produire à 10m, mais il aurait fallu 32 GO et quelques dizaines d'heures de plus.

Voir en plein écran

Continue reading

[Nouvelles de MUSCATE] Un été très productif

=>

Cet été, alors que la plupart d'entre nous prenions des coups de soleil sur la plage, nous faisions dévorer par des moustiques, attrapions des courbatures en rando, ou faisions de longues siestes pour nous remettre de nuits fatigantes, les équipes de production et de distribution de MUSCATE ont eu la chance de bénéficier d'une climatisation efficace, de fauteuils confortables, d'ordinateur rapides et de l'accès à la meilleure cantine du monde au CNES. Il n'est donc pas surprenant que la production ait fait de gros progrès, mais nous pouvons néanmoins leur adresser un grand merci, car les résultats sont impressionnants.

 

Amélioration des performances de production

Theia's L2A counter reached 100 000 images on August 12th

 

Tout d'abord, l'anomalie qui avait perturbé la production à la fin du printemps a été résolue. C'était un problème de capacité de mémoire sur la machine qui héberge le catalogue interne de MUSCATE. Petit à petit, la besoin de mémoire dépassait le volume prévu, et les performances se dégradaient avant que le système ne plante, quasiment tous les jours. Il a suffi de quelques ajustement et d'un doublement de la mémoire pour que le problème disparaisse.

Ainsi, depuis début juillet, MUSCATE n'a plus connu que deux courtes interruptions dues à une phase de maintenance du centre informatique du CNES. Comme on peut le voir sur la figure qui suit,  la courbe orange, qui moyenne la production sur un mois n'a jamais été aussi haute, depuis le démarrage de la production.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

Continue reading

[MUSCATE News] A very productive summer

=>

This summer, while most of us were getting sunburnt near the coast, or getting sore legs after hiking in mountains, or having long naps after hectic nights, the lucky MUSCATE teams stayed at work, with a good and efficient air conditioning, convenient armchairs, fast computers and accessed to the best canteen in the world at CNES. So it's no surprise they progressed a lot in all aspects, but even if they benefited from perfect conditions, we should thank them a lot.

 

Improved production performances

Theia's L2A counter reached 100 000 images on August 12th

 

First of all, the colleagues solved the issue that delayed a lot MUSCATE production in late spring. It was a memory issue, with a heavy swap consumption that slowed then crashed the MUSCATE ground segment. Doubling the available memory on the catalogue server solved the issue.

As a result, since beginning of July, MUSCATE had only two interruptions of production, due to maintenance interventions on the CNES platform. As it may be seen below, the monthly average plot in orange shows that the production rate is at its best in two years.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

Continue reading

Les conséquences de la sécheresse de l'an dernier en Provence sont toujours visibles en 2018 sur les images de Sentinel-2

=>

En rentrant de nos vacances dans les Alpes, nous avons passé une journée près des gorges du Verdon, le grand Canyon européen (je sais, il y a une différence d'échelle avec l'Américain).  Ceci dit, le paysage était superbe, comme vous pouvez le voir dans le panorama ci-dessous.

Panorama depuis le "point sublime" (et modeste)

 

 

Mais ne vous inquiétez pas, je ne vais pas vous parler ici de mes aventures estivales, je réserve cela pour les collègues à l'heure du repas, et je pense que les deux premiers de la semaine leur ont suffi.

 

Allons au fait, j'ai par la même occasion remarqué un grand nombre de pins desséchés, voire morts, ce qui m'a étonné parce que la région a été relativement humide ce printemps et début d'été. J'ai demandé au gens du coin, qui m'ont dit que c'est la sécheresse de l'été et l'automne 2017 en Provence qui en est la cause, particulièrement dans les zones où la roche est juste sous la surface et la profondeur du sol est très faible..

Continue reading

Sentinel-2 sees a persistent degradation of forests near the Gorges du Verdon, after 2017 drought

=>

Coming back from our stay in the Alps, we stayed one day near the Verdon Gorges, the European Grand Canyon (I know there is a difference in scale with the American one). Anyway, the landscape was gorgeous as you can seen on the panorama below.

Panorama from "Sublime point" (and modest)

 

 

But don't worry, I will not tell you about all my holidays adventures, I keep that for my close colleagues at lunch time, and it seems they have had enough of it with the two past days.

 

Let's go to the point, I also noticed quite a number of brown pine trees, which surprised me as the spring and summer had been rather wet for the region so far. I asked some locals who told me it was due to the severed drought that happened last year in Provence, which happened during summer and fall 2017 and damaged mainly the pine forest, particularly where the soil root zone is thin due to the presence of rock.

Continue reading

[MUSCATE news] Two new sites added to Sentinel-2 L2A production : Lebanon and Telangana (India)

After a very difficult period, and thanks to the installation of new improvements MUSCATE ground segment is back in shape, and margins have been found to add new sites.

Number of L2A products produced every day.

 

We have added two new zones where Sentinel-2 data are processed to Level 2A, which provide surface reflectance after atmospheric correction and a good quality cloud mask, tanks to MAJA processor. These two sites are Lebanon and Telangana region in India. The data are processed in near real time, since May 2018, and we will later on add the acquired before that date.
As usual, the data are available for download from https://theia.cnes.fr