[MUSCATE News] Production still on, but distribution stalled again

Update January 31st, 10h00 : Distribution was just restarted, a few hundreds of images will be added today, and meanwhile, data are processed in Near Real Time.


This January was a nightmare for MUSCATE. Following database issues to send data to the distribution server, our production system was stopped during the Christmas break and unstable the weeks after.

 

After understanding the issues, the MUSCATE team stopped the automatic sending of products, resumed the production, and started to update the production server manually. We were nearly back on track last Thursday, when the distribution server refuse to accept any new product. The explanation was found, a directory in the High Performance Storage System (a robot that handles tapes and disks) had 65535 files and could not accept a new one.  We need a little reorganisation of the folder structure to overcome that, and meanwhile, the distribution is stalled again.

 

Still, more than 60 000 L2A products are now available, and we have started distributing the snow cover products, in NRTWD  ("Near real time with delay"). We hope to be soon really in NRT.

[MUSCATE News] A difficult start of 2018 for our production center

As you have probably noticed, our production rate has been very low these days and we are more than 10 days late in our delivery of L2A and snow cover products.

This seems to be due to an intervention on CNES cluster end of December to add new nodes and disk space. MUSCATE sometimes loses communication with the platform that handles the databases and crashes. As it also happened when CNES was closed for Christmas, we really lost a lot of time.  All the teams are on the deck to try to solve this issue and catch the delay up. We are very sorry for that inconvenience.

 

Tous nos voeux pour 2018 !

=>

Que cette nouvelle année vous apporte joie et bonheur, et pas seulement dans l'utilisation de séries temporelles !

 

Sans aucune originalité, ce début d'année est l'occasion de faire un petit bilan de l'année 2017. Voici, dans notre domaine, quelques uns des faits que je retiendrai :

  • la consécration du programme Copernicus, et des satellites Sentinel. Plus de 110 000 personnes se sont inscrites pour accéder aux données depuis 2015 !  A mon avis, ce succès est dû à la combinaison de plusieurs facteurs : les données sont gratuites et faciles d’accès, les observations sont répétitives, régulières et fréquentes sur le monde entier, et les données sont de grande qualité. Un grand bravo à l'ESA et à l'UE, sans oublier la contribution du CNES pour la qualité des images de Sentinel-2 et l'étalonnage de Sentinel-3. Continue reading

MAJA Sentinel-2 L2A processor downloaded more than 200 times

Since spring 2017, we have made the MAJA cloud screening and atmospheric correction processor available for commercial use. A bit later, end of June, the Sen2agri software package, which includes MAJA older version (named MACCS) , was also released to the public. We did not expect a large success, as these two packages are quite heavy ones, do not work on laptops, and require a specific linux system powerful computers (Red Hat or CentOS).

Anyway, the MAJA processor has had quite a large success, even if, I guess, it is far from the success of Sen2cor, which is much easier to install and use, even if the performances are not the same. The figures below correspond nearly to one download per day.

 

Number of downloads of MAJA (stand alone version) 93
Number of downloads of MACCS (Sen2Agri version)i 116

 

To celebrate this fact, we just published a brand new MAJA detailed description.

[MUSCATE] A little error on Sentinel-2B L2A products processed before December 1st.

When we started making tests of the L2A production at MUSCATE with Sentinel-2B data, we considered using a small correction of Sentinel-2B to correct for a eventual bias between the reflectances of each satellite. Such differences were observed by colleagues form CNES, and were comprised between 0 and 2.5%.  Finally, we decided not to implement this in the operational line, because the figures we had were based on a small duration of acquisitions and were possibly not accurate enough.

 

Band name Coefficient
B1 1.002
B2 0.995
B3 1.000
B4 1.008
B5 1.009
B6 1.017
B7 1.014
B8 1.024
B8A 1.012
B9 1.000
B10 1.000
B11 1.004
B12 0.986

 

Due to a human error, it turns out that the parameter file that we used for these tests made its way to the operational line. MAJA parameters are kept under a GIT version manager, which should reduce the probablility of such errors, but that parameter file is a parameter of MUSCATE, not MAJA, which was not managed yet. And as you know, according to Mr Murphy, when something can turn wrong, it turns wrong. the test calibration adjustment made its way to the production line.

 

For the Sentinel-2B L2A products produced until the 30th of November, the L1C TOA reflectance  values were divided by the coefficients provided in the table above. On the first of December, this error was corrected. As the differences are quite small, we have not removed the Sentinel-2B products produced before December 1st, but we are going to reproduce them and replace them by the correct values during the coming weeks.

 

We are sorry for hat error, which will make us improve our verification procedure.

 

 

Premières validations de la carte d'occupation du sol OSO

En 2017, le Centre d'Expertise Scientifique OSO (Occupation du SOl) par l'intermédiaire du CESBIO a produit une carte d'occupation du sol de l'année 2016 à l'échelle du territoire métropolitain français et corse. On l'appelle la carte d'occupation du sol OSO ! Cette carte est le résultat de traitements automatiques massifs de séries temporelles d'images satellites optiques Sentinel-2. Comme les images Sentinel-2, cette carte a une résolution spatiale de 10 m correspondant à une unité minimale de collecte (UMC) de 0.01 ha. L'occupation du sol est décrite grâce à 8 classes au premier niveau et 17 classes à second niveau de détail, définies en fonction des potentialités de détection de l'imagerie Sentinel-2 et des besoins exprimés par des utilisateurs finaux. Ces classes couvrent les grands thèmes d'occupation du sol (surfaces artificialisées, agricoles et semi-naturelles).

Son principal avantage en comparaison avec d'autres cartes d'occupation du sol existantes, (loin de nous l'idée de les critiquer) est son exhaustivité territoriale et surtout sa fraîcheur ! Disposer d'une carte d'occupation du sol exhaustive sur l'ensemble du territoire national au premier trimestre de l'année suivante, c'est ce qu'OSO vous propose !

Quelle richesse thématique ?

Les classes détectées par télédétection sont celles du second niveau, celles du premier niveau sont obtenues par agrégation des classes du second niveau :

  • Culture annuelle
    • Culture d'hiver
    • Culture d'été
  • Culture pérenne
    • Prairie
    • Verger
    • Vigne
  • Forêt
    • Forêt de feuillus
    • Forêt de conifères
  • Formation naturelle basse
    • Pelouse
    • Lande ligneuse
  • Urbain
    • Urbain dense
    • Urbain diffus
    • Zone industrielle et commerciale
    • Surface route / asphalte
  • Surface minérale
    • Surfaces minérales
    • Plages et dunes
  • Eau
    • Eau
  • Glaciers et neiges éternelles
    • Glaciers et neiges éternelles

Avec quelle qualité ?

Valider une carte d'occupation n'est pas une procédure simple. Il s'agit de s'interroger sur :

  • la spécification des classes
  • l'échelle de validation
  • le jeu de données de validation

Dans tous les cas, il est rarement possible d'établir une validation exhaustive sur l'ensemble d'un territoire. Classiquement, une validation statistique permet d'appréhender partiellement la précision de la cartographie obtenue, et ne permet pas d'identifier l'ensemble des confusions thématiques et des erreurs géométriques de classification.

La suite de cet article tente de qualifier la précision de la carte d'occupation du sol OSO de 2016 grâce à des jeux de données de partenaires du CES OSO. Une première validation, intrinsèque au processus de classification, a été effectuée. Les résultats statistiques sont visibles ici.

Le jeu de données d'échantillons de la couverture de surface a été produit grâce à des bases de données nationales telles que la BD Topo, le Registre Parcellaire Graphique (RPG) et Corine Land Cover. 70% de ces échantillons ont été utilisés pour l'apprentissage et 30% pour la validation a posteriori visible sur la figure ci-dessous. Cette validation, bien que pertinente, s'appuie sur des échantillons dont la génération suit la même procédure que les échantillons d'apprentissage, biaisant quelque peu l'indépendance de la validation.

Validation de la carte d'occupation du sol OSO avec 30% des échantillons extraits des 3 jeux de données utilisés lors de la classification - BD Topo, Registre Parcellaire Graphique et Corine Land Cover)

De plus, il nous était impossible de valider les deux cultures annuelles de la classification. En effet, l'indisponibilité du RPG pour l'année 2016 et 2015 (toujours indisponible le jour de l'écriture de cet article), nous a amené à développer une méthode d'apprentissage basée sur le principe de l'adaptation de domaine utilisant des échantillons du RPG 2014. Cette méthode est très bien expliquée ici. Quoiqu'il en soit, il nous était impossible de valider la classification des cultures d'été et d'hiver de 2016, seuls des échantillons issus du terrain nous le permettait, en voilà la preuve !

Continue reading

Yesterday's snow cover area in the Pyrenees

Olivier pointed to me that ESA's ground segment, PEPS and MUSCATE were all in really good shape today... And the sky was clear yesterday at the time of the Sentinel-2A acquisition!

So I could download the Level-2A product from theia.cnes.fr, run our let-it-snow processor, start QGIS and here it is: the map of yesterday's snow cover area at 20 m resolution. If you know the region, you might notice that there is currently a big contrast in the snow cover extent between the French and the Spanish Pyrenees. This is due to the blocking of the moist air masses coming from the north.

Snow cover area on 22 Nov 2017. blue: snow, grey: no snow, white: cloud.

Stay tuned! Theia should start to distribute these Sentinel-2 snow products in near real time very soon.

Le bulletin Theia est sorti !

De la part de Sophie Ayoubi, chargée de la communication de Theia

Le 8ème numéro du bulletin du pôle de données et de services surfaces continentales Theia vient de paraître.

A découvrir dans ce numéro :

  • Actualités
  • Nouveaux produits
  • Services et outils
  • Applications et thématiques
  • Développement instrumental
  • Accompagnement utilisateur

Téléchargez le bulletin de Theia en version impression (3.6 Mo) ou version allégée (932 Ko) ou feuilletez-le en ligne dans l'espace Calaméo de Theia.

Retrouvez l’ensemble des numéros dans la rubrique bulletins.

MUSCATE news : 50000 L2A products from Sentinel-2A and 2B

Since it became operationnal in December last year, MUSCATE has produced 50 000 level 2A products from Sentinel-2A. Let's recall what has been processed so far :
  • For 550 tiles, we have processed all Sentinel-2A data acquired since December 2015.
  • For 100 tiles, mainly in South America, and in Italy, we have processed all Sentinel-2A data from December 2016. We are currently catching up the backlog for Italy, and later on, for South American sites.
  • For all these 650 tiles, we are producing all Sentinel-2 data (Sentinel-2A and Sentinel-2B) in near real time. I think THEIA is the only place where you can download Sentinel-2B L2A data so far. ESA has not started that production yet (nah, nah, nah :) )
  • For all these 650 tiles, we have processed all Sentinel-2B data since beginning of October 2017. We will soon catch-up with the Sentinel-2B data acquired from July 2017.

 

 

See full screen

Map of the 650 tiles currently processed in near real time (in red). The blue tiles will be added beginning of next year.

 

All these products are available from https://theia.cnes.fr

 

Let's recall that MUSCATE uses the MAJA L2A processor, which uses multi-temporal criteria to perform a high quality cloud detection and atmospheric correction. Despite the recent installation of version 2.4, MUSCATE still regularly suffers from instability as soon as CNES High Performance Computer is overloaded. The problem does not lie in MAJA, but in the information exchanges between all the components of MUSCATE which need to respect an accurate timing (sorry, I am not able to explain better).

 

The exploitation team just installed a new version of MUSCATE (v 2.4.16.p2 (!)), which is expected to increase stability. But that's the theory, let's see if it works in the coming days and if we are able to increase our production rate.

 

 

[MUSCATE News] Le traitement des données Sentinel-2B L2A a démarré

=>

L'ESA a déclaré Sentinel-2B opérationnel a la fin du mois d'Octobre, même si des données préliminaires étaient déjà disponibles depuis juillet. Depuis hier matin, MUSCATE distribue aussi les produits Sentinel-2B de niveau 2A en utilisant le processeur MAJA (les produits L2A sont exprimés en réflectance de surface après correction atmosphérique et sont munis d'un masque de nuage de bonne qualité). La production actuelle a démarré à partir des acquisitions du 1er octobre 2017 et se poursuivra en temps réel. De plus, nous ajouterons progressivement les produits Sentinel-2B acquis depuis juillet 2017.

 


Premiers produits S2B disponibles sur https://theia.cnes.fr

 

Comme toujours, les données peuvent être téléchargées gratuitement depuis https://theia.cnes.fr

Voici un petit exemple de série temporelle près de Baotou, en Chine, acquises en alternance par Sentinel-2A et Sentinel-2B. Les images se ressemblent beaucoup, excepté là ou la surface a clairement changé, dans la vallée Est-Ouest au centre de l'image.

Sentinel-2A Sentinel-2B Sentinel-2A

 

 

Comme le traitement MAJA est multi-temporel, sa précision bénéficiera de la répétitivité doublée des acquisitions, ce qui devrait avoir un effet sur nos résultats de validation à venir. A partir des productions de qualification de la nouvelle version, nous avons déjà vérifié que les réflectances fournies par les deux capteurs sont assez proches et concordent bien avec les mesures in situ obtenues avec la station de mesure de réflectance de surface du CNES à La Crau (Provence, France). Quelques exemples de résultats sont fournis ci-dessous.

Continue reading