Data upload on MUSCATE distribution server is slow

It seems that the upload of data to MUSCATE distribution server is quite slow these days. This results in a delay in the provision of data. As CNES is closed between Christmas and the new year, we will have to wait a little to have it repaired. We are sorry for that inconvenience. But you can use this opportunity to rest and spend time with your families without having to process our scenes :) . We wish you all a happy Christmas week.

Il semble que la mise à jour du serveur de distribution de MUSCATE très lente depuis quelques jours,c e qui cause d'importants retards de distribution. Comme le CNES est fermé entre Noel et le jour de l'an, nous devrons attendre pour réparer ce problème. Nous vous prions e nous en excuser. Mais vous pouvez en profiter pour passer des vacances en famille sans avoir à traiter nos données ;) . Passez tous de bonnes fêtes !

Canigou 3D

Lo Canigó és una magnòlia immensa
que en un rebrot del Pirineu se bada
- Jacint Verdaguer i Santaló

 

The Canigó is an immense magnolia
that blooms in an offshoot of the Pyrenees

 

3D view of the Canigou on 19-Dec-2017 (with a fancy tiltshift effect)

Continue reading

MAJA Sentinel-2 L2A processor downloaded more than 200 times

Since spring 2017, we have made the MAJA cloud screening and atmospheric correction processor available for commercial use. A bit later, end of June, the Sen2agri software package, which includes MAJA older version (named MACCS) , was also released to the public. We did not expect a large success, as these two packages are quite heavy ones, do not work on laptops, and require a specific linux system powerful computers (Red Hat or CentOS).

Anyway, the MAJA processor has had quite a large success, even if, I guess, it is far from the success of Sen2cor, which is much easier to install and use, even if the performances are not the same. The figures below correspond nearly to one download per day.

 

Number of downloads of MAJA (stand alone version) 93
Number of downloads of MACCS (Sen2Agri version)i 116

 

To celebrate this fact, we just published a brand new MAJA detailed description.

A brand new MAJA ATBD

I have always wanted to provide an Algorithm Theoretical Basis Document related to MAJA, but never had time, because I always had more urgent things to do. Some papers had been published, allowing MAJA users to get a good idea or the methods we use, but the published articles did not cover all the features of MAJA.

 

But this time, due to a contractual engagement with ESA, it was the urgent thing to do. So, at last, after a few weeks of hard work, here it is.

 

If you have already read the papers from our team, you will recognize some text published quite a long time ago, but we updated all the text and added some parts which had not been explained yet in journal publications, and of course the new parts recently added to MAJA. This ATBD is now in line with version 2.0 of MAJA.

 

The ATBD can be cited with the following reference :

Olivier Hagolle, Mireille Huc, Camille Descardins, Stefan Auer, Rudolf Richter, MAJA Algorithm Theoretical Basis Document, https://doi.org/10.5281/zenodo.1209633 DOI

[MUSCATE] A little error on Sentinel-2B L2A products processed before December 1st.

When we started making tests of the L2A production at MUSCATE with Sentinel-2B data, we considered using a small correction of Sentinel-2B to correct for a eventual bias between the reflectances of each satellite. Such differences were observed by colleagues form CNES, and were comprised between 0 and 2.5%.  Finally, we decided not to implement this in the operational line, because the figures we had were based on a small duration of acquisitions and were possibly not accurate enough.

 

Band name Coefficient
B1 1.002
B2 0.995
B3 1.000
B4 1.008
B5 1.009
B6 1.017
B7 1.014
B8 1.024
B8A 1.012
B9 1.000
B10 1.000
B11 1.004
B12 0.986

 

Due to a human error, it turns out that the parameter file that we used for these tests made its way to the operational line. MAJA parameters are kept under a GIT version manager, which should reduce the probablility of such errors, but that parameter file is a parameter of MUSCATE, not MAJA, which was not managed yet. And as you know, according to Mr Murphy, when something can turn wrong, it turns wrong. the test calibration adjustment made its way to the production line.

 

For the Sentinel-2B L2A products produced until the 30th of November, the L1C TOA reflectance  values were divided by the coefficients provided in the table above. On the first of December, this error was corrected. As the differences are quite small, we have not removed the Sentinel-2B products produced before December 1st, but we are going to reproduce them and replace them by the correct values during the coming weeks.

 

We are sorry for hat error, which will make us improve our verification procedure.

 

 

Premières validations de la carte d'occupation du sol OSO

En 2017, le Centre d'Expertise Scientifique OSO (Occupation du SOl) par l'intermédiaire du CESBIO a produit une carte d'occupation du sol de l'année 2016 à l'échelle du territoire métropolitain français et corse. On l'appelle la carte d'occupation du sol OSO ! Cette carte est le résultat de traitements automatiques massifs de séries temporelles d'images satellites optiques Sentinel-2. Comme les images Sentinel-2, cette carte a une résolution spatiale de 10 m correspondant à une unité minimale de collecte (UMC) de 0.01 ha. L'occupation du sol est décrite grâce à 8 classes au premier niveau et 17 classes à second niveau de détail, définies en fonction des potentialités de détection de l'imagerie Sentinel-2 et des besoins exprimés par des utilisateurs finaux. Ces classes couvrent les grands thèmes d'occupation du sol (surfaces artificialisées, agricoles et semi-naturelles).

Son principal avantage en comparaison avec d'autres cartes d'occupation du sol existantes, (loin de nous l'idée de les critiquer) est son exhaustivité territoriale et surtout sa fraîcheur ! Disposer d'une carte d'occupation du sol exhaustive sur l'ensemble du territoire national au premier trimestre de l'année suivante, c'est ce qu'OSO vous propose !

Quelle richesse thématique ?

Les classes détectées par télédétection sont celles du second niveau, celles du premier niveau sont obtenues par agrégation des classes du second niveau :

  • Culture annuelle
    • Culture d'hiver
    • Culture d'été
  • Culture pérenne
    • Prairie
    • Verger
    • Vigne
  • Forêt
    • Forêt de feuillus
    • Forêt de conifères
  • Formation naturelle basse
    • Pelouse
    • Lande ligneuse
  • Urbain
    • Urbain dense
    • Urbain diffus
    • Zone industrielle et commerciale
    • Surface route / asphalte
  • Surface minérale
    • Surfaces minérales
    • Plages et dunes
  • Eau
    • Eau
  • Glaciers et neiges éternelles
    • Glaciers et neiges éternelles

Avec quelle qualité ?

Valider une carte d'occupation n'est pas une procédure simple. Il s'agit de s'interroger sur :

  • la spécification des classes
  • l'échelle de validation
  • le jeu de données de validation

Dans tous les cas, il est rarement possible d'établir une validation exhaustive sur l'ensemble d'un territoire. Classiquement, une validation statistique permet d'appréhender partiellement la précision de la cartographie obtenue, et ne permet pas d'identifier l'ensemble des confusions thématiques et des erreurs géométriques de classification.

La suite de cet article tente de qualifier la précision de la carte d'occupation du sol OSO de 2016 grâce à des jeux de données de partenaires du CES OSO. Une première validation, intrinsèque au processus de classification, a été effectuée. Les résultats statistiques sont visibles ici.

Le jeu de données d'échantillons de la couverture de surface a été produit grâce à des bases de données nationales telles que la BD Topo, le Registre Parcellaire Graphique (RPG) et Corine Land Cover. 70% de ces échantillons ont été utilisés pour l'apprentissage et 30% pour la validation a posteriori visible sur la figure ci-dessous. Cette validation, bien que pertinente, s'appuie sur des échantillons dont la génération suit la même procédure que les échantillons d'apprentissage, biaisant quelque peu l'indépendance de la validation.

Validation de la carte d'occupation du sol OSO avec 30% des échantillons extraits des 3 jeux de données utilisés lors de la classification - BD Topo, Registre Parcellaire Graphique et Corine Land Cover)

De plus, il nous était impossible de valider les deux cultures annuelles de la classification. En effet, l'indisponibilité du RPG pour l'année 2016 et 2015 (toujours indisponible le jour de l'écriture de cet article), nous a amené à développer une méthode d'apprentissage basée sur le principe de l'adaptation de domaine utilisant des échantillons du RPG 2014. Cette méthode est très bien expliquée ici. Quoiqu'il en soit, il nous était impossible de valider la classification des cultures d'été et d'hiver de 2016, seuls des échantillons issus du terrain nous le permettait, en voilà la preuve !

Continue reading

Venµs à l'honneur en Haute-Garonne et en Ariège en 2018

Le satellite Franco-Israelien Venµs, attendu depuis si longtemps, a été lancé le 2 août 2017. 110 sites dans le monde vont être observés en 2018 et 2019 à 10 m de résolution et avec 12 bandes spectrales. Alors que la plupart des sites ne correspondent qu’à l’emprise d’une scène Venµs (27 à 32 km de large (est-ouest) * 27 km nord-sud), le site ‘Toulousain’ couvre un transect de 168 km du nord de la Haute-Garonne (Grenade) jusqu’en Espagne, en passant par les Pyrénées ariégeoises (dont le Mont Vallier), prolongé par un 2ème transect de 157 km de long en Espagne jusqu’à l’embouchure de l’Ebre (carte en ligne).

 

L’intérêt d’avoir choisi un si grand transect est la grande diversité des conditions pédo-climatiques due au relief varié de la zone, des types de cultures et de végétation et enfin de pratiques humaines de gestion (type d’agriculture, d’élevage…), sur un nombre de kilomètres assez restreint. Ce transect Venµs permettra ainsi d’étudier de nombreux agro-écosystèmes différents.

Le transect Venµs, de Toulouse à l'espagne.

L’intérêt majeur de la mission scientifique Venµs est d’offrir une très forte revisite temporelle : chaque site sera observé tous les 2 jours. En combinant les données de Venµs avec celles de Landsat 8 et Sentinel-2, la revisite sera presque quotidienne. Au niveau scientifique, il s’agit de préparer les futures missions spatiales opérationnelles et de démontrer l’intérêt d’une fréquence temporelle très élevée. Au niveau thématique, ces 2 années 2018 et 2019 vont permettre de suivre finement les évolutions rapides des phénomènes naturels comme les variations du manteau neigeux, la croissance des cultures, les stades phénologiques des diverses végétations (forêts, prairies, cultures, autres milieux naturels), etc… Pour être pleinement valorisés, ces sujets nécessiteront des observations de terrain de qualité sur ces deux années 2018 et 2019. Nous faisons donc acte d’information, voire d’appel à volontaires, pour collecter des données de terrain pertinentes. Ci-dessous, nous listons les principaux sujets déjà prévus ou potentiels, pour chacune des 2 grandes zones géographiques du transect ; ainsi que les principaux acteurs pré-identifiés.

 

Continue reading