Validation systématique des produits Sentinel-2 de Theia

=>

Camille Desjardins (du CNES (DSO/SI/MO)), qui s'occupe de la validation des produits de niveau 2A distribués par THEIA, a très récement mis en place une validation systématique des produits fournis par MAJA, avec l'aide d'un service d'exploitation du CNES (DNO.OT/PE). Le travail est effectué par Bruno Besson avec l'aide de Nicolas Guilleminot (de Thales Services), en utilisant des outils développés par Aurélie Courtois, elle aussi de Thales).

 

Systématiquement, tous les mois, les valeurs d'épaisseurs optiques d'aérosols et de vapeur d'eau, déterminées par MAJA, sont comparées avec celles du réseau Aeronet, à chaque fois qu'un produit om THEIA observe l'un de ses sites.

 

Les deux figures ci-dessous montrent les résultats obtenus pour le mois de Février, pour l'épaisseur optique, à gauche, et pour la vapeur d'eau (à droite). Les points bleus correspondent à des validations effectuées dans les conditions idéales pour une bonne comparaison (peu de nuages, pas de données interpolées, données Aeronet qualifiées au niveau 2 ). Les points rouges correspondent à des conditions dégradées, et pour la plupart d'entre eux, c'est dû au fait que les données Aeronet qualifiées ne sont pas encore disponibles.  Dans ce cas, il est possible qu'elles soient dégradées, en raison d'une dérive de leur étalonnage... ou de la présence d'une araignée dans le tube du collimateur.

 

Validation des épaisseurs optiques d'aérosols des produits Sentinel-2 N2A de Theia  pour toutes les observations conjointes avec Aeronet en février 2018 Validation de la vapeur d'eau des produits Sentinel-2 N2A de Theia  pour toutes les observations conjointes avec Aeronet en février 2018

 

Continue reading

[MUSCATE News] Retraitement des données Sentinel-2B acquises de Juillet à Octobre 2017

=>

MUSCATE est en grande forme ces jours-ci, grâce aux efforts de l'équipe de développement (CNES et CAP GEMINI), qui ont résolu de nombreux problèmes récemment. Le compteur des produits de niveau 2A de Sentinel-2 vient de dépasser 70 000, juste un mois après avoir passé 60 000. Si on fait la somme de tous les produits distribués par  THEIA, on arrive à plus de 99000. Theia distribue aussi des masques de neige sur les montagnes à partir de Sentinel-2, and des données Spot World Heritage (les anciennes données SPOT retraitées, ortho-rectifiées et disponibles gratuitement).

 

Cette grande forme nous permet d'augmenter les rythmes de production. Nous avons commencé à traiter les données Sentinel-2B acquises entre Juillet et Octobre 2017, car nous ne traitions S2B que depuis Novembre dernier. Mais comme MAJA est une méthode multi-temporelle, c'est un véritable retraitement que nous venons de lancer, en incluant à la fois S2A et S2B. La qualité des données S2A devrait elle aussi bénéficier de l'amélioration de la répétitivité des observations.

 

Ce retraitement va prendre quelques semaines. Il commence avec la France (ROM COM inclus), puis va s'étendre à nos voisins Européens. Puis viendra le tour du site sur le Maghreb, le reste des sites Africains, et enfin les autres sites répartis dans le monde.

 

Si vous avez que votre site soit traité de manière plus rapide, n'hésitez pas à demander ! (Bien sûr, cela ne s'applique qu'aux tuiles déjà présentes sur notre liste).

 

 

 

Improvement of high cloud detection in MAJA for Sentinel-2 images.

=>

The research to improve the performances of our MAJA atmospheric correction processor relies on a very small team within CESBIO, with two persons, Bastien Rouquié, who is working at improving aerosol retrievals, and myself, who spend most of the time in meetings, or writing blog posts, and sometimes doing both simultaneously ;) . This is why improvements take time.

 

Atmospheric absorption : in blue, the surface reflectance of a vegetation pixel, as a function of wavelength. In red, the reflectance of the same pixel at the top of atmosphere. For a wavelength of 1.38 µm, water vapour totally absorbs the light that comes from the earth surface at sea level.

Anyway, I recently found some time to work on improving cloud masks above water. And these last days, i worked at improving the detection of high cloud using the cirrus band, which is available on Sentinel-2 as well as Landsat 8. As explained in this post, the "cirrus" band is locates in a strong absorption band of water vapour, strong enough to prevent photons from going from the sun to the satellite via the earth surface at sea level. As most of the water vapour lies in the low layers of the atmosphere, the clouds situated higher in the atmosphere have more chances to reflect light to the satellite. As a result, this channel allows us to detect the high clouds.

 

The detection method looks simple : just use a threshold on the cirrus band. Well that's not that easy !

Continue reading

Best wishes for 2018 !

=>

May this new year bring you happiness, and not only related to image time series !

 

As usual, this beginning of year brings the opportunity to summarize 2017. Here is what I would record, in our field of interest :

  • the consecration of Copernicus program and of the Sentinel satellites. Since 2015, more than 110,000 people have registered to access the data since 2015! In my opinion, this success is due to the combination of several factors: the data are free and easy to access, the observations are repetitive, regular and frequent worldwide, and the data are of high quality. Congratulations to ESA and the EU, not to mention the contribution of CNES for the quality of Sentinel-2 images and the calibration of Sentinel-3. Continue reading

Data upload on MUSCATE distribution server is slow

It seems that the upload of data to MUSCATE distribution server is quite slow these days. This results in a delay in the provision of data. As CNES is closed between Christmas and the new year, we will have to wait a little to have it repaired. We are sorry for that inconvenience. But you can use this opportunity to rest and spend time with your families without having to process our scenes :) . We wish you all a happy Christmas week.

Il semble que la mise à jour du serveur de distribution de MUSCATE très lente depuis quelques jours,c e qui cause d'importants retards de distribution. Comme le CNES est fermé entre Noel et le jour de l'an, nous devrons attendre pour réparer ce problème. Nous vous prions e nous en excuser. Mais vous pouvez en profiter pour passer des vacances en famille sans avoir à traiter nos données ;) . Passez tous de bonnes fêtes !

Premières validations de la carte d'occupation du sol OSO

En 2017, le Centre d'Expertise Scientifique OSO (Occupation du SOl) par l'intermédiaire du CESBIO a produit une carte d'occupation du sol de l'année 2016 à l'échelle du territoire métropolitain français et corse. On l'appelle la carte d'occupation du sol OSO ! Cette carte est le résultat de traitements automatiques massifs de séries temporelles d'images satellites optiques Sentinel-2. Comme les images Sentinel-2, cette carte a une résolution spatiale de 10 m correspondant à une unité minimale de collecte (UMC) de 0.01 ha. L'occupation du sol est décrite grâce à 8 classes au premier niveau et 17 classes à second niveau de détail, définies en fonction des potentialités de détection de l'imagerie Sentinel-2 et des besoins exprimés par des utilisateurs finaux. Ces classes couvrent les grands thèmes d'occupation du sol (surfaces artificialisées, agricoles et semi-naturelles).

Son principal avantage en comparaison avec d'autres cartes d'occupation du sol existantes, (loin de nous l'idée de les critiquer) est son exhaustivité territoriale et surtout sa fraîcheur ! Disposer d'une carte d'occupation du sol exhaustive sur l'ensemble du territoire national au premier trimestre de l'année suivante, c'est ce qu'OSO vous propose !

Quelle richesse thématique ?

Les classes détectées par télédétection sont celles du second niveau, celles du premier niveau sont obtenues par agrégation des classes du second niveau :

  • Culture annuelle
    • Culture d'hiver
    • Culture d'été
  • Culture pérenne
    • Prairie
    • Verger
    • Vigne
  • Forêt
    • Forêt de feuillus
    • Forêt de conifères
  • Formation naturelle basse
    • Pelouse
    • Lande ligneuse
  • Urbain
    • Urbain dense
    • Urbain diffus
    • Zone industrielle et commerciale
    • Surface route / asphalte
  • Surface minérale
    • Surfaces minérales
    • Plages et dunes
  • Eau
    • Eau
  • Glaciers et neiges éternelles
    • Glaciers et neiges éternelles

Avec quelle qualité ?

Valider une carte d'occupation n'est pas une procédure simple. Il s'agit de s'interroger sur :

  • la spécification des classes
  • l'échelle de validation
  • le jeu de données de validation

Dans tous les cas, il est rarement possible d'établir une validation exhaustive sur l'ensemble d'un territoire. Classiquement, une validation statistique permet d'appréhender partiellement la précision de la cartographie obtenue, et ne permet pas d'identifier l'ensemble des confusions thématiques et des erreurs géométriques de classification.

La suite de cet article tente de qualifier la précision de la carte d'occupation du sol OSO de 2016 grâce à des jeux de données de partenaires du CES OSO. Une première validation, intrinsèque au processus de classification, a été effectuée. Les résultats statistiques sont visibles ici.

Le jeu de données d'échantillons de la couverture de surface a été produit grâce à des bases de données nationales telles que la BD Topo, le Registre Parcellaire Graphique (RPG) et Corine Land Cover. 70% de ces échantillons ont été utilisés pour l'apprentissage et 30% pour la validation a posteriori visible sur la figure ci-dessous. Cette validation, bien que pertinente, s'appuie sur des échantillons dont la génération suit la même procédure que les échantillons d'apprentissage, biaisant quelque peu l'indépendance de la validation.

Validation de la carte d'occupation du sol OSO avec 30% des échantillons extraits des 3 jeux de données utilisés lors de la classification - BD Topo, Registre Parcellaire Graphique et Corine Land Cover)

De plus, il nous était impossible de valider les deux cultures annuelles de la classification. En effet, l'indisponibilité du RPG pour l'année 2016 et 2015 (toujours indisponible le jour de l'écriture de cet article), nous a amené à développer une méthode d'apprentissage basée sur le principe de l'adaptation de domaine utilisant des échantillons du RPG 2014. Cette méthode est très bien expliquée ici. Quoiqu'il en soit, il nous était impossible de valider la classification des cultures d'été et d'hiver de 2016, seuls des échantillons issus du terrain nous le permettait, en voilà la preuve !

Continue reading

Venµs à l'honneur en Haute-Garonne et en Ariège en 2018

Le satellite Franco-Israelien Venµs, attendu depuis si longtemps, a été lancé le 2 août 2017. 110 sites dans le monde vont être observés en 2018 et 2019 à 10 m de résolution et avec 12 bandes spectrales. Alors que la plupart des sites ne correspondent qu’à l’emprise d’une scène Venµs (27 à 32 km de large (est-ouest) * 27 km nord-sud), le site ‘Toulousain’ couvre un transect de 168 km du nord de la Haute-Garonne (Grenade) jusqu’en Espagne, en passant par les Pyrénées ariégeoises (dont le Mont Vallier), prolongé par un 2ème transect de 157 km de long en Espagne jusqu’à l’embouchure de l’Ebre (carte en ligne).

 

L’intérêt d’avoir choisi un si grand transect est la grande diversité des conditions pédo-climatiques due au relief varié de la zone, des types de cultures et de végétation et enfin de pratiques humaines de gestion (type d’agriculture, d’élevage…), sur un nombre de kilomètres assez restreint. Ce transect Venµs permettra ainsi d’étudier de nombreux agro-écosystèmes différents.

Le transect Venµs, de Toulouse à l'espagne.

L’intérêt majeur de la mission scientifique Venµs est d’offrir une très forte revisite temporelle : chaque site sera observé tous les 2 jours. En combinant les données de Venµs avec celles de Landsat 8 et Sentinel-2, la revisite sera presque quotidienne. Au niveau scientifique, il s’agit de préparer les futures missions spatiales opérationnelles et de démontrer l’intérêt d’une fréquence temporelle très élevée. Au niveau thématique, ces 2 années 2018 et 2019 vont permettre de suivre finement les évolutions rapides des phénomènes naturels comme les variations du manteau neigeux, la croissance des cultures, les stades phénologiques des diverses végétations (forêts, prairies, cultures, autres milieux naturels), etc… Pour être pleinement valorisés, ces sujets nécessiteront des observations de terrain de qualité sur ces deux années 2018 et 2019. Nous faisons donc acte d’information, voire d’appel à volontaires, pour collecter des données de terrain pertinentes. Ci-dessous, nous listons les principaux sujets déjà prévus ou potentiels, pour chacune des 2 grandes zones géographiques du transect ; ainsi que les principaux acteurs pré-identifiés.

 

Continue reading

Sentinel-2 ground segment restarted, but a backlog remains to be processed

From Scihub news :

Referring to the news of 11 August , users are informed that the contingency issue occurred at Matera has been solved and nominal Sentinel-2A/B production was restarted yesterday 16 August in the early afternoon.
An inventory of the missing production is being consolidated and all impacted S2A/B L1C products will be recovered in the coming weeks, together with the ongoing recovery of missing products between 1st and 8th August as reported in the news of 09 August .

THEIA releases Sentinel-2 L2A time series over several regions of Brazil

Theia has added seven new sites in Brazil, for which Sentinel-2 L2A are produced and distributed, starting in December 2016.  These sites will be processed in near real time from now on. Data are produced by the MUSCATE system at CNES, using CNES-DLR MAJA processor. The products can be freely downloaded from https://theia.cnes.fr.

 

These sites were selected following demands from French scientists, with two main themes :

  • Land cover and land use change monitoring
  • Water body surface and turbidity

Continue reading

Issue with Firefox 53 on Theia distribution server

We recently figured out that the Theia distribution server is not fully compatible with the most recent version of Firefox (V53), and that the authentication fails, preventing from downloading products with that version. The teams are working to solve this, but meanwhile, please wait before updating your firefox browser.

Nous nous sommes récemment aperçus que le serveur de distribution Theia n'est pas compatible avec la nouvelle version de Firefox. L'authentification plante, et il n'est donc pas possible de télécharger les données avec cette version. Les équipes techniques cherchent à résoudre ce problème, mais en attendant que le problème soit résolu, ne mettez pas à jour votre navigateur !