Mapping the Glacier Bay landslide using Sentinel-1 and Sentinel-2

Dave Petley wrote a nice article in the AGU's Landslide blog about a massive landslide in Glacier Bay, Alaska. This huge avalanche of debris was spotted by a local pilot Paul Swanstrom on June 28. When Paul was above it, "dust was still flying". Later, based on earthquake records in Alaska, the experts figured out that it probably happened at 8:21 am on the same day.

Photo of the the Glacier Bay landslide in Alaska by Paul Swanstrom - MountainFlyingService (click on the image to see the Facebook photo album)

 

Continue reading

New version of fully automatic land cover map of France for 2014 from LANDSAT8

=>

Over the last months, we worked a lot on our method for Land Cover map production. Three main topics (1) were studied with Arthur Vincent and David Morin at CESBIO :

  1. porting and validating the iota2 processor on the CNES High Performance Computing facilities (HPC);
  2. enhancing the method for reference data preparation. Reference data are used both for training and validation;
  3. developing a stratification method which allows to train and apply classifiers per eco-climatic area, for instance.

Using all these new features, we produced a lot (really a lot!) of maps for the continental France. We just released the 4 following examples, produced using all the available LANDSAT8 data in 2014 :

  • regarding reference data :
    1. including 4 classes of artificial surfaces : continuous urban , dicontinuous urban, road surfaces, and commercial and industrial areas (2);
    2. only one artificial class that gathers the 4 above (3);
  • regarding the stratification method :
    1. using eco-climatic areas (4);
    2. without stratification, but using a fusion of several classifiers trained over different sets of tiles.
The pink urban spot, in the center of brown zone, is the village of Chateauneuf du Pape which is famous for its wine, and the brown color is the vineyard class. Validated !

Continue reading

Nouvelle version des produits d'occupation des sols OSO sur la France en 2014

=>

Nous avons beaucoup travaillé sur la procédure de génération des cartes d'occupation des sols ces derniers mois. Trois axes principaux1 ont été abordés par Arthur Vincent et David Morin au Cesbio :

  1. Le portage et la validation de la chaîne de traitement iota2 sur l'infrastructure de calcul à haute performance (HPC) du Cnes.
  2. L'amélioration de la procédure de préparation des données de référence utilisées pour l'apprentissage des classifieurs et la validation des cartes produites.
  3. La mise au point de la stratification qui permet de spécialiser les algorithmes de classification par zone éco-climatique, par exemple.

En utilisant toutes ces nouveautés, nous avons produit beaucoup (vraiment beaucoup!) de cartes sur la France métropolitaine. Nous venons de mettre en ligne quelques exemples sur l'année 2014 en utilisant toutes les données Landsat8 disponibles. Nous avons choisi de vous montrer les 4 cas qui correspondent aux combinaisons suivantes :

  • sur la donnée de référence :
    1. utilisation de 4 classes de surfaces artificielles (abusivement appelées "bâti") : urbain continu, urbain discontinu, surfaces "route" et zones industrielles et commerciales (2);
    2. regroupement a posteriori de ces 4 classes (3);
  • sur le mode de stratification :
    1. avec stratification par zone éco-climatique (4);
    2. sans stratification, mais avec une fusion de plusieurs (10) classifieurs appris sur des tuiles images différentes.

Le village en rose, au centre de la zone marron, c'est le village de Chateauneuf du Pape, et la zone marron autour du village, ce sont des vignes ! Pas besoin de vérité terrain pour le vérifier, mais on veut bien aller vérifier quand même.

Arthur nous a concocté une interface assez pratique pour la visualisation et la comparaison des différentes cartes.  Vous pouvez y accéder ici. L'icône en haut à droite vous permet de sélectionner les cartes qui seront affichées. A gauche, sous les boutons qui gèrent le niveau de zoom, vous avez la possibilité de sélectionner 2 des cartes pour lesquelles les statistiques de qualité (FScore par classe5) seront affichées sous la zone de visualisation. Cela vous permet d'apprécier les différences entre les approches.

 

Aux 4 nouvelles cartes, nous avons ajouté la version que nous avions publié en début d'année, dont la qualité est inférieure. Si vous regardez la précision globale de cette carte (Overall Accuracy) vous verrez qu'elle est en fait supérieure à celle des nouvelles cartes. Ceci est dû au fait que dans cette ancienne version, nous utilisions beaucoup de pixels d'eau pour la validation, et l'eau est très facile à classer. Le problème principal de cette ancienne version est le sur-classement des zones urbaines au dépens des surfaces minérales naturelles et des vergers. Ceci a été amélioré grâce au travail sur la préparation de la donnée de référence.

 

Pour comparer des cartes, il est utile de regarder les FScore par classe. Vous verrez ainsi que la stratification éco-climatique apporte des améliorations importantes sur les valeurs moyennes et sur les intervalles de confiance.

 

Si vous voulez récupérer les fichiers GeoTiff complets (attention, c'est volumineux!), vous pouvez utiliser les liens suivants :

N'hésitez pas à nous faire des retours. Nous continuons à travailler sur les améliorations des méthodes.

Notes:

1Beaucoup d'autres tâches ont été réalisées, dont la préparation de l'ingestion des données Sentinel-2, par exemple.

2Ces 4 classes correspondent à la nomenclature de Corine Land Cover, dont les polygones du millésime 2012 ont été affinés en utilisant une procédure développée par David et Marcela et décrite dans cette présentation (à partir de la planche 33).

3L'apprentissage et la classification sont toujours faits avec les 4 classes séparées, mais elles sont regroupées à la fin, ce qui permet d'augmenter la précision de la carte en échange d'une perte de finesse thématique. Mais les pixels de 30 m. de Landsat ne nous permettent d'être très précis pour ces classes.

4Nous avons utilisé la carte publiée par Joly et al.

5Nous utilisons cette métrique, car elle combine les erreurs d'omission et de commission.

 

Téléchargez des exemples de produits de niveau 2A Sentinel-2 produits par THEIA

=>

Exemples de produits

La validation du segment sol MUSCATE, au sein du du pole de données THEIA, est en cours, et nous pouvons dès à présent four fournir des exemples de produits pour vous permettre de vous familiariser avec leur format, et pour que vous puissiez préparer vos outils de lecture. Les produits que nous distribuons appartiennent à une série temporelle d'images acquises par Sentinel-2 en Provence et au dessus des Alpes, l'hiver dernier. Elles ont été traitées au Niveau 2A par MACCS (correction atmosphérique, détection de nuages).
Les produits peuvent être téléchargés sur un site ftp provisoire :

ftp://hagolleoinv@theia-sef.cnes.fr/Cnes_to_theia
Vous pouvez utiliser mon compte et mon mot de passe :
hagolleoinv
TelechS2Theia

La description du format est accessible ici, et un premier rapport de validation est accessible ici. Les produits ont été obtenus avec la version 4.8 de MACCS qui n'inclue pas la forte amélioration de la détection des ombres, incluse dans la version 5.0.

N'hésitez pas à nous faire part de vos impressions (même si elles sont positives ! ).

Mosaïque des 4 tuiles de l'un des exemples de produits N2A issues de Sentinel-2 et distribués par THEIA

 

Planning de distribution des produits de Niveau 2A Sentinel-2

Nous espérions pouvoir démarrer dès le mois de Juin la distribution des données THEIA, mais les phases de validation ont révélé quelques petits problèmes qu'il a fallu corriger. Même si les équipes de développement ont accompli un gros travail, il a fallu décaler le calendrier. Le transfert du centre de traitement aux équipes opérationnelles démarre donc tout juste, et en pleine période d'été (ce qui n'est pas très pratique). Cependant, et c'est une bonne nouvelle, l'équipe projet a profité de ce retard pour intégrer la nouvelle version de MACCS avec sa détection des ombres améliorée.

Après la phase de qualification opérationnelle, le centre MUSCATE pourra commencer à produire et distribuer des données. C'est prévu en Septembre, et nous traiterons les données à partir du 28 Novembre 2015, après les périodes d'indisponibilité des données Sentinel-2 dues à l'anomalie "MMFU". Nous commencerons par la France et étendrons la zone de production le plus rapidement possible aux autres régions d'Europe et d'Afrique. Les régions situées hors de de ces deux continents ne sont observées par Sentinel-2 que tous les 20 jours, depuis Mai 2015 seulement. Nous devrons vérifier que les performances de MACCS résistent à des observations aussi peu fréquentes.

Autres productions de THEIA

La production des données LANDSAT 8 sur le segment sol prototype va se poursuivre en parallèle du démarrage de la production de Sentinel-2 sur le centre MUSCATE.  Mais lorsque le segment sol MUSCATE sera prêt, nous basculerons la production des données LANDSAT 8 sur ce centre.

Ce changement entraînera un changement de format, et nous avons décidé de rééchantillonner les données LANDSAT 8 sur la grille de tuiles Sentinel-2 (en UTM au lieu de Lambert 93), afin que vous puissiez utiliser les données des deux satellites sans difficultés.  La production passera à ce moment là en temps quasi-réel, et toutes les données LANDSAT 8 acquises sur la France et les ROM-COM seront retraitées.

Download some samples of THEIA L2A products for S2A

=> 

Sample products

The validation of the operational MUSCATE ground segment, within the THEIA Land Data Center is going on, and we are starting to deliver a few sample products so that you may  start to prepare your softwares to use them. The sample products were acquired by Sentinel-2 over Provence and the Alps, during the winter of 2015-2016. They are made available on a provisional ftp site :

ftp://hagolleoinv@theia-sef.cnes.fr/Cnes_to_theia
You may use my account and password :
hagolleoinv
TelechS2Theia

You will find the format description here, and some validation results here. The products were created with MACCS V.4.8, which does not include yet the large improvement of the cloud shadow detection. We will be happy to get some feedback !

Mosaic of 4 tiles for one of the sample L2A products from Sentinel-2, that we just made available.

 

L2A Distribution Schedule

We had hopes that the distribution of Sentinel-2 L2A products by THEIA could start in June, but the validation phases uncovered several bugs that took some time to correct. Despite a really tough work by the development teams (CAP Gemini, Magellium and CNES), MUSCATE planning shifted, and the transfer to the operational teams is just starting, right in the summer period (which is not very convenient). However, the project team is using this delay to integrate the most recent version of MACCS, which enhances the detection of cloud shadows.
After the operational qualification, the start of MUSCATE production and distribution is now set for September. We will start with France, and extend as quickly as possible the regions to process to Europe and Africa. For the other regions, which are only acquired with a repetitivity of 20 days, we will need to perform some tests to check if MACCS performances resist to such a low repetitivity. The data production should start from data acquired in December 2015, after the large data gaps due to Sentinel-2 MMFU anomaly.