Sentinel-2 et Landsat-8 font équipe pour suivre la coulée de lave du volcan Kilauea

=>

 

Le volcan Kilauea à Hawaï est un des plus actifs au monde. Cela fait déjà plus de trente ans qu'il est entré en éruption, mais il a fait les gros titres récemment car ses coulées ont atteint l'océan Pacifique, agrandissant le territoire hawaïen de deux hectares d'un coup ! Voilà une technique efficace pour lutter contre la hausse du niveau de la mer...

Photo aérienne de la coulée de lave 61G au point d'entrée dans l'océan Pacifique le 19 août 2016. Crédit: U.S. Geological Survey Department of the Interior/USGS U.S. Geological Survey.

Continue reading

Sentinel-2A and Landsat-8 team up to track Kilauea Volcano's lava flow

=>

 

Kilauea Volcano in the largest active volcano in Hawaii and one of the most active on Earth. It has been erupting for over 30 years now but hit the headlines recently because a large lava flow traveled up to the ocean, adding 2 brand new hectares to the Hawaiian Islands.

Aerial view of the 61G lava flow ocean entry on August 19, 2016. Credit: U.S. Geological Survey Department of the Interior/USGS U.S. Geological Survey.

Continue reading

Sentinel-2A (and Landsat-8) capture a giant ice avalanche in Tibet

After reading my previous post about the Rutog ice avalanche, my distinguished colleagues Antoine R. and Olivier H. challenged me to look for a pre-event image to better highlight the avalanche area. The closest clear-sky image that I could find is a Landsat-8 image that was acquired on June 24 (23 days before the slide).

 

Sequence of two Landsat-8 and Sentinel-2A images. Both images are level 1 product displayed as natural color composites. Click to enlarge.

Continue reading

The iota2 Land cover processor has processed some Sentinel-2 data

=> 

You already heard about iota2 processor, and you must know that it can process LANDSAT 8 time series et deliver land cover maps for whole countries. These las days, Arthur Vincent completed the code that allows processing Sentinel-2 time series. Even if atmospherically corrected Sentinel-2 data are not yet available above the whole France, we used  the demonstration products delivered by Theia to test our processor.

 

Everything seems to work fine, and the 10 m resolution of Sentinel-2 seems to allow seeing much more details. The joined images show two extracts near Avignon, in Provence, which show the differences between Landsat 8 and Sentinel-2. Please just look only at the detail level, and not at the differences in terms of classes. Both maps were produces using different time periods, and a period limited to winter and beginning of spring for Sentinel-2, and the learning database is also different. Please don,'t draw conclusions too fast about the thematic quality of the maps.

 

First extract shows a natural vegetation zone, with some farmland (top LANDSAT8, bottom Sentinel-2)

coudoux.png

Continue reading

La chaîne d'occupation des sols iota2 sait maintenant traiter Sentinel-2

=>

Vous connaissez déjà la chaîne iota2 et vous savez qu'elle sait traiter les séries temporelles Landsat8 et générer des cartes d'occupation des sols. Ces derniers jours, Arthur Vincent a terminé le code permettant d'utiliser les séries temporelles Sentinel-2. Même si nous n'avons pas encore des séries Sentinel-2 sur toute la France (mais elles devraient arriver bientôt), nous avons utilisé des produits de démonstration fournis par THEIA pour valider la chaîne de traitement.

 

Tout a l'air de bien marcher et la résolution de 10m. de Sentinel-2 permet d'avoir beaucoup plus de détails au niveau des cartes produites. Voici 2 extraits (près d'Avignon) qui montrent la différence entre Landsat8 (en haut) et Sentinel-2 (en bas). Attention, la comparaison n'a de sens qu'en termes de détail spatial : les cartes ne correspondent pas aux mêmes périodes d'acquisition, seuls quelques mois de données Sentinel-2 ont été utilisés, sans la période estivale, et les données de référence sont légèrement différentes. Il ne faut pas tirer donc de conclusion par rapport à la qualité thématique de ces cartes.

 

Le premier extrait montre une zone de végétation naturelle avec un peu d'agriculture (en haut LANDSAT8, en bas Sentinel-2)

coudoux.png

Continue reading

New version of fully automatic land cover map of France for 2014 from LANDSAT8

=>

Over the last months, we worked a lot on our method for Land Cover map production. Three main topics (1) were studied with Arthur Vincent and David Morin at CESBIO :

  1. porting and validating the iota2 processor on the CNES High Performance Computing facilities (HPC);
  2. enhancing the method for reference data preparation. Reference data are used both for training and validation;
  3. developing a stratification method which allows to train and apply classifiers per eco-climatic area, for instance.

Using all these new features, we produced a lot (really a lot!) of maps for the continental France. We just released the 4 following examples, produced using all the available LANDSAT8 data in 2014 :

  • regarding reference data :
    1. including 4 classes of artificial surfaces : continuous urban , dicontinuous urban, road surfaces, and commercial and industrial areas (2);
    2. only one artificial class that gathers the 4 above (3);
  • regarding the stratification method :
    1. using eco-climatic areas (4);
    2. without stratification, but using a fusion of several classifiers trained over different sets of tiles.
The pink urban spot, in the center of brown zone, is the village of Chateauneuf du Pape which is famous for its wine, and the brown color is the vineyard class. Validated !

Continue reading

Nouvelle version des produits d'occupation des sols OSO sur la France en 2014

=>

Nous avons beaucoup travaillé sur la procédure de génération des cartes d'occupation des sols ces derniers mois. Trois axes principaux1 ont été abordés par Arthur Vincent et David Morin au Cesbio :

  1. Le portage et la validation de la chaîne de traitement iota2 sur l'infrastructure de calcul à haute performance (HPC) du Cnes.
  2. L'amélioration de la procédure de préparation des données de référence utilisées pour l'apprentissage des classifieurs et la validation des cartes produites.
  3. La mise au point de la stratification qui permet de spécialiser les algorithmes de classification par zone éco-climatique, par exemple.

En utilisant toutes ces nouveautés, nous avons produit beaucoup (vraiment beaucoup!) de cartes sur la France métropolitaine. Nous venons de mettre en ligne quelques exemples sur l'année 2014 en utilisant toutes les données Landsat8 disponibles. Nous avons choisi de vous montrer les 4 cas qui correspondent aux combinaisons suivantes :

  • sur la donnée de référence :
    1. utilisation de 4 classes de surfaces artificielles (abusivement appelées "bâti") : urbain continu, urbain discontinu, surfaces "route" et zones industrielles et commerciales (2);
    2. regroupement a posteriori de ces 4 classes (3);
  • sur le mode de stratification :
    1. avec stratification par zone éco-climatique (4);
    2. sans stratification, mais avec une fusion de plusieurs (10) classifieurs appris sur des tuiles images différentes.

Le village en rose, au centre de la zone marron, c'est le village de Chateauneuf du Pape, et la zone marron autour du village, ce sont des vignes ! Pas besoin de vérité terrain pour le vérifier, mais on veut bien aller vérifier quand même.

Arthur nous a concocté une interface assez pratique pour la visualisation et la comparaison des différentes cartes.  Vous pouvez y accéder ici. L'icône en haut à droite vous permet de sélectionner les cartes qui seront affichées. A gauche, sous les boutons qui gèrent le niveau de zoom, vous avez la possibilité de sélectionner 2 des cartes pour lesquelles les statistiques de qualité (FScore par classe5) seront affichées sous la zone de visualisation. Cela vous permet d'apprécier les différences entre les approches.

 

Aux 4 nouvelles cartes, nous avons ajouté la version que nous avions publié en début d'année, dont la qualité est inférieure. Si vous regardez la précision globale de cette carte (Overall Accuracy) vous verrez qu'elle est en fait supérieure à celle des nouvelles cartes. Ceci est dû au fait que dans cette ancienne version, nous utilisions beaucoup de pixels d'eau pour la validation, et l'eau est très facile à classer. Le problème principal de cette ancienne version est le sur-classement des zones urbaines au dépens des surfaces minérales naturelles et des vergers. Ceci a été amélioré grâce au travail sur la préparation de la donnée de référence.

 

Pour comparer des cartes, il est utile de regarder les FScore par classe. Vous verrez ainsi que la stratification éco-climatique apporte des améliorations importantes sur les valeurs moyennes et sur les intervalles de confiance.

 

Si vous voulez récupérer les fichiers GeoTiff complets (attention, c'est volumineux!), vous pouvez utiliser les liens suivants :

N'hésitez pas à nous faire des retours. Nous continuons à travailler sur les améliorations des méthodes.

Notes:

1Beaucoup d'autres tâches ont été réalisées, dont la préparation de l'ingestion des données Sentinel-2, par exemple.

2Ces 4 classes correspondent à la nomenclature de Corine Land Cover, dont les polygones du millésime 2012 ont été affinés en utilisant une procédure développée par David et Marcela et décrite dans cette présentation (à partir de la planche 33).

3L'apprentissage et la classification sont toujours faits avec les 4 classes séparées, mais elles sont regroupées à la fin, ce qui permet d'augmenter la précision de la carte en échange d'une perte de finesse thématique. Mais les pixels de 30 m. de Landsat ne nous permettent d'être très précis pour ces classes.

4Nous avons utilisé la carte publiée par Joly et al.

5Nous utilisons cette métrique, car elle combine les erreurs d'omission et de commission.

 

Téléchargez des exemples de produits de niveau 2A Sentinel-2 produits par THEIA

=>

Exemples de produits

La validation du segment sol MUSCATE, au sein du du pole de données THEIA, est en cours, et nous pouvons dès à présent four fournir des exemples de produits pour vous permettre de vous familiariser avec leur format, et pour que vous puissiez préparer vos outils de lecture. Les produits que nous distribuons appartiennent à une série temporelle d'images acquises par Sentinel-2 en Provence et au dessus des Alpes, l'hiver dernier. Elles ont été traitées au Niveau 2A par MACCS (correction atmosphérique, détection de nuages).
Les produits peuvent être téléchargés sur un site ftp provisoire :

ftp://hagolleoinv@theia-sef.cnes.fr/Cnes_to_theia
Vous pouvez utiliser mon compte et mon mot de passe :
hagolleoinv
TelechS2Theia

La description du format est accessible ici, et un premier rapport de validation est accessible ici. Les produits ont été obtenus avec la version 4.8 de MACCS qui n'inclue pas la forte amélioration de la détection des ombres, incluse dans la version 5.0.

N'hésitez pas à nous faire part de vos impressions (même si elles sont positives ! ).

Mosaïque des 4 tuiles de l'un des exemples de produits N2A issues de Sentinel-2 et distribués par THEIA

 

Planning de distribution des produits de Niveau 2A Sentinel-2

Nous espérions pouvoir démarrer dès le mois de Juin la distribution des données THEIA, mais les phases de validation ont révélé quelques petits problèmes qu'il a fallu corriger. Même si les équipes de développement ont accompli un gros travail, il a fallu décaler le calendrier. Le transfert du centre de traitement aux équipes opérationnelles démarre donc tout juste, et en pleine période d'été (ce qui n'est pas très pratique). Cependant, et c'est une bonne nouvelle, l'équipe projet a profité de ce retard pour intégrer la nouvelle version de MACCS avec sa détection des ombres améliorée.

Après la phase de qualification opérationnelle, le centre MUSCATE pourra commencer à produire et distribuer des données. C'est prévu en Septembre, et nous traiterons les données à partir du 28 Novembre 2015, après les périodes d'indisponibilité des données Sentinel-2 dues à l'anomalie "MMFU". Nous commencerons par la France et étendrons la zone de production le plus rapidement possible aux autres régions d'Europe et d'Afrique. Les régions situées hors de de ces deux continents ne sont observées par Sentinel-2 que tous les 20 jours, depuis Mai 2015 seulement. Nous devrons vérifier que les performances de MACCS résistent à des observations aussi peu fréquentes.

Autres productions de THEIA

La production des données LANDSAT 8 sur le segment sol prototype va se poursuivre en parallèle du démarrage de la production de Sentinel-2 sur le centre MUSCATE.  Mais lorsque le segment sol MUSCATE sera prêt, nous basculerons la production des données LANDSAT 8 sur ce centre.

Ce changement entraînera un changement de format, et nous avons décidé de rééchantillonner les données LANDSAT 8 sur la grille de tuiles Sentinel-2 (en UTM au lieu de Lambert 93), afin que vous puissiez utiliser les données des deux satellites sans difficultés.  La production passera à ce moment là en temps quasi-réel, et toutes les données LANDSAT 8 acquises sur la France et les ROM-COM seront retraitées.

MACCS qualified for Atmospheric Correction Euro and World Cup

Don't worry, I have not been converted to a football fan, it is still giving me allergies ! But after a post about sex ratio, we are still trying to increase the amount of connexions to this blog.

 

However, the title of this post is partly true, since, simultaneously, we are engaged to two competitions to compare cloud screening and atmospheric correction softwares applicable to Sentinel-2 or Landsat-8. The Atmospheric Correction Euro is organised by ESA, to select the method that will be used by ESA to systematically produce Sentinel-2 images to level 2A. The Euro world cup will last one year, with successive iterations between 4 producers, and a Jury of experts. Of course MACCS is participating, and we (DLR + CNES/CESBIO) are using this opportunity to merge MACCS and ATCOR methods, in order to use the methods from each of these two codes. In this framework, the resulting software we will get was renamed MAJA (say MAYA), for MACCS-ATCOR Joint Algorithm.

 

The Atmospheric Correction World cup is organized by NASA and ESA in the framework of the committee on earth observation satellites (CEOS). Here, about 12 codes will be compared, and the comparison will be done with LANDSAT 8 and Sentinel-2 data, it will seemingly focus on atmospheric correction rather than cloud screening, although it is not always easy to separate both aspects.

 

The World Cup will start this summer, while the Euro started last month. I have already shown a few validation results from this exercise :

- cloud masks comparison with Sen2cor

- validation of the consistency of processing among various tiles

- and thanks to Camille Desjardins (CNES), we just obtained validations of AOT estimates and Water Vapour estimates. The water vapour validation results are quite accurate and largely good enough to perform the atmospheric correction. The AOT validation results are decent, with rmse a little above what we observed for LANDSAT 8 over France. But the choice of sites is more difficult, with 2 arid sites, and the repetitivity of Sentinel-2 acquisitions is still far from what it should be (because of issues on board or on the ground segment). As already said in this blog, the accuracy of MACCS software increases with repetitivity.

Water vapour content validation wrt aeronet data for 4 sites (France, Morocco, Israel, SouthAfrica)

Aerosol optical thickness validation wrt aeronet data for 4 sites (France, Morocco, Israel, SouthAfrica)

 

We only are in the early stage of the EURO, and our wise coach did not introduce the best players in the first rounds. In next round, we will introduce MACCS 5.0, with its much enhanced shadows mask, and for the final stages, we will include the selected modules from ATCOR. But here is a glimpse of the MACCS 5.0 player.
On some images, the previous version of MACCS missed quite a lot of shadows, while with 5.0, they are detected (click on the images below to see the details). And by the way, the images were created within the Sen2Agri system, which is now taking shape and is a little ahead of MUSCATE in terms of versions. Many thanks to our colleagues from the Sen2Agri consortium (UCL, C-S France, C-S Romania, CESBIO).

Image generated at MUSCATE with MACCS 4.8, clouds and shadows are circled in green

Image generated at Sen2Agri with MACCS V5.0. The detected shadows are circled in yellow

And finally, I found an analogy between Football and Atmospheric Correction (I had to search a lot). Some say that football is a game which is played by two teams of eleven players and for which, at the end, Germany wins. For the Atmospheric Correction Euro, all the four teams competing include German institutes or companies. So here also, Germany wins.

Réfléchissez deux fois avant d'utiliser Google Earth Engine

=> L'une des tendances que l'on pouvait observer au Living Planet Symposium 2016, est l'utilisation croissante de Google Earth Engine. Pour ceux qui ne connaissent pas encore, Google met à disposition des utilisateurs de données de télédétection une plate-forme avec grosse puissance de calcul, bibliothèques et l'accès aux  données ouvertes, dont celles de LANDSAT et des Sentinel,  gratuitement tant qu'on ne dépasse pas certaines limites de stockage de données.  Google en retire une connaissance  des besoins des utilisateurs et des traitements et applications qu'ils développent, et améliore son image de marque (du "green washing")

Problèmes

Je vais répéter ici ce qu'à dit Jordi au Living Planet Symposium et ce qu'il a également expliqué dans son blog : l'utilisation de cette plate-forme est risquée et dangereuse.

Si vous travaillez sur GEE, sachez que :

  • vous n'avez pas les données
  • vous n'avez pas les machines
  • vous n'avez pas les codes

Les travaux que vous développeriez sur cette plate-forme ne pourraient donc pas être répétés ailleurs. Non seulement vous fourniriez donc un tas d'informations à Google, mais en plus, vous ne pouvez plus quitter GEE sans devoir reprendre vos travaux à zéro.

Mauvais scénarios

Voici quelques scénarios tout à fait plausibles mais non moins désagréables :

- google retire le service (c'est arrivé souvent à de nombreux services proposés par google): celà aurait à peu près le même effet qu'un incendie dans votre laboratoire (pendant l'absence du personnel). Plus de données, plus de machines, plus de codes qui tournent, on repart à zéro. Les clauses d'utilisation permettent tout à fait à Google d'arrêter leur service unilatéralement :

7.4 Termination for Convenience. Customer may stop using the Services at any time with or without notice. Customer may terminate this Agreement for its convenience at any time on prior written notice and upon termination, must cease use of the applicable Services. Google may terminate this Agreement for its convenience at any time without liability to Customer.

- google rend le service payant ou le vend à un autre industriel (c'est déjà arrivé aussi): vous devez donc payer cher pour continuer à l'utiliser, ou tout redévelopper chez vous.

- google modifie ses bibliothèques : vos chaînes ne donnent plus les mêmes résultats et vous devez en refaire toute la validation.

Alternatives ?

Ceci dit, le succès de la plate-forme montre qu'elle correspond à un besoin. C'est vrai qu'il est parfois plus long de télécharger la donnée que de la traiter et qu'un traitement à proximité des données permettrait de gagner beaucoup de temps. Mais il nous faudrait des plate-formes basées sur l'utilisation de logiciels open source, que l'on pourrait aussi faire tourner sur ses propres machines. Il est vrai qu'à part GEE, nous sommes plutôt démunis en Europe, à ma connaissance, malgré l'existence de nombreux démonstrateurs publics et moins ambitieux(PEPS, TEP, MEP), ou semi privés, mais largement financés par le public (Helix Nebula, SparkInData...). Pour ma part, je ne vois qu'un organisme public, ou une fédération d'organismes publics qui permettraient de monter une plate-forme libre du niveau de celle de Google, mais cette opinion, que certains qualifieront de passéiste et rétrograde, et qui manque certainement d'imagination, n'engage que moi.

Ceci dit, il y a les exemples pas tout à fait passéistes et rétrogrades du datacube australien, ou de la plate-forme NEX de la NASA.

Mon inventaire des plate-formes disponibles présente probablement des lacunes, n'hésitez pas à nous les signaler en laissant des commentaires..