New version of fully automatic land cover map of France for 2014 from LANDSAT8

=>

Over the last months, we worked a lot on our method for Land Cover map production. Three main topics (1) were studied with Arthur Vincent and David Morin at CESBIO :

  1. porting and validating the iota2 processor on the CNES High Performance Computing facilities (HPC);
  2. enhancing the method for reference data preparation. Reference data are used both for training and validation;
  3. developing a stratification method which allows to train and apply classifiers per eco-climatic area, for instance.

Using all these new features, we produced a lot (really a lot!) of maps for the continental France. We just released the 4 following examples, produced using all the available LANDSAT8 data in 2014 :

  • regarding reference data :
    1. including 4 classes of artificial surfaces : continuous urban , dicontinuous urban, road surfaces, and commercial and industrial areas (2);
    2. only one artificial class that gathers the 4 above (3);
  • regarding the stratification method :
    1. using eco-climatic areas (4);
    2. without stratification, but using a fusion of several classifiers trained over different sets of tiles.
The pink urban spot, in the center of brown zone, is the village of Chateauneuf du Pape which is famous for its wine, and the brown color is the vineyard class. Validated !

Continue reading

Nouvelle version des produits d'occupation des sols OSO sur la France en 2014

=>

Nous avons beaucoup travaillé sur la procédure de génération des cartes d'occupation des sols ces derniers mois. Trois axes principaux1 ont été abordés par Arthur Vincent et David Morin au Cesbio :

  1. Le portage et la validation de la chaîne de traitement iota2 sur l'infrastructure de calcul à haute performance (HPC) du Cnes.
  2. L'amélioration de la procédure de préparation des données de référence utilisées pour l'apprentissage des classifieurs et la validation des cartes produites.
  3. La mise au point de la stratification qui permet de spécialiser les algorithmes de classification par zone éco-climatique, par exemple.

En utilisant toutes ces nouveautés, nous avons produit beaucoup (vraiment beaucoup!) de cartes sur la France métropolitaine. Nous venons de mettre en ligne quelques exemples sur l'année 2014 en utilisant toutes les données Landsat8 disponibles. Nous avons choisi de vous montrer les 4 cas qui correspondent aux combinaisons suivantes :

  • sur la donnée de référence :
    1. utilisation de 4 classes de surfaces artificielles (abusivement appelées "bâti") : urbain continu, urbain discontinu, surfaces "route" et zones industrielles et commerciales (2);
    2. regroupement a posteriori de ces 4 classes (3);
  • sur le mode de stratification :
    1. avec stratification par zone éco-climatique (4);
    2. sans stratification, mais avec une fusion de plusieurs (10) classifieurs appris sur des tuiles images différentes.

Le village en rose, au centre de la zone marron, c'est le village de Chateauneuf du Pape, et la zone marron autour du village, ce sont des vignes ! Pas besoin de vérité terrain pour le vérifier, mais on veut bien aller vérifier quand même.

Arthur nous a concocté une interface assez pratique pour la visualisation et la comparaison des différentes cartes.  Vous pouvez y accéder ici. L'icône en haut à droite vous permet de sélectionner les cartes qui seront affichées. A gauche, sous les boutons qui gèrent le niveau de zoom, vous avez la possibilité de sélectionner 2 des cartes pour lesquelles les statistiques de qualité (FScore par classe5) seront affichées sous la zone de visualisation. Cela vous permet d'apprécier les différences entre les approches.

 

Aux 4 nouvelles cartes, nous avons ajouté la version que nous avions publié en début d'année, dont la qualité est inférieure. Si vous regardez la précision globale de cette carte (Overall Accuracy) vous verrez qu'elle est en fait supérieure à celle des nouvelles cartes. Ceci est dû au fait que dans cette ancienne version, nous utilisions beaucoup de pixels d'eau pour la validation, et l'eau est très facile à classer. Le problème principal de cette ancienne version est le sur-classement des zones urbaines au dépens des surfaces minérales naturelles et des vergers. Ceci a été amélioré grâce au travail sur la préparation de la donnée de référence.

 

Pour comparer des cartes, il est utile de regarder les FScore par classe. Vous verrez ainsi que la stratification éco-climatique apporte des améliorations importantes sur les valeurs moyennes et sur les intervalles de confiance.

 

Si vous voulez récupérer les fichiers GeoTiff complets (attention, c'est volumineux!), vous pouvez utiliser les liens suivants :

N'hésitez pas à nous faire des retours. Nous continuons à travailler sur les améliorations des méthodes.

Notes:

1Beaucoup d'autres tâches ont été réalisées, dont la préparation de l'ingestion des données Sentinel-2, par exemple.

2Ces 4 classes correspondent à la nomenclature de Corine Land Cover, dont les polygones du millésime 2012 ont été affinés en utilisant une procédure développée par David et Marcela et décrite dans cette présentation (à partir de la planche 33).

3L'apprentissage et la classification sont toujours faits avec les 4 classes séparées, mais elles sont regroupées à la fin, ce qui permet d'augmenter la précision de la carte en échange d'une perte de finesse thématique. Mais les pixels de 30 m. de Landsat ne nous permettent d'être très précis pour ces classes.

4Nous avons utilisé la carte publiée par Joly et al.

5Nous utilisons cette métrique, car elle combine les erreurs d'omission et de commission.

 

SPOT4 (Take 5) special issue is now complete

The last time I showed this post on the front page, in March, I thought the special issue about SPOT4 (Take5) was complete, but we were lacking a paper about snow cover, which came a little late, but still on time to join the special issue. The paper by Jean-Pierre Dedieu and colleagues was just released :

14 papers have finally been published in the SPOT4 (Take5) special issue in MDPI remote sensing. As this journal is an open access journal, all the papers may be accessed from the special issue webpage.

First Sentinel-2 snow map

=>

 

In the framework of the THEIA land data center, we have developed a simple but robust method to map the snow cover from Sentinel-2-like level 2A products. This code was tested with SPOT-4 Take-5 and Landsat-8 series, but it remained to adapt it so that it can run on real Sentinel-2 images! This is now done thanks to Manuel Grizonnet, which allowed us to process the Sentinel-2A image acquired on 06-July-2015 in the Pyrenees as a first example. This image was produced at level 2A by Olivier Hagolle using the MACCS processor. The snow mask from Sentinel-2 images is calculated at 20 m resolution after resampling the green and red bands that are originally at 10 m resolution while the NIR band is at 20 m.

How to make sure everything went well? We can control the snow mask by superposing the mask boundaries on a false color composite:

 

The Sentinel-2A image of 06-July-2015 (level 2A, tile 30TYN) and its snow mask. The snow mask is in magenta and the background image is a color composite RGB NIR/Red/Green. We also show a zoom in the Vignemale area.

Continue reading

Premier masque de neige Sentinel-2

=>

Dans le cadre du Centre d'expertise scientifique THEIA "surface enneigée" nous avons développé une méthode simple et robuste pour détecter la neige à haute-resolution à partir des produits de niveau 2A de type Sentinel-2. Ce code a été testé sur des séries SPOT-4 Take-5 et Landsat-8, mais il restait à l'adapter pour qu'il puisse tourner sur de vraies images Sentinel-2 ! C'est chose faite grâce à Manuel Grizonnet, ce qui nous a permis de traiter l'image Sentinel-2A du 06-juillet-2015 sur les Pyrénées. Cette image avait été produite au niveau 2A par Olivier Hagolle avec la chaine MACCS. Le masque de neige est calculé à 20 m de résolution après ré-échantillonnage des bandes vertes et rouges qui sont d'origine à 10 m de résolution alors que la bande MIR est à 20 m. Continuer à lire

First comparison of Sentinel-2 cloud masks delivered by MACCS and SEN2COR

 

=>

A new version o Sen2cor has been published recently, and this comparison was re-iterated with Sen2cor 2.2.1. The corresponding post is published here.

 

While CNES is getting ready to produce and distribute Sentinel-2A  products obtained with our MACCS processor, I have been asked by impatient users what I thought of SEN2COR Sentinel-2 cloud masks. In this aim, I have downloaded SEN2COR and made a few runs. SEN2COR works on all sorts of multi-platform, and is rather easy to install and to run in its nominal configuration, which is not the case of MACCS, which is intended to be implemented in ground segments, and only works on a Red Hat environment. However, I have been able to process the same date on two sites, and here are the results I obtained.

 

MACCS

SEN2COR

Comparison of MACCS and SEN2COR cloud masks on a cloud free image of Toulouse. The contours of detected clouds (green), shadows (yellow), water (blue), and snow (pink) are overlayed on the images.
Continue reading

Première comparaison des masques de nuages Sentinel-2 produits par MACCS et SEN2COR

=>

Une nouvelle version de Sen2cor a été publiée récemment, et nous avons refait la comparaison. Les résultats sont publiés ici.

 

Alors que le CNES se prépare à produire et distribuer des données de niveau 2A pour Sentinel-2 à partir de notre processeur MACCS, quelques utilisateurs impatients m'ont demandé ce que je pensais du masque de nuages fourni par l'outil SEN2COR distribué par l'ESA. Pour me faire une idée, j'ai téléchargé SEN2COR et je l'ai fait tourner sur quelques produits. SEN2COR fonctionne sur plusieurs types de plate-formes, dont Linux, et il est plutôt facile à installer et utiliser dans sa configuration nominale.

 

 

MACCS 

SEN2COR 

Comparaison des masques de nuages obtenus par MACCS et SEN2COR sur une scène complètement claire acquise sur Toulouse. Les contours des masques sont superposés aux images et tracés en vert pour les nuages, en jaune pour leurs ombres, en bleu pour l'eau, et en rose pour la neige.

Continue reading

Génération automatique et opérationnelle de cartes d'occupation des sols

=>

Pour le moment,  il n'existe pas de cartes d'occupation des sols en France produites annuellement à résolution décamétrique. La carte Corine Land Cover, largement utilisée, n'est produite que tous les 5 ans, et la version de 2012 est sortie il y a tout juste quelques mois. Celle-ci est en effet produite par photo-interprétation, ce qui demande une énorme quantité de travail. La couche d'occupation des sols de l'IGN, de grande précision, est mise à jour progressivement, zone par zone, sur un cycle de 3 à 4 ans, et ne fournit donc  que les occupations du sols pérennes.. Il y a aussi le produit Global Land Cover 30m, fourni à la résolution de LANDSAT, et les couches HR de Copernicus, mais leurs qualités sont assez décevantes, par exemple sur la forêt des Landes.

 

Grâce à la répétitivité de ses observations à haute résolution, Sentinel-2 devrait permettre la production automatique de cartes d'occupation des sols à l'échelle de pays entiers. En se basant principalement sur des travaux de recherche menés au CESBIO depuis plusieurs années, le projet de produire opérationnellement des cartes d'occupation des sols sur tout le territoire Français commence à prendre de l'ampleur. Les efforts de recherche se sont récemment fédérés dans le cadre du Centre d'Expertise Scientifique du pôle thématique surfaces continentales de Theia, consacré à l'Occupation des Sols Opérationnelle , le bientôt fameux CES-OSO.

 

Ce zozo vient de mettre à disposition ses premiers produits prototypes, réalisés avec les données LANDSAT 8 produites par Theia, en attendant la disponibilité d'une année entière de données Sentinel-2. Les premiers produits couvrent près d'un tiers du territoire Français, et, selon les différentes versions, comportent entre 15 et 20 classes.

 

La chaine de production de cartes d'occupation des sols utilisées pour ce travail est largement basée sur les applications de l'Orfeo Tool Box. Elle a été mise en musique par Marcela Arias, sous la direction de Jordi Inglada, avec de nombreuses contributions de collègues du CESBIO, pour la collecte et la mise en forme des données de référence, comme pour le codage de la chaîne.

 

Extrait de la Version 1 du produit prototype CESOSO réalisé avec les données acquises par LANDSAT8 en 2013. Cliquer sur l'image pour une visualisation interactive des données

Avertissement :

Ces produits n'ont pas été élaborés dans des conditions idéales. Ils ont été crées à partir de données acquises à partir du mois d'avril 2013, date à laquelle LANDSAT-8 a été déclaré opérationnel. Le début du cycle végétal n'a pas été observé. Les produits opérationnels utiliseront quant à eux une année entière de données. Par ailleurs, les données LANDSAT 8 n'ont pas la répétitivité ni la résolution de Sentinel-2, la qualité des résultats ne peut pas être du même niveau que celle attendue de Sentinel-2.

 

Mais il s'agit du même type de données et leur traitement présente pour nous les mêmes difficultés, il s'agit donc de tests en vraie grandeur de notre méthodologie. Enfin, bien que moins précis, les résultats sont de même nature, et doivent permettre aux utilisateurs d'avoir une première idée des produits qui seront distribués par Theia.

 

Ces produits contiennent des erreurs et ne doivent être considérés que comme des documents de travail. Nous les publions dans le but d'obtenir des retours sur leur qualité et leur utilité. N'hésitez pas à nous dire si ces produits vous seraient utiles, et pour quels besoins. N'hésitez pas à nous dire aussi s'ils sont trop imprécis ou s'il manque quelque chose à leurs caractéristiques pour que vous puissiez les utiliser pleinement.

 

Les données ont été produites en utilisant des applications de l'Orfeo Tool Box, mises en musique par Marcela Arias,  sous la direction de Jordi Inglada, avec de nombreuses contributions de collègues du CESBIO pour la collecte et la préparation des données de référence et pour la réalisation des chaînes de traitement,

 

Description des prototypes de produits

Les produits sont mis à disposition avec la licence Open Data Commons Attribution Licence. Cette licence permet de :

  • partager : copier, distribuer et utiliser les données
  • créer des produits dérivées à partir de ces données
  • adapter : modifier, transformer la base de données

sous la contrainte d'attribution suivante : vous devez citer la source de la base de données (le CESBIO) dans toute utilisation ou diffusion.

Ces cartes ont été produites avec des images du satellite Landsat-8 (résolution 30 m. et 7 bandes spectrales) acquises avec une revisite de 16 jours.

Les acquisitions ont démarré le 12 avril 2013 et s'étalent jusqu'au 30 décembre 2013. Chaque point de la surface a été vu (hors nuages et autres artefacts) entre 8 et 25 fois, et en moyenne, 16 fois. Sur les Pyrénées, il y a des zones qui, à cause des nuages, ont été vues peu de fois, et on remarque des artefacts dans les cartes.

Les images Sentinel-2, avec une résolution spatiale de 10 m., une revisite de 5 jours et 12 bandes spectrales, permettront la génération de cartes de bien meilleure qualité.

 

Les cartes sont réalisées en utilisant un apprentissage automatique sur des bases de données de référence dans lesquelles l'occupation des sols est connue pour certains points du territoire. Les bases de données suivantes ont été utilisées :

  • Registre parcellaire graphique (RPG) pour les classes suivantes :
    • cultures annuelles herbacées (été et hiver)
    • cultures ligneuses (vergers, vignes, arboriculture, oliviers)
    • prairies permanentes
    • estives-landes
  • Corine Land Cover 2012 pour les classes
    • Bâti dense
    • Zones industrielles et/ou commerciales
    • Pelouses
    • Plages et dunes
    • Mer et océans
    • Surfaces minérales
    • Glaciers et neiges éternelles
  • BD TOPO pour les classes suivantes :
    • Eau
    • Forêt de feuilles persistantes
    • Forêt de feuilles caduques
    • Forêts mélangées
    • Lande ligneuse

Ces bases de données peuvent correspondre à des périodes différentes et être plus anciennes que la période d'acquisition des images satellite. Plusieurs versions des cartes ont été réalisées en choisissant des nomenclatures légèrement différentes.

V2

Regroupement des classes suivantes :

  • estives/landes et landes ligneuses
  • élimination des forêts mélangées
  • fusion des classes vergers, oliviers, arboriculture
  • fusion des classes eau et mers et océans

Une visualisation en ligne ainsi que les statistiques de validation sont disponibles ici.

Le produit à pleine résolution peut être téléchargé ici.

 

 

 

Voulez vous nous aider à faire des relevés d'occupation du sol en France ?

Comme vous le savez peut-être, dans le cadre de THEIA, nous avons prévu de réaliser automatiquement des cartes d'occupations du sol annuelles du territoire Français, sur 20 à 25 classes, à partir des données Sentinel-2, dont on commence à voir les premiers exemplaires. Jordi Inglada, du CESBIO, coordonne ce projet. Il en a fait une belle présentation lors du séminaire THEIA-GEOSUD début juin.

 

Mon dernier relevé, une lande à rhododendrons, plateau de Beille, Pyrénées

Pour mener à bien ce projet, il nous faut des relevés de terrain de l'occupation des sols. Si vous êtes capable de faire la différence entre une parcelle de colza et une parcelle de blé, ou entre une parcelle de mais et une parcelle de sorgho, et si vous avez un smartphone Android équipé d'un GPS, vous pouvez nous aider. Un manuel de l'utilisateur et les relevés de 2013, 2014 et 2015 (jusqu'à fin juin) sont disponibles ici : http://tully.ups-tlse.fr/olivier/occ_sol_odk/tree/master. Pour récolter des données, il suffit de télécharger l'application "ODK collect" comme indiqué dans le manuel, et de la configurer.

 

Les données récoltées sont disponibles en ligne pour toute personne ayant un compte et effectuant des relevés. Pour avoir un compte, il suffit de me demander (olivier hagolle, au cesbio, cnes, fr).

 

Comme je l'ai précisé dans un précédent article, non seulement vous nous aiderez et obtiendrez en échange des produits d'occupation des sols de meilleure qualité sur votre région, mais ce sera l'occasion de justifier de belles promenades. C'est aussi un moyen de justifier une pause dans une montée un peu fatigante. N’hésitez pas à profiter de vos prochaines vacances pour nous ramener de bonnes données.

 

Les meilleurs contributeurs de chaque année se verront remettre un beau poster, et, insigne honneur, auront leur nom affiché dans l'ascenseur du CESBIO ;-) .

 

 

 

How MACCS estimates Aerosol Optical Depth.

=>

I already explained in this blog  the principles of estimation of the aerosol optical thickness that we use to process the LANDSAT or SPOT5 (Take5) data, and soon Venµs or Sentinel-2 data, within the MACCS method developed at CESBIO, and used at CNES by THEIA. We started writing an article in 2010 to explain the method details and show the validation results, but we only found a sufficiently quiet period this autumn to finish it. The paper has just been published in remote sensing (MDPI), with open access. Enjoy your reading !

 

Hagolle, O.; Huc, M.; Villa Pascual, D.; Dedieu, G. A Multi-Temporal and Multi-Spectral Method to Estimate Aerosol Optical Thickness over Land, for the Atmospheric Correction of FormoSat-2, LandSat, VENμS and Sentinel-2 Images. Remote Sens. 2015, 7, 2668-2691.

From left to right, validation results for Aerosol Optical Thickness (AOT) measures by the multi-temporal method, the multi-spectral method and the combination of both. The combination of both methods allows to measure AOT in a much larger range of cases without degrading accuracy.