First comparison of Sentinel-2 cloud masks delivered by MACCS and SEN2COR

 

=>

A new version o Sen2cor has been published recently, and this comparison was re-iterated with Sen2cor 2.2.1. The corresponding post is published here.

 

While CNES is getting ready to produce and distribute Sentinel-2A  products obtained with our MACCS processor, I have been asked by impatient users what I thought of SEN2COR Sentinel-2 cloud masks. In this aim, I have downloaded SEN2COR and made a few runs. SEN2COR works on all sorts of multi-platform, and is rather easy to install and to run in its nominal configuration, which is not the case of MACCS, which is intended to be implemented in ground segments, and only works on a Red Hat environment. However, I have been able to process the same date on two sites, and here are the results I obtained.

 

MACCS

SEN2COR

Comparison of MACCS and SEN2COR cloud masks on a cloud free image of Toulouse. The contours of detected clouds (green), shadows (yellow), water (blue), and snow (pink) are overlayed on the images.
Continue reading

Première comparaison des masques de nuages Sentinel-2 produits par MACCS et SEN2COR

=>

Une nouvelle version de Sen2cor a été publiée récemment, et nous avons refait la comparaison. Les résultats sont publiés ici.

 

Alors que le CNES se prépare à produire et distribuer des données de niveau 2A pour Sentinel-2 à partir de notre processeur MACCS, quelques utilisateurs impatients m'ont demandé ce que je pensais du masque de nuages fourni par l'outil SEN2COR distribué par l'ESA. Pour me faire une idée, j'ai téléchargé SEN2COR et je l'ai fait tourner sur quelques produits. SEN2COR fonctionne sur plusieurs types de plate-formes, dont Linux, et il est plutôt facile à installer et utiliser dans sa configuration nominale.

 

 

MACCS 

SEN2COR 

Comparaison des masques de nuages obtenus par MACCS et SEN2COR sur une scène complètement claire acquise sur Toulouse. Les contours des masques sont superposés aux images et tracés en vert pour les nuages, en jaune pour leurs ombres, en bleu pour l'eau, et en rose pour la neige.

Continue reading

Génération automatique et opérationnelle de cartes d'occupation des sols

=>

Pour le moment,  il n'existe pas de cartes d'occupation des sols en France produites annuellement à résolution décamétrique. La carte Corine Land Cover, largement utilisée, n'est produite que tous les 5 ans, et la version de 2012 est sortie il y a tout juste quelques mois. Celle-ci est en effet produite par photo-interprétation, ce qui demande une énorme quantité de travail. La couche d'occupation des sols de l'IGN, de grande précision, est mise à jour progressivement, zone par zone, sur un cycle de 3 à 4 ans, et ne fournit donc  que les occupations du sols pérennes.. Il y a aussi le produit Global Land Cover 30m, fourni à la résolution de LANDSAT, et les couches HR de Copernicus, mais leurs qualités sont assez décevantes, par exemple sur la forêt des Landes.

 

Grâce à la répétitivité de ses observations à haute résolution, Sentinel-2 devrait permettre la production automatique de cartes d'occupation des sols à l'échelle de pays entiers. En se basant principalement sur des travaux de recherche menés au CESBIO depuis plusieurs années, le projet de produire opérationnellement des cartes d'occupation des sols sur tout le territoire Français commence à prendre de l'ampleur. Les efforts de recherche se sont récemment fédérés dans le cadre du Centre d'Expertise Scientifique du pôle thématique surfaces continentales de Theia, consacré à l'Occupation des Sols Opérationnelle , le bientôt fameux CES-OSO.

 

Ce zozo vient de mettre à disposition ses premiers produits prototypes, réalisés avec les données LANDSAT 8 produites par Theia, en attendant la disponibilité d'une année entière de données Sentinel-2. Les premiers produits couvrent près d'un tiers du territoire Français, et, selon les différentes versions, comportent entre 15 et 20 classes.

 

La chaine de production de cartes d'occupation des sols utilisées pour ce travail est largement basée sur les applications de l'Orfeo Tool Box. Elle a été mise en musique par Marcela Arias, sous la direction de Jordi Inglada, avec de nombreuses contributions de collègues du CESBIO, pour la collecte et la mise en forme des données de référence, comme pour le codage de la chaîne.

 

Extrait de la Version 1 du produit prototype CESOSO réalisé avec les données acquises par LANDSAT8 en 2013. Cliquer sur l'image pour une visualisation interactive des données

Avertissement :

Ces produits n'ont pas été élaborés dans des conditions idéales. Ils ont été crées à partir de données acquises à partir du mois d'avril 2013, date à laquelle LANDSAT-8 a été déclaré opérationnel. Le début du cycle végétal n'a pas été observé. Les produits opérationnels utiliseront quant à eux une année entière de données. Par ailleurs, les données LANDSAT 8 n'ont pas la répétitivité ni la résolution de Sentinel-2, la qualité des résultats ne peut pas être du même niveau que celle attendue de Sentinel-2.

 

Mais il s'agit du même type de données et leur traitement présente pour nous les mêmes difficultés, il s'agit donc de tests en vraie grandeur de notre méthodologie. Enfin, bien que moins précis, les résultats sont de même nature, et doivent permettre aux utilisateurs d'avoir une première idée des produits qui seront distribués par Theia.

 

Ces produits contiennent des erreurs et ne doivent être considérés que comme des documents de travail. Nous les publions dans le but d'obtenir des retours sur leur qualité et leur utilité. N'hésitez pas à nous dire si ces produits vous seraient utiles, et pour quels besoins. N'hésitez pas à nous dire aussi s'ils sont trop imprécis ou s'il manque quelque chose à leurs caractéristiques pour que vous puissiez les utiliser pleinement.

 

Les données ont été produites en utilisant des applications de l'Orfeo Tool Box, mises en musique par Marcela Arias,  sous la direction de Jordi Inglada, avec de nombreuses contributions de collègues du CESBIO pour la collecte et la préparation des données de référence et pour la réalisation des chaînes de traitement,

 

Description des prototypes de produits

Les produits sont mis à disposition avec la licence Open Data Commons Attribution Licence. Cette licence permet de :

  • partager : copier, distribuer et utiliser les données
  • créer des produits dérivées à partir de ces données
  • adapter : modifier, transformer la base de données

sous la contrainte d'attribution suivante : vous devez citer la source de la base de données (le CESBIO) dans toute utilisation ou diffusion.

Ces cartes ont été produites avec des images du satellite Landsat-8 (résolution 30 m. et 7 bandes spectrales) acquises avec une revisite de 16 jours.

Les acquisitions ont démarré le 12 avril 2013 et s'étalent jusqu'au 30 décembre 2013. Chaque point de la surface a été vu (hors nuages et autres artefacts) entre 8 et 25 fois, et en moyenne, 16 fois. Sur les Pyrénées, il y a des zones qui, à cause des nuages, ont été vues peu de fois, et on remarque des artefacts dans les cartes.

Les images Sentinel-2, avec une résolution spatiale de 10 m., une revisite de 5 jours et 12 bandes spectrales, permettront la génération de cartes de bien meilleure qualité.

 

Les cartes sont réalisées en utilisant un apprentissage automatique sur des bases de données de référence dans lesquelles l'occupation des sols est connue pour certains points du territoire. Les bases de données suivantes ont été utilisées :

  • Registre parcellaire graphique (RPG) pour les classes suivantes :
    • cultures annuelles herbacées (été et hiver)
    • cultures ligneuses (vergers, vignes, arboriculture, oliviers)
    • prairies permanentes
    • estives-landes
  • Corine Land Cover 2012 pour les classes
    • Bâti dense
    • Zones industrielles et/ou commerciales
    • Pelouses
    • Plages et dunes
    • Mer et océans
    • Surfaces minérales
    • Glaciers et neiges éternelles
  • BD TOPO pour les classes suivantes :
    • Eau
    • Forêt de feuilles persistantes
    • Forêt de feuilles caduques
    • Forêts mélangées
    • Lande ligneuse

Ces bases de données peuvent correspondre à des périodes différentes et être plus anciennes que la période d'acquisition des images satellite. Plusieurs versions des cartes ont été réalisées en choisissant des nomenclatures légèrement différentes.

V2

Regroupement des classes suivantes :

  • estives/landes et landes ligneuses
  • élimination des forêts mélangées
  • fusion des classes vergers, oliviers, arboriculture
  • fusion des classes eau et mers et océans

Une visualisation en ligne ainsi que les statistiques de validation sont disponibles ici.

Le produit à pleine résolution peut être téléchargé ici.

 

 

 

Voulez vous nous aider à faire des relevés d'occupation du sol en France ?

Comme vous le savez peut-être, dans le cadre de THEIA, nous avons prévu de réaliser automatiquement des cartes d'occupations du sol annuelles du territoire Français, sur 20 à 25 classes, à partir des données Sentinel-2, dont on commence à voir les premiers exemplaires. Jordi Inglada, du CESBIO, coordonne ce projet. Il en a fait une belle présentation lors du séminaire THEIA-GEOSUD début juin.

 

Mon dernier relevé, une lande à rhododendrons, plateau de Beille, Pyrénées

Pour mener à bien ce projet, il nous faut des relevés de terrain de l'occupation des sols. Si vous êtes capable de faire la différence entre une parcelle de colza et une parcelle de blé, ou entre une parcelle de mais et une parcelle de sorgho, et si vous avez un smartphone Android équipé d'un GPS, vous pouvez nous aider. Un manuel de l'utilisateur et les relevés de 2013, 2014 et 2015 (jusqu'à fin juin) sont disponibles ici : http://tully.ups-tlse.fr/olivier/occ_sol_odk/tree/master. Pour récolter des données, il suffit de télécharger l'application "ODK collect" comme indiqué dans le manuel, et de la configurer.

 

Les données récoltées sont disponibles en ligne pour toute personne ayant un compte et effectuant des relevés. Pour avoir un compte, il suffit de me demander (olivier hagolle, au cesbio, cnes, fr).

 

Comme je l'ai précisé dans un précédent article, non seulement vous nous aiderez et obtiendrez en échange des produits d'occupation des sols de meilleure qualité sur votre région, mais ce sera l'occasion de justifier de belles promenades. C'est aussi un moyen de justifier une pause dans une montée un peu fatigante. N’hésitez pas à profiter de vos prochaines vacances pour nous ramener de bonnes données.

 

Les meilleurs contributeurs de chaque année se verront remettre un beau poster, et, insigne honneur, auront leur nom affiché dans l'ascenseur du CESBIO ;-) .

 

 

 

How MACCS estimates Aerosol Optical Depth.

=>

I already explained in this blog  the principles of estimation of the aerosol optical thickness that we use to process the LANDSAT or SPOT5 (Take5) data, and soon Venµs or Sentinel-2 data, within the MACCS method developed at CESBIO, and used at CNES by THEIA. We started writing an article in 2010 to explain the method details and show the validation results, but we only found a sufficiently quiet period this autumn to finish it. The paper has just been published in remote sensing (MDPI), with open access. Enjoy your reading !

 

Hagolle, O.; Huc, M.; Villa Pascual, D.; Dedieu, G. A Multi-Temporal and Multi-Spectral Method to Estimate Aerosol Optical Thickness over Land, for the Atmospheric Correction of FormoSat-2, LandSat, VENμS and Sentinel-2 Images. Remote Sens. 2015, 7, 2668-2691.

From left to right, validation results for Aerosol Optical Thickness (AOT) measures by the multi-temporal method, the multi-spectral method and the combination of both. The combination of both methods allows to measure AOT in a much larger range of cases without degrading accuracy.

L'estimation de l'épaisseur optique des aérosols dans MACCS

=>

J'ai expliqué dans ce blog les principes de mesure de l'épaisseur optique des aérosols que nous utilisons pour traiter les données LANDSAT ou SPOT(Take5), et bientôt Sentinel-2 ou Venµs, avec la méthode MACCS développée au CESBIO et utilisée par THEIA. Nous avions commencé un article en 2010 (!) pour présenter les détails de la méthode et les résultats de sa validation, mais il nous a fallu un moment de calme relatif cet automne pour enfin trouver le temps de le terminer. Il est maintenant publié dans le journal remote sensing (MDPI), en libre accès. Bonne lecture !

 

Hagolle, O.; Huc, M.; Villa Pascual, D.; Dedieu, G. A Multi-Temporal and Multi-Spectral Method to Estimate Aerosol Optical Thickness over Land, for the Atmospheric Correction of FormoSat-2, LandSat, VENμS and Sentinel-2 Images. Remote Sens. 2015, 7, 2668-2691.

De gauche à droite, les résultats de validation d'épaisseurs optiques d'aérosols pour la méthode multi-spectrale, pour la méthode multi-temporelle, et pour la combinaison des deux, utilisée dans MACCS. La combinaison des deux méthodes permet de mesurer l'épaisseur optique dans de plus nombreux cas, sans dégrader l'estimation.

Slides from the second SPOT (Take 5) Workshop

Voici les présentations des Journées SPOT4 (Take5) du 18 et 19 novembre 2014.  Cette réunion a réuni une centaine de personnes au CNES pour faire un bilan des acquisitions et des produits distribués, prendre connaissance des travaux et résultats des utilisateurs et obtenir un retour d'expérience.
J'en profite pour remercier chaleureusement les deux organisatrices, Sylvia Sylvander et Danielle Barrère, du CNES (DCT/ME/OT), ainsi que les 23 orateurs qui nous ont proposé de brillantes présentations.

 

Here are the presentations from SPOT4 (Take5) users day on November 18th and 19th 2014. Around 100 people attended this meeting at CNES, which aimed at making an assessment of the acquisitions and products, show the users studies and results and obtain their feedback.
I would like to thank a lot the organisers, Sylvia Sylvander and Danielle Barrère from CNES, and the 23 speakers, who gave us amazing talks.

The table below gives access to all the slides.

 

S. Sylvander CNES Introduction
S. Sylvander CNES Preparation and progress of SPOT4 (Take5) experiment
O.Hagolle CESBIO/CNES SPOT4 (Take5) validation, users feedback and lessons learned
M.Kadiri CESBIO Definition, test evaluation of a monthly composite product for Sentinel-2 based on SPOT4 (Take5) data
M.Claverie U. Maryland / NASA An update on the LANDSAT8/Sentinel-2 merged reflectance product project
M.Le Page CESBIO SAT-IRR : Satellite for irrigation scheduling
V.Simonneaux CESBIO Water budget monitoring of irrigated perimeters in semi-arid areas using high resolution NDVI image time series
O.Arino ESA ESA Studies: Agriculture, Forest, Wetland, Costal Water. Preparing for Sentinel-2
M.El-Hajj TETIS/IRSTEA Estimation of soil moisture using radar and optical images over Grassland areas
J.Inglada CESBIO Automatic land-cover map production of
agricultural areas using supervised classification of SPOT4(Take5) and Landsat-8 image time series
S.Valero CESBIO Real-time crop mask production using high-spatial-temporal resolution image times series
D.Morin CESBIO Estimation of biophysical variables and cartography of irrigated surfaces with high temporal and spatial resolution images
W.Li INRA Avignon Deriving ECVs GAI and FAPAR from SPOT4 and LANDSAT8 sensors: evaluation of the consistency and comparison with ground measurements
A.Roumiguié Dynafor/EI-Purpan Forage production monitoring
C.Jacqueminet EVS-ISTHME, U. Saint-Etienne
Discrimination of herbaceous habitats using multitemporal Spot and Landsat images (Massif central – France)
V.Gond CIRAD Phenological monitoring of tropical forest ecosystems in the North of Congo
A.Verhegghen JRC Assessing Forest Degradation in the tropics using Time Series of Fine Spatial Resolution Imagery
M.Szulkin CEFE-CNRS Inferring blue tit reproductive phenology using SPOT4 imagery
S.Sylvander / O.Arino ESA SPOT5(Take5) Operations in 2015
J.P.Dedieu LTHE / CNRS Snow cover monitoring in the French Alps physical properties of surface snow, snow cover dynamics impact on vegetation
A.Facello IRPI-CNR (Italy) Snow Water Equivalent and Slope Movements from Satellite Data: potential of space-borne observations with high spatial and temporal sampling. Case study: Tena Valley (Central Pyrenees, Spain)
S.Cerisier GIP Loire-Estuaire Remote sensing data with high repetitivity : a contribution to coastal and estuarine processes knowledge
V.Lafon Geo-Transfert / EPOC, U. Bordeaux
SPOT4 (Take5) Experiment: simulation of Sentinel-2 time-series to monitor the maximum turbidity zone of tidal estuaries

The good things with Sunday work

=>

I am not the kind of person to give lessons or to blame my colleagues, but I have to tell that some of them do not work on Sundays. And their excuses are variable and numerous : family, errands, work in the flat/house or in the garden, the necessity to rest from stressful weeks, do some sports, see friends...

 

Without meaning to boast, I know how to help you solve these issues that could prevent you to work on Sundays

  • a reason to delay the errands or the garden work to another day ("I have no choice, that's for work")
  • A way to do sports and  to relax
  • A reason to see friends or family  (to teach them how to work on Sundays)

 

OK, I'll give you my secret :

Moorland with broom shrubs

Mountain meadow

Woody crop (vineyard)

- thanks to the nice autumn in France, and thanks to the ODK* Collect android application, that you may download on Google Play, It was my pleasure to work on the last two week-end. More accurately, I worked at sampling land cover.

 

15 days ago, I spent my Sunday sampling moorlands in the Pyrenees, thanks to a very nice hike near Tarascon sur Ariège. all types of mountain moors were present, with either ferns, brooms, rhododendrons, blueberries or juniper.

The next week-end allowed me to sample Mediterranean vegetation, and its transition to mountain vegetation in the Fenouillèdes region, at the foot or the Eastern Pyrenees, thanks to a lovely bike tour. Bike is a very efficient way of collecting samples, and it is also an excuse to stop every half mile when the slope is too steep. I tend to sample much more places when going up rather than going down.

 

At the end of the hike, the data are transfered on a websites that comes with ODK and they will be soon transferred to the CESBIO PostGIS data (Thanks to Jérôme Cros) to finally be used, along with other data sources to train and validate land cover classifications.

Alfalfa meadow

 

As I did work a lot on Sundays, I have collected about 2000 samples in 18 months that I'd like to release as open data.

 

A start for a European data base for landcoverl

If you'd like to enjoy working on sundays, please do. adding more users would be a way to provide data to our project to provide annual land cover over France, or to help our Sen2Agri project, with Sentinel-2, starting next year.

If you want to see the data, or to start collecting data, you may use this site, I created a guest account "invite", and the password is composed of the account name followed by the name of my lab, without any space or capital letter. The most recent samples are in OS V2.3 form. If you want to collect data, ask me for a personal account. There is a user guide here.

* ODK : Open Data Kit

Les bienfaits du travail dominical

Loin de moi l'idée de vouloir donner des leçons ou de faire des reproches, mais bon, il faut le signaler, j'ai des collègues qui ne travaillent pas le week-end ou pendant les vacances. Et pour justifier cela, les prétextes les raisons sont nombreuses : la famille, les courses, la haie à tailler, la besoin de se détendre pour évacuer le stress de la semaine, un bon repas avec les amis, faire du sport...

 

Sans me vanter, je dispose de la solution à une bonne partie de ces problèmes :

  • une justification pour reporter les courses et la taille de la haie à un autre jour (c'est pour le travail, je suis obligé)
  • un moyen de faire du sport et de se détendre
  • l'occasion de réunir des amis et/ou la famille, et de leur apprendre à travailler pour vous le week-end

 

Allez, je vous explique :

Lande à genêts

Pelouse-Estive (au premier plan)

Culture ligneuse (vigne)

- grâce au beau temps de cet automne, et grâce à l'application ODK* Collect qui fonctionne sur tous les téléphones sous Android, et qu'on télécharge sur Google Play, j'ai eu le plaisir de travailler les deux derniers week-ends. Plus précisément, j'ai travaillé à récolter des échantillons d'occupation des sols.

 

Il y a quinze jours, le week-end fut consacré à collecter des échantillons de landes de montagne, et à faire une belle randonnée : tous les types de landes étaient représentés : landes de fougères, bruyères, genêts, rhododendrons, myrtilles ou genévriers) dans les Pyrénées Ariégeoises.

Le week-end suivant m'a permis d'échantillonner la végétation méditerranéenne et sa transition vers la végétation de montagne dans le Fenouillèdes, dans le piémont de l'est des Pyrénées, sur un bel itinéraire à vélo, Le vélo se prête très bien au relevé d'échantillons, et vous donne un prétexte pour vous arrêter tous les kilomètres dans les cols un peu trop difficiles. J'ai tendance à relever beaucoup plus de points en montée qu'en descente...

 

Les données sont disponibles sur un site de l'application ODK dès la fin de la randonnée, elles seront ensuite insérées dans la base de données PostGIS du labo (Merci à Jérôme Cros) et finalement, j'espère, utilisées pour l'apprentissage ou la validation de cartes d'occupation des sols.

Prairie semée, luzerne

 

Comme j'ai beaucoup travaillé, ce sont quelques 2000 points qui ont été relevés en 18 mois, et sont à votre disposition.

 

Les débuts d'une base de données Européenne de l'occupation du sol

Si vous souhaitez comme moi vous adonner au travail dominical, voire même au travail pendant la semaine, n’hésitez pas ! Multiplier les utilisateurs serait un bon moyen de faire avancer notre projet de créer une carte d'occupation des sols annuelle sur la France, avec Sentinel-2 et Landsat 8, à partir de l'an prochain. Les meilleurs contributeurs seront récompensés par des cartes d'occupation des sols plus précises sur leur lieux de travail. Pour le moment, je n'ai converti que deux utilisateurs du CESBIO à ce mode de travail dominical, mais j'espère que ces belles photos, prises depuis le portable avec l'application ODK, vous motiveront.

 

SI vous souhaitez regarder les données acquises et même tester l'application, vous pouvez utiliser le site suivant, j'ai créé un compte pour les visiteurs, "invite", et le mot de passe se compose du nom du compte suivi du nom de mon laboratoire, sans aucun espace ou majuscule. Mais je préfèrerais que vous me demandiez un compte, afin que les relevés soient identifiés (il se peut qu'un releveur de terrain fasse toujours les mêmes erreurs (confondre l'Est et l'Ouest par exemple...). Les derniers relevés vont se ranger dans le formulaire OS V2.3. J'avais écrit un manuel de l'utilisateur, qui est toujours disponible ici, et Google diffuse aussi un manuel de l'utilisateur.

* ODK : Open Data Kit

Une station d'observation permanente au sommet d'une falaise

Des collègues du CESBIO, du LTHE, de l'ONERA et de l'INRA, ont mis en place une station permanente au sommet d'une falaise, dans le massif de la Chartreuse, près de Grenoble en France, pour y installer un énorme radiomètre micro-ondes. Cet instrument fonctionne sur le même principe que le satellite SMOS et permet donc de mesurer des températures de brillance et d'en déduire l'humidité des sols.

 

Cette station est maintenant quasiment opérationnelle. Depuis cette falaise, il est possible d'observer très régulièrement au cours de la journée toute une zone de forêts, prairies, et quelques cultures. Un programme d'expérimentations et d'observations in-situ se met en place au sol pour valider les mesures de télédétection... depuis le haut de la falaise. Et tout ceci pourra être utilisé pour valider les mesures de télédétection depuis le satellite, et pour préparer de nouvelles missions spatiales.

 

La plate-forme accueille aussi un radiomètre thermique (Pyromètre KT19) et une petite caméra optique. Elle pourrait accueillir d'autres instruments (sur la petite plat-forme au dessus du radiomètre) qui fourniraient de superbes séries temporelles à la fois à long terme mais aussi pour étudier les variations diurnes. Je pense notamment à des observations dans le thermique. N'hésitez pas à contacter mon collègue arnaud.mialon@cesbio.cnes.fr, si ce projet vous intéresse.