Real time production of land cover maps without terrain data of the current time period.

=> 

With the new availability of repetitive image time series after atmospheric correction over France from the Theia Land Data Centre, it is now possible to imagine the automatic production of land cover maps continuously with the availability of new images.

 

In the framework of the SYRHIUS project, a prototype was developed at CESBIO to assess the results of this kind of classification method at the scale of a medium scale catchment. The study zone is the Fresquel catchment (937 km2), close to the famous medieval city of Carcassonne. The main crops present in this catchment are cereals, sunflower and vineyards, and also some corn and rapeseed.
A supervised classification is used, based on Support Vector Machines, but for which the learning data base is not derived from terrain surveys held during the time period to process, as in the classical supervised methods. The learning data base which is used is created from previous years observations and from terrains data acquired in the past. Such a method has the advantage of needing no terrain data on the present period, knowing that these data often come too late to allow a real time processing, but it requires a very large data volume from several years. In case of a time period with an exceptional climate, errors might arise if the training data base does not contain the necessary information to recognise the crops.


View of the real time land cover processor

 

To test this approach, we used the Common Agriculture Policy plot data base, for years 2011 and 2012, for the Fresquel catchment, along with LANDSAT5/7 time series, which allow a time evolution of reflectances for the plots in the data base. Both data sources were used to create the learning data base. which was then use to classify the data of 2013, 2014 and 2015 for the Fresquel catchment.

 

THEIA LANDSAT8 Level 2A (corrected from atmospheric effects and provided with a cloud mask) are used as input or the processor. Due to the late availability of the Commpon Agriculture Policy data base, we are not able to provide validation figures, but previous campaigns provided Kappa in the 0.65-0.7 range for Midi Pyrénées region.
Of course, at the beginning of the crop season, the available information is not complete and the accuracy might be reduced. For that reason, the nomenclature and the number of classes evolves with the number of available LANDSAT dates. Three key dates are used : end of March, end of July and end of year. For each of the dates a new land cover map is computed with an increased detail level, as shown in next figure.

 

Three land cover maps are produces along the year, first one (S1) in March, Second one in July (S2), and the last one at the end of the year with an increasing number of classes.

We will however stress the fact that steady observations are necessary, and that on certain years, the cloud cover might degrade the quality of the results, as in the case of spring 2013, for which the LANDSAT observations only started in April. In 2013, some parts of the Area where only observed 3 times along the whole year. The results at the beginning of season are quite bad, but they enhance along the year. For the subsequent years, results are better and should further enhance with the availability of Sentinel-2 and its far better observation frequency.

The SIRHYUS project

The SIRHYUS project aims at developping and setting operationnal services related to managing water resources thanks to the integration, assimilaton and valorisation of satellite earth observation  : Veolia Environnement Recherche&Innovations, Veolia Eau, EDF, G2C environnement, Acri ST, l’UMR TETIS-IRSTEA, le CNES, VERI et le CESBIO. It was funded by the 12th Fonds Unique Interministériel, by the ministry in charge of water  and by the Provence and Languedoc-Roussillon, and the aeronautics and space foundation.

The aim is to provide new services, based on the know how of experience companies. In this framework, CESBIO implemented or enhances methods for 4 products : snow cover, land cover, evaop-transpiration and soil water content. In the future, these products will be applied to Sentinel-2. In this framework, two posts will be published on this blog : tis one, and a second related to evapotranspiration estimates in this same catchment.

 

 

 

Yoann Moreau et Isabelle Soleihavoup

Calcul automatique de cartes d'occupation du sol sans données de terrain

=>

Avec la mise à disposition régulière d’images corrigées des effets atmosphériques et téléchargeables librement par le pôle Theia, il est possible d’imaginer la production de classifications de l’occupation du sol automatique et en continu au fil de la mise à disposition de nouvelles images.

 

Dans le cadre du projet SYRHIUS, un prototype a été développé au CESBIO pour tester les résultats de ce type de classification à l’échelle d’un bassin versant.  La zone d’étude retenue est le Fresquel, un bassin versant de 937 km², situé entre Castelnaudary (le cassoulet) et Carcassonne (la forteresse). Les principales cultures présentes sont : céréales, tournesol, vigne et dans une moindre mesure maïs et colza.

 

Le type de méthode de classification utilisée est une classification supervisée (SVM), pour laquelle les échantillons d’apprentissage ne sont pas des zones connues des images à classer (comme les méthodes supervisées classiques, par exemple celle qui sera utilisée dans le projet THEIA) mais sont issues d’une base de données d’apprentissage créée à partir d’années antérieures et de données de terrain acquises pour ces dates. Une telle méthode présente l’avantage de ne nécessiter aucune connaissance à priori sur l’année en cours (et donc aucune étape manuelle d’apprentissage si la base d’apprentissage est exhaustive) mais présente le défaut de nécessiter un très grand volume de données (les chroniques des années antérieures) et peut entraîner une forte confusion dans le cas d’années au climat exceptionnel.

Illustration de la chaîne de traitement mise en place pour la production des cartes d'occupation du sol.

 

Afin de tester cette approche, le RPG (référentiel parcellaire graphique) a été utilisé sur les années 2011 et 2012 pour le bassin du Fresquel apportant une connaissance spatialisée des cultures semées,  conjointement aux séries landsat5/7 qui permettent de suivre l'évolution temporelle de la réflectance des parcelles du RPG. L’association de ces deux types de données a permis de créer une base d’apprentissage, utilisée dans un second temps pour la classification des années 2013, 2014 et 2015 pour l’ensemble du bassin du Fresquel.

 

Les images de niveau 2A (corrigées des effets atmosphériques et accompagnées d'un masque de nuages) utilisées en entrée du traitement, sont mises à disposition par le centre de données THEIA.  La validation des classifications proposées ne sera possible que lorsque le RPG 2013 sera disponible, néanmoins, de précédentes campagnes ont fait état de résultats convenables avec un kappa autour de 0.65-0.7 pour la région Midi-Pyrénées.

 

Une approche de production en continu de ces classifications a été testée afin de fournir à l’utilisateur des résultats dès le début de la saison agricole. Une nomenclature évolutive a donc été proposée, celle-ci s'enrichissant à mesure de la mise à disposition des images satellite Landsat. Trois dates-clés ont été retenues : fin mars, fin juillet et fin de l’année d’étude : à chacune de ces dates la carte d'occupation est alors recalculée. Plus l'année en cours avance, plus la classification des diverses espèces végétales sera fine et précise. Le niveau de détail augmente donc au fur et à mesure pour atteindre son maximum lors de la production de la dernière carte, à la fin de l'année, comme illustré sur la figure suivante.

 

Production de trois cartes d'occupation durant l'année : la première (S1) en mars, la seconde (S2) en juillet et la dernière (S3) à la fin de l'année, avec des nomenclatures de plus en plus riches

 

Les résultats de cette étude sont disponibles via une interface Web.


On notera cependant l’importance d’une couverture régulière et les problèmes liés à l’ennuagement qui peuvent pour certaines années être très contraignants  comme dans le cas de l’année 2013, très pluvieuse (et dépourvue de données LANDSAT avant la mise en service de LANDSAT 8 en Avril).  En 2013, certaines zones n’ont été observées que trois fois durant l’ensemble de l’année. De très mauvais résultats sont donc obtenus en début de saison agricole, qui s'améliorent par la suite. Heureusement, l'arrivée de Sentinel-2 devrait permettre d'assurer une bien meilleure répétitivité dès 2016.

Le projet SIRHYUS

Le projet SIRHYUS a pour objectifs de concevoir,  de développer et de mettre en œuvre des services opérationnels dédiés à la gestion des ressources en eau douce continentale grâce à l'intégration, l'assimilation et à la valorisation des données satellitaires d’observation de la Terre. Ce projet est mené par un consortium de huit partenaires complémentaires : Veolia Environnement Recherche&Innovations, Veolia Eau, EDF, G2C environnement, Acri ST, l’UMR TETIS-IRSTEA, le CNES, VERI et le CESBIO. Il est financé dans le cadre du 12ème Fonds Unique Interministériel par le ministère en charge de l’eau, les régions Paca et Languedoc- Roussillon, ainsi que par la Fondation Sciences et Techniques pour l’Aéronautique et l’Espace. La finalité de ce projet est de pouvoir proposer de nouveaux services, s'appuyant sur des savoir-faire scientifiques et industriels reconnus. Dans ce cadre, le CESBIO a développé ou amélioré les algorithmes de création de quatre produits : le produit manteau neigeux, le produit occupation du sol, le produit évapotranspiration et le produit quantité d’eau dans le sol. Ces algorithmes sont principalement dédiés à l’exploitation des données Sentinel-2. Dans le cadre de ce projet, deux articles sont publiés sur ce blog : le premier (ci-dessus) concerne l'occupation du sol et le second l'estimation de l'évapotranspiration et du bilan hydrique à l'échelle d'un bassin versant (lien).

 

Yoann Moreau et Isabelle Soleihavoup

Landsat Science Team meeting slides

Twice a year, there is a  Landsat Science Team meeting, organised by USGS. One day is dedicated to LANDSAT news, and one or two days to the science team presentations. And what is good, is that the slides are made available just after the meeting. It is a good way to get news from LANDSAT, and even from Sentinel-2, and to see how LANDSAT data are used in the USA mainly, but also around the world.

 

Here is the address : http://landsat.usgs.gov/science_LST_Team_Meetings.php

 

The question is : will there be a Sentinel-2 Science Team ? There is a Sentinel-2 Mission Advisory Group, but the carefully selected members (I am one of them...) were only reunited twice during Sentinel-2 development phase, and the slides are not available. Even if there were also two Sentinel-2 symposiums (and two SPOT (Take5) workshops, with the slides here and there), the level of discussions and feedback with the project team is not the same as in a science team with a reduced size.

 

Please remember that the next SPOT (Take5) workshop will be held within the Living Planet Symposium in Prague, next May.

 

Number of LANDSAT scenes processed and delivered by USGS. More than 700 000 Landsat scenes were distributed in March 2015, which makes quite a difference with the period when LANDSAT data were not free, until 2008 (source USGS)

CNES THEIA distribution site is back on line

=>

 

The CNES THEIA distribution site was closed for 3 weeks for renovation works. It just reopened with a new address :

https://theia.cnes.fr


It is possible again to downloat the L2A LANDSAT data over France. Besides anan enhanced look and feel, there are two new possibilities :

  • A Single Sign On authentification for all THEIA servers has been implemented (also valid for :
    • you only have to register once ("Sign up" button), and this registration is valid for all THEIA servers, included GeoSud, IGN, and SPOT (Take 5) web site.
    • for each visit, you only need to sign in with your THEIA account and password ("Sign in" button)
  • A shopping cart is now available. You can fill it with the products you are interested in, and you can download all these products at once. To download the cart content, the authors of the site recommend to install the downthemall plugin to your firefox browser. (for Chrome, you may try Metalink downloader, but I did not test it). When you click on "order" button, the browser provides a .meta4 file which contains the links to the files you want to download. downthemall understands this file, so select on "dta one click" et downthemall handles all the downloads very quickly
  • you still can download each product without installing any plugin

 

 

  • The Theia site understands queries such as " Toulouse LANDSAT8 2014".  For more query examples, refer to this page.

 

As it is a new version, you might have suggestions, so please contact the following address : exploitation.theia-land@cnes.fr .

 

This site relies on the opensource resto application and on the rocket web service, which were both developped by Jérôme Gaspéri (http://github.com/jjrom/resto). The site integration was implemented by par Rémi Mourembles from CAP GEMINI, for CNES. Many interventions from CNES couting center teams (DSI) were necessary, and all this work was managed by Philippe Pacholczyk for THEIA project at CNES. The datasets are produced par the MUSCATE team at CNES.

 

L'atelier de distribution THEIA réouvre

=>

Après 3 semaines de fermeture pour rénovation, l'atelier de distribution THEIA réouvre avec une nouvelle adresse :

https://theia.cnes.fr


Vous pouvez de nouveau télécharger des données LANDSAT sur la France. Outre une interface plus complète et encore plus moderne, cette nouvelle version apporte deux grandes nouveautés :

  • l'authentification unifiée pour tous les ateliers de distribution de THEIA
    • vous vous inscrivez une fois pour toutes (bouton "s'enregistrer"), et cette inscription est valide sur tous les serveurs de THEIA, y compris à GeoSud, à l'IGN, et sur le serveur de données Spot (Take5) qui va ouvrir d'un jour à l'autre
    • à chaque visite, vous vous authentifiez avec votre compte theia (bouton "se connecter")
  • la création d'un panier, que vous remplissez avec les produits que vous souhaitez télécharger. Vous pouvez ensuite télécharger tous les produits du panier en une fois. Pour télécharger le panier, les auteurs du site recommandent l'installation d'un plugin, appelé downthemall, qui se rajoute sur firefox (pour Chrome, vous pouvez essayer Metalink downloader, je ne l'ai pas testé). Lorsque vous cliquez ensuite sur le bouton "commander', le navigateur vous propose un fichier .meta4 qui contient des liens vers les fichiers  télécharger. Le plugin downthemall comprend ce lien, choisissez "dta one click" et downthemall s'occupe de tout.
  • vous pouvez toujours télécharger les produits un par un sans installer de plugin

 

 

  • Le site comprend des recherches du genre " Toulouse LANDSAT8 2014". Pour plus d'exemples de recherches, reportez vous au guide suivant.

Cette version étant nouvelle, vous aurez probablement des suggestions à faire, n’hésitez pas à nous les envoyer sur le mail de contact exploitation.theia-land@cnes.fr .

 

Ce site repose sur l'application opensource resto et sur le service web rocket, tous deux développés par Jérôme Gaspéri.(http://github.com/jjrom/resto). L'intégration du site a été réalisée par Rémi Mourembles de CAP GEMINI, pour le compte du CNES. Sa mise en place a nécessité l'intervention de nombreuses personnes de la DSI du CNES, sous la coordination de Philippe Pacholczyk du projet THEIA au CNES. Les données sont produites par l'équipe du centre MUSCATE au CNES.

 

THEIA's LANDSAT and SPOT4 (Take5) distribution suspended for a few days

=>

The distribution servers of LANDSAT and SPOT4 (Take5) within THEIA land data center went off-line today for two to three weeks. A new version of the distribution software must be installed. The next days will be used by CNES teams to install the softwares, transfer the databases and obtain the security clearance. When all is completed, we will re-open LANDSAT level 2A product distribution and open SPOT5 (Take5) distribution center and soon start to fill it with nice time series.

Meanwhile, thanks for being patient !

La distribution des données LANDSAT et SPOT4 (Take5) est suspendue pour quelques jours

=>

Les serveurs de distribution de données LANDSAT et SPOT4 (Take5) du centre THEIA ont été arrêtés aujourd'hui, pour deux à trois semaines. Comme je l'écrivais il y a quelques jours, une nouvelle version de l'atelier de distribution va être mise en place. Il faut donc l'installer, migrer toutes les données et obtenir le feu vert de la sécurité. A l'issue de ces travaux, nous pourrons ré-ouvrir l'accès aux données LANDSAT et ouvrir le serveur de données SPOT5 (Take5), et probablement peu après, commencer à le remplir ;-)

En attendant, merci pour votre patience !

Quelques nouvelles de THEIA (LANDSAT 8, atelier de distribution)

LANDSAT 8

Oui, même l'Alsace était dégagée le 12 avril !

A force de parler de SPOT5 (Take5), il ne faudrait pas oublier que le centre de traitement MUSCATE du centre de données THEIA continue à traiter opérationnellement les données LANDSAT 8. Le rythme de production a même accéléré, puisque les données acquises par LANDSAT 8 du 1er au 15 avril sont déjà en ligne (depuis le 28 avril). Le délais de mise à disposition des données corrigées des effets atmosphériques et avec masque de nuages est donc compris entre deux et quatre semaines. Il serait possible de faire mieux, mais personne ne l'a demandé jusqu'ici. Ces deux dernières semaines ont permis d'amasser des images claires dans la plupart des régions !

Les données sont disponibles ici: http://spirit.cnes.fr/resto/Landsat

Serveur de distribution

THEIA prépare un nouveau serveur de distribution pour :

  • permettre une authentification centralisée pour toutes les bases de données THEIA,
  • offrir une interface toujours aussi moderne et à la pointe du progrès, mais encore plus pratique, avec la création d'un panier de téléchargement et la possibilité d'y envoyer d'un clic toute une série temporelle,
  • et bien sûr pour accueillir les données  SPOT5 (Take5).

Cette version devrait entrer en exploitation au cours du mois de mai (plutôt vers la fin), il est donc inutile de se lancer maintenant dans le développement d'un outil de téléchargement automatique des données qui serait vite obsolète, il est urgent d'attendre le mois prochain !

 

Première ortho SPOT5 (Take5)

 

=>

Voici une copie d'écran de la première image SPOT5 (Take5) du lac Victoria en Ouganda, après ortho-rectification (L1C), superposée à une image similaire acquise par LANDSAT 8. Les deux images se superposent apparemment très bien, même si nous devons procéder à une validation plus rigoureuse. Ceci dit, même si ce n'est pas une surprise, c'est une bonne nouvelle que les processeurs commencent à marcher rapidement.

Première image SPOT5 (Take5) ortho-rectifiée. En couleurs, SPOT5 (Take5), en noir et blanc, LANDSAT 8.

Zoom sur le côté Est de l'image : les routes et la rivière correspondent parfaitement.

Nous commençons à rattraper notre retard dû à la définition tardive des sites. La plupart des données auxiliaires est prête, et la première ortho-rectification a été traitée au sein du processeur nominal, au centre THEIA du CNES, par l'équipe d'exploitation de MUSCATE. Un grand merci à tous ceux qui ont contribué à ce travail, notamment Karl, Dominique Vincent et Laurent !

 

 

 

First SPOT5 (Take5) Ortho

 

=>

Here is a screen copy of the first SPOT5 (Take5) ortho-rectified image (L1C) from the Lake Victoria image in Uganda, registered with a similar product from LANDSAT 8. Both images match very well, but we need to validate that much further. However, although it is not a surprise, it is good news that processors start to be working quickly.

First SPOT5 (Take5) ortho-rectified image. In colour SPOT5 (Take5) image, in black and white, a LANDSAT 8 image.

Zoom on the east side : the roads and river from SPOT5 (Take5), left, and LANDSAT 8, right, match perfectly

We are starting to catch-up our late start due to the late definition of the sites. Most of the ancillary data for the 150 sites are ready (still missing the most Northern sites), and the first ortho-rectification was processed on the nominal configuration at THEIA (CNES) by the MUSCATE exploitation team. Many thanks to all the colleagues who contributed to this work, especially Karl, Dominique Vincent and Laurent !