CNES THEIA distribution site is back on line

=>

 

The CNES THEIA distribution site was closed for 3 weeks for renovation works. It just reopened with a new address :

https://theia.cnes.fr


It is possible again to downloat the L2A LANDSAT data over France. Besides anan enhanced look and feel, there are two new possibilities :

  • A Single Sign On authentification for all THEIA servers has been implemented (also valid for :
    • you only have to register once ("Sign up" button), and this registration is valid for all THEIA servers, included GeoSud, IGN, and SPOT (Take 5) web site.
    • for each visit, you only need to sign in with your THEIA account and password ("Sign in" button)
  • A shopping cart is now available. You can fill it with the products you are interested in, and you can download all these products at once. To download the cart content, the authors of the site recommend to install the downthemall plugin to your firefox browser. (for Chrome, you may try Metalink downloader, but I did not test it). When you click on "order" button, the browser provides a .meta4 file which contains the links to the files you want to download. downthemall understands this file, so select on "dta one click" et downthemall handles all the downloads very quickly
  • you still can download each product without installing any plugin

 

 

  • The Theia site understands queries such as " Toulouse LANDSAT8 2014".  For more query examples, refer to this page.

 

As it is a new version, you might have suggestions, so please contact the following address : exploitation.theia-land@cnes.fr .

 

This site relies on the opensource resto application and on the rocket web service, which were both developped by Jérôme Gaspéri (http://github.com/jjrom/resto). The site integration was implemented by par Rémi Mourembles from CAP GEMINI, for CNES. Many interventions from CNES couting center teams (DSI) were necessary, and all this work was managed by Philippe Pacholczyk for THEIA project at CNES. The datasets are produced par the MUSCATE team at CNES.

 

L'atelier de distribution THEIA réouvre

=>

Après 3 semaines de fermeture pour rénovation, l'atelier de distribution THEIA réouvre avec une nouvelle adresse :

https://theia.cnes.fr


Vous pouvez de nouveau télécharger des données LANDSAT sur la France. Outre une interface plus complète et encore plus moderne, cette nouvelle version apporte deux grandes nouveautés :

  • l'authentification unifiée pour tous les ateliers de distribution de THEIA
    • vous vous inscrivez une fois pour toutes (bouton "s'enregistrer"), et cette inscription est valide sur tous les serveurs de THEIA, y compris à GeoSud, à l'IGN, et sur le serveur de données Spot (Take5) qui va ouvrir d'un jour à l'autre
    • à chaque visite, vous vous authentifiez avec votre compte theia (bouton "se connecter")
  • la création d'un panier, que vous remplissez avec les produits que vous souhaitez télécharger. Vous pouvez ensuite télécharger tous les produits du panier en une fois. Pour télécharger le panier, les auteurs du site recommandent l'installation d'un plugin, appelé downthemall, qui se rajoute sur firefox (pour Chrome, vous pouvez essayer Metalink downloader, je ne l'ai pas testé). Lorsque vous cliquez ensuite sur le bouton "commander', le navigateur vous propose un fichier .meta4 qui contient des liens vers les fichiers  télécharger. Le plugin downthemall comprend ce lien, choisissez "dta one click" et downthemall s'occupe de tout.
  • vous pouvez toujours télécharger les produits un par un sans installer de plugin

 

 

  • Le site comprend des recherches du genre " Toulouse LANDSAT8 2014". Pour plus d'exemples de recherches, reportez vous au guide suivant.

Cette version étant nouvelle, vous aurez probablement des suggestions à faire, n’hésitez pas à nous les envoyer sur le mail de contact exploitation.theia-land@cnes.fr .

 

Ce site repose sur l'application opensource resto et sur le service web rocket, tous deux développés par Jérôme Gaspéri.(http://github.com/jjrom/resto). L'intégration du site a été réalisée par Rémi Mourembles de CAP GEMINI, pour le compte du CNES. Sa mise en place a nécessité l'intervention de nombreuses personnes de la DSI du CNES, sous la coordination de Philippe Pacholczyk du projet THEIA au CNES. Les données sont produites par l'équipe du centre MUSCATE au CNES.

 

THEIA's LANDSAT and SPOT4 (Take5) distribution suspended for a few days

=>

The distribution servers of LANDSAT and SPOT4 (Take5) within THEIA land data center went off-line today for two to three weeks. A new version of the distribution software must be installed. The next days will be used by CNES teams to install the softwares, transfer the databases and obtain the security clearance. When all is completed, we will re-open LANDSAT level 2A product distribution and open SPOT5 (Take5) distribution center and soon start to fill it with nice time series.

Meanwhile, thanks for being patient !

La distribution des données LANDSAT et SPOT4 (Take5) est suspendue pour quelques jours

=>

Les serveurs de distribution de données LANDSAT et SPOT4 (Take5) du centre THEIA ont été arrêtés aujourd'hui, pour deux à trois semaines. Comme je l'écrivais il y a quelques jours, une nouvelle version de l'atelier de distribution va être mise en place. Il faut donc l'installer, migrer toutes les données et obtenir le feu vert de la sécurité. A l'issue de ces travaux, nous pourrons ré-ouvrir l'accès aux données LANDSAT et ouvrir le serveur de données SPOT5 (Take5), et probablement peu après, commencer à le remplir ;-)

En attendant, merci pour votre patience !

Quelques nouvelles de THEIA (LANDSAT 8, atelier de distribution)

LANDSAT 8

Oui, même l'Alsace était dégagée le 12 avril !

A force de parler de SPOT5 (Take5), il ne faudrait pas oublier que le centre de traitement MUSCATE du centre de données THEIA continue à traiter opérationnellement les données LANDSAT 8. Le rythme de production a même accéléré, puisque les données acquises par LANDSAT 8 du 1er au 15 avril sont déjà en ligne (depuis le 28 avril). Le délais de mise à disposition des données corrigées des effets atmosphériques et avec masque de nuages est donc compris entre deux et quatre semaines. Il serait possible de faire mieux, mais personne ne l'a demandé jusqu'ici. Ces deux dernières semaines ont permis d'amasser des images claires dans la plupart des régions !

Les données sont disponibles ici: http://spirit.cnes.fr/resto/Landsat

Serveur de distribution

THEIA prépare un nouveau serveur de distribution pour :

  • permettre une authentification centralisée pour toutes les bases de données THEIA,
  • offrir une interface toujours aussi moderne et à la pointe du progrès, mais encore plus pratique, avec la création d'un panier de téléchargement et la possibilité d'y envoyer d'un clic toute une série temporelle,
  • et bien sûr pour accueillir les données  SPOT5 (Take5).

Cette version devrait entrer en exploitation au cours du mois de mai (plutôt vers la fin), il est donc inutile de se lancer maintenant dans le développement d'un outil de téléchargement automatique des données qui serait vite obsolète, il est urgent d'attendre le mois prochain !

 

Première ortho SPOT5 (Take5)

 

=>

Voici une copie d'écran de la première image SPOT5 (Take5) du lac Victoria en Ouganda, après ortho-rectification (L1C), superposée à une image similaire acquise par LANDSAT 8. Les deux images se superposent apparemment très bien, même si nous devons procéder à une validation plus rigoureuse. Ceci dit, même si ce n'est pas une surprise, c'est une bonne nouvelle que les processeurs commencent à marcher rapidement.

Première image SPOT5 (Take5) ortho-rectifiée. En couleurs, SPOT5 (Take5), en noir et blanc, LANDSAT 8.

Zoom sur le côté Est de l'image : les routes et la rivière correspondent parfaitement.

Nous commençons à rattraper notre retard dû à la définition tardive des sites. La plupart des données auxiliaires est prête, et la première ortho-rectification a été traitée au sein du processeur nominal, au centre THEIA du CNES, par l'équipe d'exploitation de MUSCATE. Un grand merci à tous ceux qui ont contribué à ce travail, notamment Karl, Dominique Vincent et Laurent !

 

 

 

First SPOT5 (Take5) Ortho

 

=>

Here is a screen copy of the first SPOT5 (Take5) ortho-rectified image (L1C) from the Lake Victoria image in Uganda, registered with a similar product from LANDSAT 8. Both images match very well, but we need to validate that much further. However, although it is not a surprise, it is good news that processors start to be working quickly.

First SPOT5 (Take5) ortho-rectified image. In colour SPOT5 (Take5) image, in black and white, a LANDSAT 8 image.

Zoom on the east side : the roads and river from SPOT5 (Take5), left, and LANDSAT 8, right, match perfectly

We are starting to catch-up our late start due to the late definition of the sites. Most of the ancillary data for the 150 sites are ready (still missing the most Northern sites), and the first ortho-rectification was processed on the nominal configuration at THEIA (CNES) by the MUSCATE exploitation team. Many thanks to all the colleagues who contributed to this work, especially Karl, Dominique Vincent and Laurent !

 

 

 

SAT-IRR: Satellite for Irrigation Scheduling

=>

Suite à l'expérience de pilotage d'irrigation menée au Maroc lors de l'expérience SPOT4-Take5 (Le Page et al, 2014), un outil Web d'aide à la prise de décision d'irrigation est en cours de développement (http://osr-cesbio.ups-tlse.fr/Satirr). L’outil est fonctionnel sur trois tuiles Landsat8 situées à Marrakech au Maroc, Kairouan en Tunisie, Toulouse en France.

 

L'outil s'adresse à des irrigants :  après avoir dessiné sa parcelle sur un fond cartographique, l’utilisateur répond à 4 questions. Il choisit sa culture parmi 7 options actuellement renseignées (maïs, blé, olivier…), son sol parmi les 12 sols type de l’USDA, sa date de semis et son mode d’irrigation (gravitaire, aspersion ou goutte à goutte). Cette initialisation sommaire est suffisante pour lancer le service, mais l’utilisateur pourra modifier à tout moment les contours de sa parcelle ou affiner la paramétrisation s’il connaît bien le sol, les particularités de sa culture, etc.

 

Dans un premier temps le serveur se charge de faire une approximation d’un comportement

satirr_screenshot

Screenshot from SAT-IRR web interface. The four icons allow modifying the plot parameters and contours, input irrigation, and consulting the results as graphs or tables. The graph results show a small Openlayers window with the last NDVI image, the sequence of NDVI thumbnail images, and 4 graphics: The “atmospheric part (rainfall, Reference Evapotranspiration and actual evapotranspiration), the second graph shows the status of the soil water content separated in three layers, the third graph shows the evolution of Basal Crop Coefficient and Fraction Cover, and the last graph is NDVI. The blue square at the right of the graphs are projections for the next month, including the green bars which are irrigation recommendations

moyen de la plante. Pour cela, une climatologie mensuelle est compilée (moyenne multi-annuelle de paramètres météo) puis interpolée au pas de temps journalier, alors que le comportement moyen de la plante est tiré des tables du document FAO-56 « FAO Irrigation and Drainage n°56: Guidelines for Computing Crop Water Requirements » (Allen et al, 1998). Dans un second temps, les images satellites déjà présentes sur le serveur sont examinées puis les relations entre NDVI et Coefficient Cultural de Base (Basal Crop Coefficient, Kcb) et le pourcentage de la couverture du sol par la végétation (Fraction cover, Fc) sont déterminées à chaque date disponible en faisant une moyenne sur la parcelle.

 

La météo passée est renseignée par les mesures effectuées sur la station synoptique de l’Organisation Mondiale Météorologique la plus proche, et synthétisée quotidiennement sous la forme de l’évapotranspiration de référence (ET0) et de la pluie. Enfin, des prévisions météo sont obtenues grâce à l’API de l’Institut Météorologique Norvégien.

 

Finalement, un bilan hydrique très proche de celui décrit dans la méthode FAO-56 est calculé en combinant ainsi comportement cultural et climatologie type, imagerie satellitaire, mesures et prévisions météo ainsi que projection dans le futur du développement de la culture. Le but étant bien évidemment de proposer une date et dose d’irrigation.

 

En plus de mettre à jour la météo (mesures et prévisions), le serveur vérifiera chaque jour la disponibilité de nouvelles images (uniquement Landsat8 pour le moment). Si une nouvelle image est disponible, elle est téléchargée, corrigée des effets atmosphériques en utilisant les informations fournies par le photomètre du réseau Aeronet le plus proche en utilisant le code SMAC (Rahman & Dedieu, 1994), puis un masque de nuage est créé et le NDVI est calculé. Cette image est stockée alors que le fichier original est jeté pour ne pas encombrer le serveur.

 

L’ensemble paramétrisation/mesures/prévision est stocké sur une base postgres/postgis qui fait le lien avec une interface web. L’utilisateur peut consulter les résultats sous forme de tableaux ou de graphes, et rajouter ses propres irrigations dans une autre interface dédiée.

 

Bien que l’interface soit encore un peu fruste, nous envisageons surtout des développements du côté serveur:

  • Adaptation à Sentinel-2 : à priori le passage à S2 ne devrait pas poser de soucis. Il faudra cependant adapter le calcul des tuiles à télécharger, le code de téléchargement, ainsi que la lecture du format.
  • Utilisation de Sentinel-1: Dans l’état actuel, le bon fonctionnement du bilan hydrique repose sur l’information réelle de l’irrigation que doit fournir l’utilisateur. Nous prévoyons de tester l'utilisation d’images S1 pour déterminer les dates d'irrigation.
  • Accès à des stations agro-météo locales : Dans le cadre du développement du Système d’Information Environnemental au Cesbio, la télémétrie de plusieurs stations météo se met petit à petit en place (par exemple voir http://trema.ucam.ac.ma (Jarlan et al, 2015)), nous comptons rendre ces stations accessibles à travers un service web normalisé du type Sensor Web.
  • Introduction de réseau d’irrigation collective. Les travaux de thèse de Kharrou (2013) et Belaqziz (2013, 2014) ont montré que la télédétection spatiale peut servir à optimiser les tours d’eau sur un secteur irrigué. Nous comptons donc offrir la possibilité d’introduire un ensemble de parcelle pour l’associer à un réseau de distribution et proposer in fine un arrangement optimisé du tour d’eau. Cependant, à l’heure actuelle, cet objectif est plutôt de l’ordre du défi !
  • Nous travaillons actuellement sur une procédure d'estimation du rendement du blé avec la télédétection spatiale (Thèse J. Toumi) et espérons ainsi introduire une estimation précoce du rendement dans cet outil.

Si vous souhaitez essayer l'outil, inscrivez-vous, c'est gratuit. Si les régions de test ne vous conviennent pas, contactez-moi!

Références:

  1. Le Page M., J. Toumi, S. Khabba, O. Hagolle, A. Tavernier, M. Kharrou, S. Er-Raki, M. Huc, M. Kasbani, A. Moutamanni, M. Yousfi, and L. Jarlan, “A Life-Size and Near Real-Time Test of Irrigation Scheduling with a Sentinel-2 Like Time Series (SPOT4-Take5) in Morocco,” Remote Sens., vol. 6, no. 11, pp. 11182–11203, Nov. 2014.
  2. Allen R., L. Pereira, D. Raes, and M. Smith, FAO Irrigation and Drainage n°56: Guidelines for Computing Crop Water Requirements, no. 56. FAO, 1998, pp. 273–282.
  3. Rahman H. and G. Dedieu, “SMAC: a simplified method for the atmospheric correction of satellite measurements in the solar spectrum,” Int. J. Remote Sens., vol. 15, no. 1, pp. 123–143, 1994.
  4. Kharrou M.H., M. Le Page, A. Chehbouni, V. Simonneaux, S. Er-Raki, L. Jarlan, L. Ouzine, S. Khabba, and A. Chehbouni, “Assessment of Equity and Adequacy of Water Delivery in Irrigation Systems Using Remote Sensing-Based Indicators in Semi-Arid Region, Morocco,” Water Resour. Manag., vol. 27, no. 13, pp. 4697–4714, Sep. 2013.
  5. Belaqziz S., S. Mangiarotti, M. Le Page, S. Khabba, S. Er-Raki, T. Agouti, L. Drapeau, M. H. Kharrou, M. El Adnani, and L. Jarlan, “Irrigation scheduling of a classical gravity network based on the Covariance Matrix Adaptation – Evolutionary Strategy algorithm,” Comput. Electron. Agric., vol. 102, pp. 64–72, Mar. 2014.
  6. Belaqziz S., S. Khabba, S. Er-Raki, L. Jarlan, M. Le Page, M. H. Kharrou, M. El Adnani, and A. Chehbouni, “A new irrigation priority index based on remote sensing data for assessing the networks irrigation scheduling,” Agric. Water Manag., vol. 119, pp. 1–9, Mar. 2013.
  7. Jarlan L., S. Khabba, S. Er-raki, M. Le Page et al, “Remote sensing of water resources in semi-arid Mediterranean basins: The Joint International Laboratory TREMA,” Int. J. Remote Sens., vol. (under review), 2015.

SAT-IRR: Satellite for Irrigation Scheduling

=>

Following the irrigation scheduling experiment in Morocco during the SPOT4-Take5 experiment (Le Page et al, 2014), a Web tool owing to help the irrigation decision making is under development (http://osr-cesbio.ups-tlse.fr/Satirr). The tool is functional on three Landsat8 tiles: Marrakech in Morocco, Kairouan in Tunisia, Toulouse, France.

 

As the tool is addressing irrigators, the idea is to set an irrigated plot of the simplest and fastest possible way. After drawing his plot on a base map, the user answers to 4 questions. He chose his culture among 7 options currently parameterized (corn, wheat, olive ...), its soil among the 12 USDA typical soils, the sowing date and irrigation method (flooding, sprinkler or drip). This rough initialization is adequate launch the service although, at any time, the user can change the plot contours or refine parameterization if he knows the soils, the peculiarities of its crop, etc.

satirr_screenshot

Screenshot from SAT-IRR web interface. The four icons allow modifying the plot parameters and contours, input irrigation, and consulting the results as graphs or tables. The graph results show a small Openlayers window with the last NDVI image, the sequence of NDVI thumbnail images, and 4 graphics: The “atmospheric part (rainfall, Reference Evapotranspiration and actual evapotranspiration), the second graph shows the status of the soil water content separated in three layers, the third graph shows the evolution of Basal Crop Coefficient and Fraction Cover, and the last graph is NDVI. The blue square at the right of the graphs are projections for the next month, including the green bars which are irrigation recommendations

Initially the server makes an approximation of an average behavior of the plant. For this, a monthly climatology is compiled (multi-annual average of weather parameters) and then interpolated to daily values, while the average behavior of the plant is extracted from FAO-56 Tables "FAO Irrigation and Drainage No. 56 : Guidelines for Computing Crop Water Requirements" (Allen et al, 1998). In a second step, the satellite images already on the server are examined and the relationship between NDVI and Basal Crop coefficient (Kcb) and percent of ground covered by vegetation (Fraction cover, Fc) are determined at each date by averaging on the plot.
Past weather is populated by measurements on the nearest synoptic station of the World Meteorological Organization and synthesized in the form of daily reference evapotranspiration (ET0) and rainfall. Forecasts are obtained by the API of the Norwegian Meteorological Institute.
Finally, a water balance very close to the one described in the FAO-56 is calculated by combining typical crop behavior and climate, satellite imagery, weather data and forecasts and projection into the future of crop development. The goal is to propose a date and dose of irrigation.

 

In addition to updating the weather (measures and forecasts), the server will check every day for the availability of new images (only Landsat8 for the time being). If there is availability, the tile is downloaded, it is then corrected for atmospheric effects using the information provided by the nearest photometer from the Aeronet network using the SMAC code (Rahman & Dedieu, 1994), then a cloud mask is created and NDVI is calculated. This image is stored as the original file is discarded to not overload the server.
All parameterization / measures / prediction are stored in a postgres / postgis database that links with a web client interface. The user can view the results in tables or graphs, and add its own irrigation in another dedicated interface.
While the interface is still a little rough, we are essentially considering developments on the server side:

  • Adaptation to Sentinel-2: the transition to S2 should not be a hassle. However, it will be necessary to adjust the calculation of the tiles to download, the download code and format reading.
  • Use of Sentinel-1: In the current state, the well-performance of water balance is based on the actual information of irrigation provided by the user. We plan to test the use of S1 images to determine the irrigation dates.
  • Access to local agro-weather stations: As part of the development of the Environmental Information System in Cesbio, telemetry of several weather stations has been settled up (eg, see http://trema.ucam.ac .ma) (Jarlan et al, 2015), we have to make these stations accessible through a standardized web service like Sensor Web.
  • Introduction of collective irrigation network. The PhD work of Kharrou (2013) and Belaqziz (2013, 2014) have shown that remote sensing can be used to optimize water rotations of an irrigated command. We plan to offer the possibility of introducing a set of plots to associate it with a distribution network and ultimately offer an optimized arrangement of the water rotation. However, at present, this goal is more into the order of a challenge!
  • We are currently working on a procedure to introduce wheat yield using remote sensing data (J. Toumi PhD Thesis) and further expect to input an early wheat yield prediction into the tool.

If you want to try it out, be my guest, it's free. If you want to try it out on other regions, please contact me!

 

References:

  1. Le Page M., J. Toumi, S. Khabba, O. Hagolle, A. Tavernier, M. Kharrou, S. Er-Raki, M. Huc, M. Kasbani, A. Moutamanni, M. Yousfi, and L. Jarlan, “A Life-Size and Near Real-Time Test of Irrigation Scheduling with a Sentinel-2 Like Time Series (SPOT4-Take5) in Morocco,” Remote Sens., vol. 6, no. 11, pp. 11182–11203, Nov. 2014.
  2. Allen R., L. Pereira, D. Raes, and M. Smith, FAO Irrigation and Drainage n°56: Guidelines for Computing Crop Water Requirements, no. 56. FAO, 1998, pp. 273–282.
  3. Rahman H. and G. Dedieu, “SMAC: a simplified method for the atmospheric correction of satellite measurements in the solar spectrum,” Int. J. Remote Sens., vol. 15, no. 1, pp. 123–143, 1994.
  4. Kharrou M.H., M. Le Page, A. Chehbouni, V. Simonneaux, S. Er-Raki, L. Jarlan, L. Ouzine, S. Khabba, and A. Chehbouni, “Assessment of Equity and Adequacy of Water Delivery in Irrigation Systems Using Remote Sensing-Based Indicators in Semi-Arid Region, Morocco,” Water Resour. Manag., vol. 27, no. 13, pp. 4697–4714, Sep. 2013.
  5. Belaqziz S., S. Mangiarotti, M. Le Page, S. Khabba, S. Er-Raki, T. Agouti, L. Drapeau, M. H. Kharrou, M. El Adnani, and L. Jarlan, “Irrigation scheduling of a classical gravity network based on the Covariance Matrix Adaptation – Evolutionary Strategy algorithm,” Comput. Electron. Agric., vol. 102, pp. 64–72, Mar. 2014.
  6. Belaqziz S., S. Khabba, S. Er-Raki, L. Jarlan, M. Le Page, M. H. Kharrou, M. El Adnani, and A. Chehbouni, “A new irrigation priority index based on remote sensing data for assessing the networks irrigation scheduling,” Agric. Water Manag., vol. 119, pp. 1–9, Mar. 2013.
  7. Jarlan L., S. Khabba, S. Er-raki, M. Le Page et al, “Remote sensing of water resources in semi-arid Mediterranean basins: The Joint International Laboratory TREMA,” Int. J. Remote Sens., vol. (under review), 2015.

L'estimation de l'épaisseur optique des aérosols dans MACCS

=>

J'ai expliqué dans ce blog les principes de mesure de l'épaisseur optique des aérosols que nous utilisons pour traiter les données LANDSAT ou SPOT(Take5), et bientôt Sentinel-2 ou Venµs, avec la méthode MACCS développée au CESBIO et utilisée par THEIA. Nous avions commencé un article en 2010 (!) pour présenter les détails de la méthode et les résultats de sa validation, mais il nous a fallu un moment de calme relatif cet automne pour enfin trouver le temps de le terminer. Il est maintenant publié dans le journal remote sensing (MDPI), en libre accès. Bonne lecture !

 

Hagolle, O.; Huc, M.; Villa Pascual, D.; Dedieu, G. A Multi-Temporal and Multi-Spectral Method to Estimate Aerosol Optical Thickness over Land, for the Atmospheric Correction of FormoSat-2, LandSat, VENμS and Sentinel-2 Images. Remote Sens. 2015, 7, 2668-2691.

De gauche à droite, les résultats de validation d'épaisseurs optiques d'aérosols pour la méthode multi-spectrale, pour la méthode multi-temporelle, et pour la combinaison des deux, utilisée dans MACCS. La combinaison des deux méthodes permet de mesurer l'épaisseur optique dans de plus nombreux cas, sans dégrader l'estimation.