MACCS qualified for Atmospheric Correction Euro and World Cup

Don't worry, I have not been converted to a football fan, it is still giving me allergies ! But after a post about sex ratio, we are still trying to increase the amount of connexions to this blog.

 

However, the title of this post is partly true, since, simultaneously, we are engaged to two competitions to compare cloud screening and atmospheric correction softwares applicable to Sentinel-2 or Landsat-8. The Atmospheric Correction Euro is organised by ESA, to select the method that will be used by ESA to systematically produce Sentinel-2 images to level 2A. The Euro world cup will last one year, with successive iterations between 4 producers, and a Jury of experts. Of course MACCS is participating, and we (DLR + CNES/CESBIO) are using this opportunity to merge MACCS and ATCOR methods, in order to use the methods from each of these two codes. In this framework, the resulting software we will get was renamed MAJA (say MAYA), for MACCS-ATCOR Joint Algorithm.

 

The Atmospheric Correction World cup is organized by NASA and ESA in the framework of the committee on earth observation satellites (CEOS). Here, about 12 codes will be compared, and the comparison will be done with LANDSAT 8 and Sentinel-2 data, it will seemingly focus on atmospheric correction rather than cloud screening, although it is not always easy to separate both aspects.

 

The World Cup will start this summer, while the Euro started last month. I have already shown a few validation results from this exercise :

- cloud masks comparison with Sen2cor

- validation of the consistency of processing among various tiles

- and thanks to Camille Desjardins (CNES), we just obtained validations of AOT estimates and Water Vapour estimates. The water vapour validation results are quite accurate and largely good enough to perform the atmospheric correction. The AOT validation results are decent, with rmse a little above what we observed for LANDSAT 8 over France. But the choice of sites is more difficult, with 2 arid sites, and the repetitivity of Sentinel-2 acquisitions is still far from what it should be (because of issues on board or on the ground segment). As already said in this blog, the accuracy of MACCS software increases with repetitivity.

Water vapour content validation wrt aeronet data for 4 sites (France, Morocco, Israel, SouthAfrica)

Aerosol optical thickness validation wrt aeronet data for 4 sites (France, Morocco, Israel, SouthAfrica)

 

We only are in the early stage of the EURO, and our wise coach did not introduce the best players in the first rounds. In next round, we will introduce MACCS 5.0, with its much enhanced shadows mask, and for the final stages, we will include the selected modules from ATCOR. But here is a glimpse of the MACCS 5.0 player.
On some images, the previous version of MACCS missed quite a lot of shadows, while with 5.0, they are detected (click on the images below to see the details). And by the way, the images were created within the Sen2Agri system, which is now taking shape and is a little ahead of MUSCATE in terms of versions. Many thanks to our colleagues from the Sen2Agri consortium (UCL, C-S France, C-S Romania, CESBIO).

Image generated at MUSCATE with MACCS 4.8, clouds and shadows are circled in green

Image generated at Sen2Agri with MACCS V5.0. The detected shadows are circled in yellow

And finally, I found an analogy between Football and Atmospheric Correction (I had to search a lot). Some say that football is a game which is played by two teams of eleven players and for which, at the end, Germany wins. For the Atmospheric Correction Euro, all the four teams competing include German institutes or companies. So here also, Germany wins.

Réfléchissez deux fois avant d'utiliser Google Earth Engine

=> L'une des tendances que l'on pouvait observer au Living Planet Symposium 2016, est l'utilisation croissante de Google Earth Engine. Pour ceux qui ne connaissent pas encore, Google met à disposition des utilisateurs de données de télédétection une plate-forme avec grosse puissance de calcul, bibliothèques et l'accès aux  données ouvertes, dont celles de LANDSAT et des Sentinel,  gratuitement tant qu'on ne dépasse pas certaines limites de stockage de données.  Google en retire une connaissance  des besoins des utilisateurs et des traitements et applications qu'ils développent, et améliore son image de marque (du "green washing")

Problèmes

Je vais répéter ici ce qu'à dit Jordi au Living Planet Symposium et ce qu'il a également expliqué dans son blog : l'utilisation de cette plate-forme est risquée et dangereuse.

Si vous travaillez sur GEE, sachez que :

  • vous n'avez pas les données
  • vous n'avez pas les machines
  • vous n'avez pas les codes

Les travaux que vous développeriez sur cette plate-forme ne pourraient donc pas être répétés ailleurs. Non seulement vous fourniriez donc un tas d'informations à Google, mais en plus, vous ne pouvez plus quitter GEE sans devoir reprendre vos travaux à zéro.

Mauvais scénarios

Voici quelques scénarios tout à fait plausibles mais non moins désagréables :

- google retire le service (c'est arrivé souvent à de nombreux services proposés par google): celà aurait à peu près le même effet qu'un incendie dans votre laboratoire (pendant l'absence du personnel). Plus de données, plus de machines, plus de codes qui tournent, on repart à zéro. Les clauses d'utilisation permettent tout à fait à Google d'arrêter leur service unilatéralement :

7.4 Termination for Convenience. Customer may stop using the Services at any time with or without notice. Customer may terminate this Agreement for its convenience at any time on prior written notice and upon termination, must cease use of the applicable Services. Google may terminate this Agreement for its convenience at any time without liability to Customer.

- google rend le service payant ou le vend à un autre industriel (c'est déjà arrivé aussi): vous devez donc payer cher pour continuer à l'utiliser, ou tout redévelopper chez vous.

- google modifie ses bibliothèques : vos chaînes ne donnent plus les mêmes résultats et vous devez en refaire toute la validation.

Alternatives ?

Ceci dit, le succès de la plate-forme montre qu'elle correspond à un besoin. C'est vrai qu'il est parfois plus long de télécharger la donnée que de la traiter et qu'un traitement à proximité des données permettrait de gagner beaucoup de temps. Mais il nous faudrait des plate-formes basées sur l'utilisation de logiciels open source, que l'on pourrait aussi faire tourner sur ses propres machines. Il est vrai qu'à part GEE, nous sommes plutôt démunis en Europe, à ma connaissance, malgré l'existence de nombreux démonstrateurs publics et moins ambitieux(PEPS, TEP, MEP), ou semi privés, mais largement financés par le public (Helix Nebula, SparkInData...). Pour ma part, je ne vois qu'un organisme public, ou une fédération d'organismes publics qui permettraient de monter une plate-forme libre du niveau de celle de Google, mais cette opinion, que certains qualifieront de passéiste et rétrograde, et qui manque certainement d'imagination, n'engage que moi.

Ceci dit, il y a les exemples pas tout à fait passéistes et rétrogrades du datacube australien, ou de la plate-forme NEX de la NASA.

Mon inventaire des plate-formes disponibles présente probablement des lacunes, n'hésitez pas à nous les signaler en laissant des commentaires..

 

THEIA distribue aussi les données LANDSAT8 L2A sur les régions d'outre mer.


Depuis deux ans déjà, le centre de données THEIA distribue des produits de niveau 2A issus des données LANDSAT 8 acquises au dessus de la France (métropole et Corse), mais il manquait encore les territoires et régions d'outre mer. Ce manque vient d'être comblé, le retard a été rattrapé, et depuis hier, sur toute la France y compris l'outre mer, 3 ans de données sont disponibles,du 15 avril 2013 au 15 avril 2016. Comme pour la métropole, les données peuvent être téléchargées gratuitement sur le serveur de distribution THEIA :

http://theia.cnes.fr/

 

Les données de niveau 2A sont ortho-rectifiées, exprimées en réflectance, et corrigées des effets atmosphériques. Elles disposent aussi d'un bon masque de nuages et d'ombres de nuages. Celui-ci est cependant mis à rude épreuve sur ces territoires, du fait de la très importante couverture  nuageuse qu'on observe sur tous la plupart des sites que nous avons rajoutés.

Les données sont traitées au CNES, dans le centre MUSCATE prototype, et avec le prototype de la chaîne MACCS, développé au CESBIO : http://www.cesbio.ups-tlse.fr/multitemp/?p=6050

Le format des données est décrit ici  : http://www.cesbio.ups-tlse.fr/multitemp/?page_id=3916

D'autres informations sont disponibles ici : http://www.cesbio.ups-tlse.fr/multitemp/?page_id=3487

 

Vous disposez donc de trois ans de données, depuis le 15 avril 2013. Les données récentes sont ajoutées au fur et à mesure, par lots de 15 jours, avec en général un retard de 15 jours à un mois. N'hésitez pas à faire circuler l'information si vous connaissez des personnes intéressés, pour ma part, je ne connais pas encore beaucoup d'utilisateurs dans tous ces territoires.

Voici par exemple la dernière donnée acquise sur la Réunion :
https://theia.cnes.fr/rocket/#/collections/Landsat/e19f3670-44ac-5639-a32f-75881cfddca2

La dernière sur Mayotte
https://theia.cnes.fr/rocket/#/collections/Landsat/ecbd2946-acaf-50a7-8770-f24991f186d6

Saint Pierre et Miquelon
https://theia.cnes.fr/rocket/#/collections/Landsat/0a302ab8-fd9b-5e40-9f05-975054f3439e

Guadeloupe
https://theia.cnes.fr/rocket/#/collections/Landsat/89eaa20a-4151-5d2f-a431-3c84720519fa

Martinique
https://theia.cnes.fr/rocket/#/collections/Landsat/0f4ff8b1-da3e-5fd7-bab5-96b2c0b4a6bc

Tahiti
https://theia.cnes.fr/rocket/#/collections/Landsat/39e58a58-320f-5c06-a370-810e4bf1fb68

Nouvelle Calédonie
https://theia.cnes.fr/rocket/#/collections/Landsat/14ec60b8-4775-57a6-9ec0-419aaa582337

Guyane
https://theia.cnes.fr/rocket/#/collections/Landsat/1dc79ed5-edad-5df6-b733-5a2ec605caba

 

L'illustration ci dessous montre les différentes étapes de la correction, en haut à gauche, l'image sans correction atmosphérique, à droite deux étapes de la correction, en bas à gauche, la quantité d'aérosols retrouvée et les masques d'eau et de nuages.

3 years of Landsat L2A data above France available at THEIA

The MUSCATE processing centre at CNES, which belongs to French THEIA land data centre, produces and distributes all the Landsat 8 data acquired above France at Level 2A. Level 2A products contain surface reflectances after atmospheric correction, and a very good cloud mask.  LANDSAT 8 first routine data had been acquired on April 13th 2013, and THEIA released the data acquired from the first fortnight of April 2015, a few days ago. Three full years of data are therefore now available, and even 6 years if we account for the LANDSAT 5 and 7 data acquired from 2009 to 2011. And very soon, we will start delivering data above the French oversea regions and communities


The atmospheric correction and the cloud detection are processed using the MACCS processor, developped at CESBIO. You have probably already seen several examples of cloud masks in this blog. Regarding atmospheric correction, Camille Desjardins, from CNES, did a validation of the Aerosol optical thicknesses (AOT) over all the Aeronet sites in France, over the 3 last years.   The results are summarized in the plot on the right. For the non-specialists, it is a very good resuls, similar to the state of the art. And as the estimates of AOT condition the quality of atmospheric correction, you may be confident on its quality

 

The diversity of the users of this product shows that they can be used for a large diversitu of themes and applications. Here is a good example of whan can be done automatically with this data set (here all the data from 2014). Please click on the image for more details.

 

This land cover map, still in validation, was created by the iota2 software, whose development is led by Jordi Inglada at CESBIO.  For more details, see Jordi's presentaion at the Living Planet Symposium.

 

The LANDSAT 8  L2A products have been used by 127 different users so far since July last year, when the new distribution server was put on line.  And before that, 98 other users were already using the previous version, probably some users belong to both lists, but I did not count them.

Number of downloaded products since July 2015 13074
Number of users 127

 

As already observed with SPOT (Take5), few users tell us what they do with the data, which indeed is a good sign, because in case of an issue, we receive questions very quickly. But if you are one of the users, please let you know about how you use the data and the results you get. Your results would even be welcome on this blog !

3 ans de données LANDSAT8 N2A sur la France mises à disposition par Theia

=>

Le centre de traitement prototype MUSCATE du CNES, pour le compte de THEIA, continue à produire au niveau 2A et a distribuer les données LANDSAT 8 acquises au dessus de la France. Les produits de niveau 2A fournissent des réflectances de surface, après correction des effets atmosphériques, accompagnées d'un très bon masque de nuages.  Les premières données de Landsat 8 avaient été acquises le 13 avril 2013, et THEIA vient juste de distribuer les données jusqu'au 15 avril 2016. THEIA met donc à disposition 3 ans de données LANDSAT 8, auxquelles s'ajoutent 3 ans de données LANDSAT 5 et 7 acquises entre 2009 et 2011. Enfin, nous allons bientôt mettre à disposition les données sur les régions et communautés d'outre mer, acquises depuis les débuts de LANDSAT 8.

 

La correction atmosphérique et la détection des nuages sont faites avec la chaîne MACCS développée au CESBIO. Camille Desjardins, du CNES (Service Physique de la Mesure Optique) a fait une validation des épaisseurs optiques des aérosols sur tous les sites disponibles en France et sur 3 ans. Les résultats sont résumés dans la courbe ci-dessous. Pour les non spécialistes, c'est un excellent résultat, largement au niveau de l'état de l'art, et comme la détermination de l'épaisseur optique des aérosols conditionne fortement la qualité de la correction atmosphérique, on peut être rassuré sur celle-ci.

 

La diversité des utilisateurs de ces données montre qu'elles peuvent être appliquées à de nombreuses thématiques. Voici un exemple de ce qu'il est possible de faire automatiquement avec ces données (ici, celles de 2014). N'hesitez pas à cliquer sur la carte pour plus de détails.

Cette carte d'occupation des sols, encore à l'état préliminaire, a été générée par la chaîne iota2 dont le développement est coordonné par Jordi Inglada au CESBIO. Cette chaîne a récemment été présentée au Living Planet Symposium.

 

Les produits LANDSAT8 distribués par THEIA ont été téléchargés par 127 utilisateurs différents depuis juillet 2015 et la mise en place du nouveau serveur de distribution. Auparavant, nous avions déjà eu 98 utilisateurs, mais je n'ai pas fait l'exercice de savoir s'il s'agit des mêmes personnes.

Nombre de produits téléchargés depuis juillet 2015 13074
Nombre d'utilisateurs depuis juillet 2015 127

Comme d'habitude, nous avons peu de retours sur l’utilisation de ces données, ce qui est bon signe, car en cas de problème, les questions arrivent vite : si vous êtes un des utilisateurs, nous serions très intéressés d'avoir votre avis sur ces données et éventuellement de voir vos résultats. Nous pouvons même les afficher sur ce blog.

The snow cover area of the Canigou mountain in January since 1985

=>

Franck Roux told this sentence in his lecture "Should we be afraid of climate change?" given at the University Paul Sabatier on December 10, 2015 (I quote from memory):
 

"The human being is a very good weather sensor, but it is a poor climate sensor."

 

Since our memory can play tricks on us, satellite images are valuable data. As we have seen in a previous article, the snow cover area in the Pyrenees was rather small in January 2016. We can reconstruct the snow extent across the whole mountain range since 2000 with MODIS or even 1998 with SPOT-VGT. However if you want to zoom in on a specific region, the spatial resolution offered by these sensors quickly becomes insufficient so we must turn to the Landsat archive. Continue reading

Enneigement du Canigou en janvier depuis 1985

=>

Franck Roux a prononcé cette phrase lors de sa conférence "Faut-il avoir peur du changement climatique" donnée à l'Université Paul Sabatier le 10 décembre 2015 (je cite de tête) :
 

"L'être humain est un très bon capteur météorologique, mais il est un piètre capteur climatologique."

 

Puisque notre mémoire peut nous jouer des tours, les archives satellites sont précieuses. Comme nous l'avons vu dans un article précédent, l'enneigement en janvier 2016 était plutôt déficitaire dans les Pyrénées. On peut reconstituer l'enneigement à l'échelle des Pyrénées depuis l'an 2000 avec MODIS voire 1998 avec SPOT-VGT. En revanche si on veut zoomer sur un massif en particulier, la résolution spatiale offerte par ces capteurs devient vite insuffisante et il faut se tourner vers l'archive Landsat. Continuer à lire

SPOT (Take5) and Theia products can now be downloaded without a click

=>

Since THEIA new Single Sign On authentication went on-line, last summer, it was not possible anymore to use a program to automatically download the products from the Take5 and Theia servers. But after insisting a little bit ( I have good insistance skills ), and with the arrival of a new version, Jerôme Gasperi invented a clever solution, easy and acceptable by CNES security.

 

Thanks to a few examples provided by Jerôme, I coded two little routines to allow you to search and download your products without any click. To use them, you will need an account and password delivered by Theia or Take5 servers, a linux system, python 2.7, the curl utility, and my little codes.

 


Take5 download tool is here and it comes with a couple of examples. To specify a location, you have to know the site same. If you do not know the exact name, you can find it here or here

python take5_download.py -s 'ToulouseFrance' -a auth_theia.txt -c SPOT5

python take5_download.py -s 'ToulouseFrance' -a auth_theia.txt -c SPOT5 -d 2015-04-01 -f 2015-05-01 -l LEVEL2A

 

Theia download tool is here. It allows to access the L2A LANDSAT data over France, and the SpotWorldHeritage L1C products. It may be used in many ways. For instance, the region to download can be specified by a town name (beware of homonyms), by the lat, lon coordinates, or by a latitude, longitude rectangle.

python theia_download.py -l 'Toulouse' -a auth_theia.txt -d 2015-11-01 -f 2015-12-01

python theia_download.py --lon 1 --lat 43.5 -a auth_theia.txt -d 2015-11-01 -f 2015-12-01

python theia_download.py --lonmin 1 --lonmax 2 --latmin 43 --latmax 44 -a auth_theia.txt -d 2015-11-01 -f 2015-12-01

python theia_download.py -l 'Toulouse' -a auth_theia.txt -c SpotWorldHeritage -p SPOT4 -d 2005-11-01 -f 2006-12-01

 

All these examples are explained on the github server. And you may even enhance the codes and allow any one to benefit from your enhancements.