New version of PEPS (French Sentinel mirror site)

As you probably know, PEPS is the French Collaborative ground segment for Copernicus Sentinel program. And, first of all, it is a mirror site that distributes all the Sentinel data in near real time. These last weeks, real time was not available for Sentinel-2, as the data format and structure of Sentinel-2 products had deeply changed, and the software needed adaptation. PEPS team created a new collection, named "Sentinel-2 Single Tiles", coded "S2ST" to separate the old format from the new one. Now that the new version has been installed and validated, the PEPS mirror site is once again up to date.

Continue reading

(Enfin !) Téléchargement par script des produits de niveau 2A de Sentinel-2 de Theia

=>

La production des données de niveau 2A de Sentinel-2 se poursuit au CNES, mais un peu moins vite que prévu pour le moment.  Nous avons connu un jour faste pendant lequel 600 tuiles ont été produites, mais le rythme de production a souvent été plus lent : nous avons  résolu progressivement de petites anomalies et en même temps, le centre informatique du CNES sur lequel nous nous appuyons a connu de petits soucis.

 

Pendant ce temps, mes collègues de l'équipe MUSCATE, et notamment Dominique Clesse et Remi Mourembles de CAP GEMINI, on ajouté au site de distribution la possibilité de télécharger les données par script, sans un clic.

 

Le script est très facile à utiliser, par exemple, la ligne ci-dessous télécharge les données Sentinel-2 de la tuile 31TCJ (Toulouse), acquises en Septembre 2016 :

python ./theia_download.py -t 'T31TCJ' -c SENTINEL2 -a config_theia.cfg -d 2016-09-01 -f 2016-10-01

Continue reading

(At last !) Automated download of Sentinel-2A Level 2A products from Theia

=>

The production of Sentinel-2 L2A data is on-going at CNES THEIA, but it is still a little slower than expected. We had one fast day on which the exploitation team managed to process 600 tiles, but the production has often been slower as we needed to solve a few glitches, and as the whole CNES processing center had also its own issues.

 

Meanwhile, my colleagues at CNES MUSCATE Center, with the precious help of Dominique Clesse (CAP GEMINI) and Remi Mourembles (CAP GEMINI), have implemented the possibility to download the images via a script and no click. By the way, the shop cart, which did not work when we ordered more than 10 products has also been repaired.

 

The script is very easy to use, for instance, the following line downloads the SENTINEL-2 products above tile T31TCJ (Toulouse), acquired in September 2016 :

python ./theia_download.py -t 'T31TCJ' -c SENTINEL2 -a config_theia.cfg -d 2016-09-01 -f 2016-10-01

Continue reading

The iota2 Land cover processor has processed some Sentinel-2 data

=> 

You already heard about iota2 processor, and you must know that it can process LANDSAT 8 time series et deliver land cover maps for whole countries. These las days, Arthur Vincent completed the code that allows processing Sentinel-2 time series. Even if atmospherically corrected Sentinel-2 data are not yet available above the whole France, we used  the demonstration products delivered by Theia to test our processor.

 

Everything seems to work fine, and the 10 m resolution of Sentinel-2 seems to allow seeing much more details. The joined images show two extracts near Avignon, in Provence, which show the differences between Landsat 8 and Sentinel-2. Please just look only at the detail level, and not at the differences in terms of classes. Both maps were produces using different time periods, and a period limited to winter and beginning of spring for Sentinel-2, and the learning database is also different. Please don,'t draw conclusions too fast about the thematic quality of the maps.

 

First extract shows a natural vegetation zone, with some farmland (top LANDSAT8, bottom Sentinel-2)

coudoux.png

Continue reading

On Google Earth Engine, beware of the Mrs-Armitage-on-Wheels Syndrom

=> 

A few colleagues replied to our campaign to explain some of the dangers of Google Earth Engine. They said :

"well, after all you are probably right, but don't worry, we only use it to do quick and dirty stuff, not real scientific work"

 

As most (...) of these colleagues are quite sensible, I am not worrying too much. But as far as I am concerned, I would have some chances to be a victim of Mrs-Armitage-on-wheels Syndrom (AWS). I guess I do not need to explain it to our british colleagues who consult this blog, this syndrom originates form the great children book from Quentin Blake, that I used to read to my children, some time ago (every night for the two first weeks, then once in a while...) : Mrs Armitage on wheels. Another daddy reads it for you here.

Continue reading

Sur Google Earth Engine, attention au syndrome de Mrs-Armitage-on-wheels

=>

Quelques collègues ont répondu à nos avertissements sur Google Earth Engine, en nous disant :

Oui, vous avez probablement raison, mais ne vous inquiétez pas, nous n'y faisons que des petits tests vite faits, mal faits, pas du vrai travail scientifique

Ces collègues étant pour la plupart (...) des scientifiques raisonnables, je ne m'inquiète pas trop.  Mais pour ma part, me connaissant, j'aurais un peu peur d'être victime du syndrome de Mrs-Armitage-on-wheels. Le nom de ce syndrome vient d'un livre génial de Quentin Blake que je lisais à mes enfants, en VO (tous les soirs pendant 15 jours...): Mrs Armitage on wheels.  Un autre papa vous le lit ici toujours en VO.

(en Français, le titre a été joliment traduit par "Ameline Fourchedrue")

 

Continue reading

Mapping flooded areas using Sentinel-1 in Google Earth Engine

Exceptional rainfall in May caused heavy flooding in the Paris region. Newspapers and TVs reported that the Seine flood forced the Louvre staff to move away from rising waters the art pieces that were stored in their cellar. But they did not tell you that about 50 km east of the Louvre museum, the flood of the Grand Morin river in Coulommiers also inundated the cellar of my parents-in-law. I'm really concerned about this cellar because I care about my parents-in-law of course, and also because I have let some of my bottles of wine in their cellar. Continue reading

Réfléchissez deux fois avant d'utiliser Google Earth Engine

=> L'une des tendances que l'on pouvait observer au Living Planet Symposium 2016, est l'utilisation croissante de Google Earth Engine. Pour ceux qui ne connaissent pas encore, Google met à disposition des utilisateurs de données de télédétection une plate-forme avec grosse puissance de calcul, bibliothèques et l'accès aux  données ouvertes, dont celles de LANDSAT et des Sentinel,  gratuitement tant qu'on ne dépasse pas certaines limites de stockage de données.  Google en retire une connaissance  des besoins des utilisateurs et des traitements et applications qu'ils développent, et améliore son image de marque (du "green washing")

Problèmes

Je vais répéter ici ce qu'à dit Jordi au Living Planet Symposium et ce qu'il a également expliqué dans son blog : l'utilisation de cette plate-forme est risquée et dangereuse.

Si vous travaillez sur GEE, sachez que :

  • vous n'avez pas les données
  • vous n'avez pas les machines
  • vous n'avez pas les codes

Les travaux que vous développeriez sur cette plate-forme ne pourraient donc pas être répétés ailleurs. Non seulement vous fourniriez donc un tas d'informations à Google, mais en plus, vous ne pouvez plus quitter GEE sans devoir reprendre vos travaux à zéro.

Mauvais scénarios

Voici quelques scénarios tout à fait plausibles mais non moins désagréables :

- google retire le service (c'est arrivé souvent à de nombreux services proposés par google): celà aurait à peu près le même effet qu'un incendie dans votre laboratoire (pendant l'absence du personnel). Plus de données, plus de machines, plus de codes qui tournent, on repart à zéro. Les clauses d'utilisation permettent tout à fait à Google d'arrêter leur service unilatéralement :

7.4 Termination for Convenience. Customer may stop using the Services at any time with or without notice. Customer may terminate this Agreement for its convenience at any time on prior written notice and upon termination, must cease use of the applicable Services. Google may terminate this Agreement for its convenience at any time without liability to Customer.

- google rend le service payant ou le vend à un autre industriel (c'est déjà arrivé aussi): vous devez donc payer cher pour continuer à l'utiliser, ou tout redévelopper chez vous.

- google modifie ses bibliothèques : vos chaînes ne donnent plus les mêmes résultats et vous devez en refaire toute la validation.

Alternatives ?

Ceci dit, le succès de la plate-forme montre qu'elle correspond à un besoin. C'est vrai qu'il est parfois plus long de télécharger la donnée que de la traiter et qu'un traitement à proximité des données permettrait de gagner beaucoup de temps. Mais il nous faudrait des plate-formes basées sur l'utilisation de logiciels open source, que l'on pourrait aussi faire tourner sur ses propres machines. Il est vrai qu'à part GEE, nous sommes plutôt démunis en Europe, à ma connaissance, malgré l'existence de nombreux démonstrateurs publics et moins ambitieux(PEPS, TEP, MEP), ou semi privés, mais largement financés par le public (Helix Nebula, SparkInData...). Pour ma part, je ne vois qu'un organisme public, ou une fédération d'organismes publics qui permettraient de monter une plate-forme libre du niveau de celle de Google, mais cette opinion, que certains qualifieront de passéiste et rétrograde, et qui manque certainement d'imagination, n'engage que moi.

Ceci dit, il y a les exemples pas tout à fait passéistes et rétrogrades du datacube australien, ou de la plate-forme NEX de la NASA.

Mon inventaire des plate-formes disponibles présente probablement des lacunes, n'hésitez pas à nous les signaler en laissant des commentaires..

 

Download only the S2A tiles you need from Scihub

J'ai adapté mon outil de téléchargement de données Sentinel-2, pour que l'on puisse ne télécharger qu'une tuile à la fois, au lieu de télécharger toutes les tuiles du produit. Ce n'était pas simple, parce qu'il faut récupérer les données fichier par fichier et répertoire par répertoire. mais ça a l'air de fonctionner. Voici un exemple pour télécharger systématiquement la tuile de Toulouse.

python Sentinel_download.py --lat 43.6 --lon 1.44 -a apihub.txt -o 51 -t 31TCJ

Pour plus de précisions et d'exemples, consulter le "Readme".

 

I just enhanced my little Sentinel-2 download tool , so that it allows to download only one tile per product, instead of downloading the whole product. It was not easy, because one needs to download all the folders and all the files one by one, but it looks like it is working. Here is an example on how to download the tile containing Toulouse.

python Sentinel_download.py --lat 43.6 --lon 1.44 -a apihub.txt -o 51 -t 31TCJ

For more details and examples, please read the Readme file.

How to automatically download Sentinel data from PEPS collaborative ground segment

=>

peps_download

This is a simple piece of code to automatically download the products provided by the French Sentinel collaborative ground segment named PEPS : https://peps.cnes.fr. PEPS is mirroring all the Sentinel data provided by ESA, and is providing a simplified access.

This code was written thanks to the precious help of one my colleagues at CNES Jérôme Gasperi who developed the "rocket" interface which is used by Peps.

This code relies on python 2.7 and on the curl utility. Because of that, I guess it only works with linux.

The tool is available on my github repository : https://github.com/olivierhagolle/peps_download

Examples

This software is still quite basic, but if you have an account at PEPS, you may download products using command lines like

  • python ./peps_download.py -c S2 -l 'Toulouse' -a peps.txt -d 2015-11-01 -f 2015-12-01 which downloads the Sentinel-2 products above Toulouse, acquired in November 2015.
  • python ./peps_download.py -c S2 --lon 1 --lat 43.5 -a peps.txt -d 2015-11-01 -f 2015-12-01 which downloads the Sentinel-2 products above --lon 1 --lat 43.5 (~Toulouse), acquired in November 2015.
  • python ./peps_download.py -c S1 --lonmin 1 --lonmax 2 --latmin 43 --latmax 44 -a peps.txt -d 2015-11-01 -f 2015-12-01 which downloads the Sentinel-1 products in latitude, longitude box around Toulouse, acquired in November 2015.

Authentification

The file peps.txt must contain your email address and your password on the same line, such as follows :your.email@address.fr top_secret

To get an account : https://peps.cnes.fr/rocket/#/register