New version of PEPS (French Sentinel mirror site)

As you probably know, PEPS is the French Collaborative ground segment for Copernicus Sentinel program. And, first of all, it is a mirror site that distributes all the Sentinel data in near real time. These last weeks, real time was not available for Sentinel-2, as the data format and structure of Sentinel-2 products had deeply changed, and the software needed adaptation. PEPS team created a new collection, named "Sentinel-2 Single Tiles", coded "S2ST" to separate the old format from the new one. Now that the new version has been installed and validated, the PEPS mirror site is once again up to date.

Continue reading

Réfléchissez deux fois avant d'utiliser Google Earth Engine

=> L'une des tendances que l'on pouvait observer au Living Planet Symposium 2016, est l'utilisation croissante de Google Earth Engine. Pour ceux qui ne connaissent pas encore, Google met à disposition des utilisateurs de données de télédétection une plate-forme avec grosse puissance de calcul, bibliothèques et l'accès aux  données ouvertes, dont celles de LANDSAT et des Sentinel,  gratuitement tant qu'on ne dépasse pas certaines limites de stockage de données.  Google en retire une connaissance  des besoins des utilisateurs et des traitements et applications qu'ils développent, et améliore son image de marque (du "green washing")

Problèmes

Je vais répéter ici ce qu'à dit Jordi au Living Planet Symposium et ce qu'il a également expliqué dans son blog : l'utilisation de cette plate-forme est risquée et dangereuse.

Si vous travaillez sur GEE, sachez que :

  • vous n'avez pas les données
  • vous n'avez pas les machines
  • vous n'avez pas les codes

Les travaux que vous développeriez sur cette plate-forme ne pourraient donc pas être répétés ailleurs. Non seulement vous fourniriez donc un tas d'informations à Google, mais en plus, vous ne pouvez plus quitter GEE sans devoir reprendre vos travaux à zéro.

Mauvais scénarios

Voici quelques scénarios tout à fait plausibles mais non moins désagréables :

- google retire le service (c'est arrivé souvent à de nombreux services proposés par google): celà aurait à peu près le même effet qu'un incendie dans votre laboratoire (pendant l'absence du personnel). Plus de données, plus de machines, plus de codes qui tournent, on repart à zéro. Les clauses d'utilisation permettent tout à fait à Google d'arrêter leur service unilatéralement :

7.4 Termination for Convenience. Customer may stop using the Services at any time with or without notice. Customer may terminate this Agreement for its convenience at any time on prior written notice and upon termination, must cease use of the applicable Services. Google may terminate this Agreement for its convenience at any time without liability to Customer.

- google rend le service payant ou le vend à un autre industriel (c'est déjà arrivé aussi): vous devez donc payer cher pour continuer à l'utiliser, ou tout redévelopper chez vous.

- google modifie ses bibliothèques : vos chaînes ne donnent plus les mêmes résultats et vous devez en refaire toute la validation.

Alternatives ?

Ceci dit, le succès de la plate-forme montre qu'elle correspond à un besoin. C'est vrai qu'il est parfois plus long de télécharger la donnée que de la traiter et qu'un traitement à proximité des données permettrait de gagner beaucoup de temps. Mais il nous faudrait des plate-formes basées sur l'utilisation de logiciels open source, que l'on pourrait aussi faire tourner sur ses propres machines. Il est vrai qu'à part GEE, nous sommes plutôt démunis en Europe, à ma connaissance, malgré l'existence de nombreux démonstrateurs publics et moins ambitieux(PEPS, TEP, MEP), ou semi privés, mais largement financés par le public (Helix Nebula, SparkInData...). Pour ma part, je ne vois qu'un organisme public, ou une fédération d'organismes publics qui permettraient de monter une plate-forme libre du niveau de celle de Google, mais cette opinion, que certains qualifieront de passéiste et rétrograde, et qui manque certainement d'imagination, n'engage que moi.

Ceci dit, il y a les exemples pas tout à fait passéistes et rétrogrades du datacube australien, ou de la plate-forme NEX de la NASA.

Mon inventaire des plate-formes disponibles présente probablement des lacunes, n'hésitez pas à nous les signaler en laissant des commentaires..

 

How to automatically download Sentinel data from PEPS collaborative ground segment

=>

peps_download

This is a simple piece of code to automatically download the products provided by the French Sentinel collaborative ground segment named PEPS : https://peps.cnes.fr. PEPS is mirroring all the Sentinel data provided by ESA, and is providing a simplified access.

This code was written thanks to the precious help of one my colleagues at CNES Jérôme Gasperi who developed the "rocket" interface which is used by Peps.

This code relies on python 2.7 and on the curl utility. Because of that, I guess it only works with linux.

The tool is available on my github repository : https://github.com/olivierhagolle/peps_download

Examples

This software is still quite basic, but if you have an account at PEPS, you may download products using command lines like

  • python ./peps_download.py -c S2 -l 'Toulouse' -a peps.txt -d 2015-11-01 -f 2015-12-01 which downloads the Sentinel-2 products above Toulouse, acquired in November 2015.
  • python ./peps_download.py -c S2 --lon 1 --lat 43.5 -a peps.txt -d 2015-11-01 -f 2015-12-01 which downloads the Sentinel-2 products above --lon 1 --lat 43.5 (~Toulouse), acquired in November 2015.
  • python ./peps_download.py -c S1 --lonmin 1 --lonmax 2 --latmin 43 --latmax 44 -a peps.txt -d 2015-11-01 -f 2015-12-01 which downloads the Sentinel-1 products in latitude, longitude box around Toulouse, acquired in November 2015.

Authentification

The file peps.txt must contain your email address and your password on the same line, such as follows :your.email@address.fr top_secret

To get an account : https://peps.cnes.fr/rocket/#/register

 

Télécharger sans clics les données Sentinel depuis PEPS

=>

peps_download

C'est une petite routine pour télécharger automatiquement les données fournies par PEPS, le segment sol collaboratif Français pour les projets Sentinel: https://peps.cnes.fr. PEPS redistribue en miroir tous les produits Sentinel fournies par Scihub.

 

Ce code a été écrit grâce à l'aide d'un de mes collègues du CNES,  Jérôme Gasperi qui a développé l'interface Rocket qui permet de distribuer les données PEPS. Il est écrit en python 2.7 et se base sur l'utilitaire CURL Pour cette raison, il ne fonctionne que sous linux, je pense.


L'outil est disponible sur mon dépôt Github : https://github.com/olivierhagolle/peps_download

Exemples

La routine est assez basique, mais si vous avez un compte sur PEPS, vous pouvez télécharger des données avec des lignes de commande du genre :

  • python ./peps_download.py -c S2 -l 'Toulouse' -a peps.txt -d 2015-11-01 -f 2015-12-01qui télécharge les données Sentinel-2 acquises sur Toulouse, en Novembre 2015.
  • python ./peps_download.py -c S2 --lon 1 --lat 43.5 -a peps.txt -d 2015-11-01 -f 2015-12-01qui télécharge les données Sentinel-2 acquises aux coordonnées --lon 1 --lat 43.5 (~Toulouse), en Novembre 2015.
  • python ./peps_download.py -c S1 --lonmin 1 --lonmax 2 --latmin 43 --latmax 44 -a peps.txt -d 2015-11-01 -f 2015-12-01qui télécharge les données Sentinel-1 qui intersectent un rectangle en latitude, longitude autour de Toulouse, en November 2015.

Authentification

le fichier peps.txt doit contenir votre adresse email et votre mot de passe, comme ceci :

your.email@address.fr top_secret

Pour obtenir un compte : https://peps.cnes.fr/rocket/#/register