Réfléchissez deux fois avant d'utiliser Google Earth Engine

=> L'une des tendances que l'on pouvait observer au Living Planet Symposium 2016, est l'utilisation croissante de Google Earth Engine. Pour ceux qui ne connaissent pas encore, Google met à disposition des utilisateurs de données de télédétection une plate-forme avec grosse puissance de calcul, bibliothèques et l'accès aux  données ouvertes, dont celles de LANDSAT et des Sentinel,  gratuitement tant qu'on ne dépasse pas certaines limites de stockage de données.  Google en retire une connaissance  des besoins des utilisateurs et des traitements et applications qu'ils développent, et améliore son image de marque (du "green washing")

Problèmes

Je vais répéter ici ce qu'à dit Jordi au Living Planet Symposium et ce qu'il a également expliqué dans son blog : l'utilisation de cette plate-forme est risquée et dangereuse.

Si vous travaillez sur GEE, sachez que :

  • vous n'avez pas les données
  • vous n'avez pas les machines
  • vous n'avez pas les codes

Les travaux que vous développeriez sur cette plate-forme ne pourraient donc pas être répétés ailleurs. Non seulement vous fourniriez donc un tas d'informations à Google, mais en plus, vous ne pouvez plus quitter GEE sans devoir reprendre vos travaux à zéro.

Mauvais scénarios

Voici quelques scénarios tout à fait plausibles mais non moins désagréables :

- google retire le service (c'est arrivé souvent à de nombreux services proposés par google): celà aurait à peu près le même effet qu'un incendie dans votre laboratoire (pendant l'absence du personnel). Plus de données, plus de machines, plus de codes qui tournent, on repart à zéro. Les clauses d'utilisation permettent tout à fait à Google d'arrêter leur service unilatéralement :

7.4 Termination for Convenience. Customer may stop using the Services at any time with or without notice. Customer may terminate this Agreement for its convenience at any time on prior written notice and upon termination, must cease use of the applicable Services. Google may terminate this Agreement for its convenience at any time without liability to Customer.

- google rend le service payant ou le vend à un autre industriel (c'est déjà arrivé aussi): vous devez donc payer cher pour continuer à l'utiliser, ou tout redévelopper chez vous.

- google modifie ses bibliothèques : vos chaînes ne donnent plus les mêmes résultats et vous devez en refaire toute la validation.

Alternatives ?

Ceci dit, le succès de la plate-forme montre qu'elle correspond à un besoin. C'est vrai qu'il est parfois plus long de télécharger la donnée que de la traiter et qu'un traitement à proximité des données permettrait de gagner beaucoup de temps. Mais il nous faudrait des plate-formes basées sur l'utilisation de logiciels open source, que l'on pourrait aussi faire tourner sur ses propres machines. Il est vrai qu'à part GEE, nous sommes plutôt démunis en Europe, à ma connaissance, malgré l'existence de nombreux démonstrateurs publics et moins ambitieux(PEPS, TEP, MEP), ou semi privés, mais largement financés par le public (Helix Nebula, SparkInData...). Pour ma part, je ne vois qu'un organisme public, ou une fédération d'organismes publics qui permettraient de monter une plate-forme libre du niveau de celle de Google, mais cette opinion, que certains qualifieront de passéiste et rétrograde, et qui manque certainement d'imagination, n'engage que moi.

Ceci dit, il y a les exemples pas tout à fait passéistes et rétrogrades du datacube australien, ou de la plate-forme NEX de la NASA.

Mon inventaire des plate-formes disponibles présente probablement des lacunes, n'hésitez pas à nous les signaler en laissant des commentaires..

 

Posted under: Code, En Français, Landsat, Sentinel-1, Sentinel-2

Tagged as:

4 comments

    • Simon Gascoin on 12/06/2016 at 20:47 said:

      Voici le message que j'ai reçu (je m'y attelle..)

      In order to accept your request we would like to know more details about your request.
      Could you please give us an answer to each of the following questions?

      For how much time would you need the Cloudtoolbox (days/months/years) ? (i.e. : For 3 months )
      Could you also give us an estimate of up time of the machine or expected usage? (i.e. : 8h per day)
      With which scope will you use the requested Cloudtoolbox? (i.e. : processing Envisat ASAR data for flooding monitoring, ...)
      Which is your affiliation? (i.e. : National Research Centre, ...)
      How did you know about ESA-RSS CloudToolbox service? (i.e. : through participation at conference, through a colleague ...)

  • Simon Gascoin on 17/06/2016 at 22:23 said:

    ça y est j'ai eu un accès à la CloudToolBox de l'ESA. Il s'agit d'une machine virtuelle Ubuntu à laquelle on accède via un logiciel de partage d'écran ou bien simplement par ssh dans un terminal. La machine mise à ma disposition par l'ESA a 4 CPU, un espace disque de 100 Go et 8 Go de RAM. Elle est équipée des outils ESA (SNAP, S1TBX, BEAM, PolSARpro) d'outils génériques de traitement d'image (python, gdal) et connectée à Internet. Il n'y a aucune données sur la machine, mais la doc indique que les données du portail "VA4" sont accessibles très rapidement (si comme moi vous ignorez tout du jargon ESA allez voir ici http://eo-virtual-archive4.esa.int/). J'ai testé le téléchargement d'un produit ENVISAT et effectivement on atteint 27 Mo/s. Je suppose que cela est vrai pour l'ensemble des données ESA mais je n'ai pas testé le "Sentinel data hub" par exemple.

    C'est donc un outil intéressant qui peut permettre de délocaliser facilement des traitements qui s'appuient sur des données ESA. Malheureusement il semble que l'ESA les distribue au compte-goutte.. Par ailleurs ma machine va expirer dans 15 jours.

Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>