[Nouvelles de MUSCATE] Un été très productif

=>

Mise à jour le 4 octobre 2018

Cet été, alors que la plupart d'entre nous prenions des coups de soleil sur la plage, nous faisions dévorer par des moustiques, attrapions des courbatures en rando, ou faisions de longues siestes pour nous remettre de nuits fatigantes, les équipes de production et de distribution de MUSCATE ont eu la chance de bénéficier d'une climatisation efficace, de fauteuils confortables, d'ordinateur rapides et de l'accès à la meilleure cantine du monde au CNES. Il n'est donc pas surprenant que la production ait fait de gros progrès, mais nous pouvons néanmoins leur adresser un grand merci, car les résultats sont impressionnants.

 

Amélioration des performances de production

Theia's L2A counter reached 100 000 images on August 12th

 

Tout d'abord, l'anomalie qui avait perturbé la production à la fin du printemps a été résolue. C'était un problème de capacité de mémoire sur la machine qui héberge le catalogue interne de MUSCATE. Petit à petit, la besoin de mémoire dépassait le volume prévu, et les performances se dégradaient avant que le système ne plante, quasiment tous les jours. Il a suffi de quelques ajustement et d'un doublement de la mémoire pour que le problème disparaisse.

Ainsi, depuis début juillet, MUSCATE n'a plus connu que deux courtes interruptions dues à une phase de maintenance du centre informatique du CNES. Comme on peut le voir sur la figure qui suit,  la courbe orange, qui moyenne la production sur un mois n'a jamais été aussi haute, depuis le démarrage de la production.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

MUSCATE respecte maintenant sa spécification de traiter 80% des produits ed niveau 2A en moins de 2.5 jours, après leur fourniture par PEPS. En fait, nous produisons même 78% en moins d'un jour, et les données retardées sont principalement dues à la phase de maintenance du centre de calcul.

78% of the products available in PEPS are processed by Theia within 1 day, 90% within 3 days.

 

Mais pour l'utilisateur, la statistique importante est le délais entre l'acquisition de la donnée et sa diffusion au niveau 2A par MUSCATE. Il y a 3 étapes qui y contribuent: le délai de distribution du produit L1C par l'ESA, le délai de mise à disposition par PEPS, et le délai rajouté par MUSCATE. Comme on le voit ci dessous, le délai le plus long est celui apporté par PEPS, qui doit télécharger la totalité des données Sentinel 1 à 3, depuis l'ESA.

Délai entre acquisition et distribution par ESA au niveau L1C Délai entre acquisition et distribution par PEPS au niveau L1C Délai entre acquisition et distribution par THEIA au niveau L21

 

En conclusion, MUSCATE produit maintenant quasiment 80% de produits de niveau 2A en moins d'un jour au niveau 2A. En cumulant toutes les étapes de production à partir de l'acquisition, il faut 6 jours pour atteindre 80% des données (avec moins de 90% de nages).  Cela devrait être suffisant pour un grand nombre d'applications. Mais comme nous espérons pouvoir faire quelques progrès, nous vous tiendrons au courant.

 

 

Traitement d'anciennes données

Deux campagnes de traitementd e données anciennes se sont poursuivies cet été :

- Premières images Sentinel-2B :

nous avions démarré le traitement des données de SENTINEL-2B en temps réel en Octobre 2017,mais celles-ci avaient commencé à être produites dès Juillet 2017. Le traitement de ces données, et le retraitement des données de Sentinel-2A de Juillet à Novembre est maintenant terminé, pour tous nos sites.

- Premières images Sentinel-2A

Alors que pour la plupart de nos sites, la date de début de production est décembre 2015, un petit nombre d'entre eux n'avaient été traités qu'à partir de Décembre 2016. Nous avons maintenant quasiment fini de combler ce manque pour les sites suivants  :

  • Bengladesh

    Lac Issyk Kul (Kirghizistan) observé par Sentinel-2A en June 2016. La série temporelle de niveaux 2A est disponible, de Décembre 2015 à la semaine dernière.

  • Canada
  • Kirghizistan
  • Venezuela
  • Brésil, Mato Grosso
  • Nord du Maroc
  • Nord de l'Algérie
  • Lac Tchad

Le  traitement des anciennes données des sites ci-dessous, qui ont été introduits fin 2017 ou début 2018 est maintenant en cours, et devrait se terminer  dans quelques jours:

  • Région du Telangana en Inde
  • Liban

 

Démarrage de la production de synthèses mensuelles sans nuages

Nous avons commencé à distribuer nos premières synthèses mensuelles sans nuages, à partir du mois d'Avril 2018.  Tout est expliqué dans cet article. Nous étendrons la production aux autres zones, fin 2018 ou début 2019.

Démarrage de la production de Niveau 2A pour Landsat 8 sur la France

Vous l'avez peut-être lu quelque part, il est possible d'appliquer MAJA aux données de LANDSAT 8. Nous avons d'ailleurs commencé à distribuer ces données avec un prototype de MUSCATE, avant de lancer la production opérationnelle pour Sentinel-2.  Nous avons alors abandonné LANDSAT 8 pour nous consacrer à Sentinel-2. Maintenant que nous avons résolu nos problèmes, nous allons relancer  cette production dès la semaine prochaine, sur la France et les ROM-COM. Ce qui devrait vous plaire, c'est que les données seront échantillonnées sur la grille de Sentinel-2, pour pouvoir utiliser les deux jeux facilement.  C'est donc avec joie que vous retrouverez les tuiles T31TCJ ou T30UWU ! La production a démarré avec les données acquises en Mars 2017, et devrait rejoindre le temps réel d'ici une à deux semaines.

 

Par ailleurs, nous avons commencé à rapatrier les données LANDSAT5, 7, et 8 produites depuis 2009 avec le prototype de MUSCATE. Cependant, les données sont en prohection Lambert 93 et découpées sur une autre grille que Sentinel-2, avec un format différent. Nous retraiterons les données Landsat 8 acquises depuis début avril 2013 dès que possible.

Production à la demande de données MAJA sur PEPS

Une dernière nouveauté, même si elle ne concerne pas directement Theia, mais PEPS. PEPS propose maintenant des traitements à la demande de données Sentinel avec MAJA.

 

En résumé, un grand merci aux équipes de développement et de production de MUSCATE ! (même à ceux et celles qui ont pris des congés)

 

Posted under: Composite (3A), Corrections (geometry, atmosphere, clouds), En Français, Landsat, PEPS, Sentinel-2, THEIA

Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>