Propositions à Theia de nouvelles zones de traitement Sentinel-2.

La production des données Sentinel-2 au niveau 2A, avec la chaîne MAJA, par le centre MUSCATE de Theia fonctionne bien maintenant, nous disposons donc de quelques marges pour ajouter de nouvelles zones (les zones actuelles sont visibles ici). Les organismes français intéressés par l'ajout de nouvelles zones peuvent d'ailleurs me contacter, il devrait nous rester une petite cinquantaine de tuiles à choisir, compte tenu des demandes déjà reçues.

 

Certains collègues bien informés ont devancé cet appel, et parmi eux, un collègue du CNES Santiago Pena Luque,  qui travaille pour le projet SWOT. Dans le cadre de la préparation du projet, deux grands bassin fluviaux africains ont été choisis pour concentrer les premières expérimentations. Il s'agit des bassins du Niger et du Sénégal. Les applications concerneront le suivi des cours d'eau bien sur, mais aussi de l'occupation des sols et de la dynamique de la végétation. Plusieurs laboratoires y seront impliqués, dont le GET, le CESBIO, le LEGOS, le laboratoir TETIS à la maison de la télédétection.

Avec Santiago, nous sommes arrivés au projet de zone d'étude ci-joint :

 

Zone de traitement Sentinel-2 sur le Sahel bientôt proposée à Theia. En vert les tuiles déjà traitées, en bleu, les tuiles que nous pourrions ajouter.

Il a été établi à partir des contraintes suivantes :
- ne pas dépasser 300 tuiles
- proposer une zone contiguë
- éviter les zones les plus nuageuses, comme les côtes du golfe de Guinée
- couvrir la quasi totalité des bassins du Sénégal et du Niger (à l'exception des zones systématiquement nuageuses ou complètement désertiques)
- compléter éventuellement des zones administratives connexes: nous avons pu par exemple couvrir la totalité du Sénégal, de la Gambie, du Burkina Fasso, tout l'Ouest et le Sud du Mali, le Nord de la Côte d'Ivoire, du Bénin et du Nigeria, le Sud du Niger et l'Ouest du Tchad.

 

La zone actuelle rajoute donc 290 tuiles, il nous en resterait donc une dizaine sur notre quota (qui ne sera peut-être pas accepté par Theia...).  Si vous constatez donc un oubli que nous pouvons combler facilement et à peu de frais, n'hésitez donc pas à nous le dire en ajoutant la liste des tuiles en commentaire.

Projet de nouvelle zone (en bleu) au Brésil demandée par le LEGOS

 

Si vous souhaitez accéder à la liste des anciennes ou nouvelles tuiles (au format csv, kml ou shp), vous pouvez télécharger le répertoire suivant qui contient aussi un projet de zone plus modeste au Brésil. Une dernière toute petite demande concerne la zone de Conakry, pour le compte de TETIS.

 

 

The Khumbu Icefall by Venµs

This is a time-lapse of all clear-sky images captured by Venµs over the Khumbu Icefall near Mount Everest since November 2017 (one year of data, 51 images at 5 m resolution).

Khumbu Icefall by Venµs

Here I used the Level-1C products (i.e. without atmospheric correction) because the Level-2A products are provided at a lower resolution (10 m). Anyway, the atmosphere is rather thin in this area..

To make this animation (without the date annotation to simplify):
1) download
python ./theia_download.py -l 'Nepal' -c VENUS -a config_theia.cfg -d 2017-11-01 -f 2018-12-01 --level 'LEVEL1C'
2) unzip
mkdir -p ../VENUS
parallel unzip -d ../VENUS ::: $(find . -name "VENUS*zip")

3) export as natural color pictures
cd ../VENUS
mkdir -p VIS
parallel gdal_translate -srcwin 4118 3132 1058 770 -of JPEG -b 7 -b 4 -b 3 -scale 0 800 0 255 -ot byte {} VIS/{/.}.jpg ::: $(find . -name VE*[0-9].DBL.TIF)

4) animate with imagemagick
convert -delay 10 VIS/*jpg anim.gif

Sentinel-2 Level3A time series (July, August, September 2018)

If you are not afraid to spend too much time while you have urgent things to do, you may have a look to the mosaic of Sentinel-2 monthly syntheses for September over France. You may access to each monthly synthesis using the following links :

 
Or you may also user the viewer below to compare with the previous months and see how France became brown in September :
 

See it full screen

The monthly syntheses are produced using the WASP processor, which is described here.

By comparing the various syntheses, you will see the evolution of the landscape, generally much brownler in September, but this representation will also help you spot the composite artefacts. These are not very numerous, but you will see them :

  • on some web browsers (firefox V58), geometrical differences appear even at a low resolution. Other browsers and versions do not have this defect. It is really not due to Sentinel-2 or Theia products
  • above water and snow (we must work on this defect)
  • where clouds have covered a place during the whole month of July or August. These pixels are flagged as invalid in the products (but not on the mosaic).
  • where clouds or shadows were not properly detected by MAJA
  • at the edges of Sentinel-2 swath (but the effect is really faint)
  • some tile edges in July, due to the fact that Level 3A products were not all generated for the 15th of July, but for dates between the 8th and the 26th. This has been corrected for August and September.

 

Sentinel-HR, a metric resolution optical mission with global systematic and frequent observation, and free and open data

=>

Every four years, CNES brings together its scientific advising committees (and I have never been invited :( )  for its scientific prospective seminar. This seminar is where the scientific priorities for CNES's next space missions are defined. A few months before, a call for ideas for new missions is issued, and it was the opportunity to submit the idea of a mission called SENTINEL-HR (following Gérard Dedieu who had already proposed it two years ago).

 

Sentinel-HR mission

This mission would make it possible to observe all the lands at a metric resolution once a season. Taking into account the clouds, it would require a systematic revisit frequency of 20 to 30 days. As the mission name suggests, access to data would be free and open. The minimum configuration would have four bands (blue, green, red, near-infra-red), with optional bands in the short wave infra-red and the possibility of making stereoscopic observations.

2018 Image cover of France at a high resolution (6m), acquired by SPOT-6/7, for Theia/GeoSud project (1). Data were acquired between the 6 of april and the 11th of October .

 

As I already presented numerous tiles and for many years,  the benefit of Sentinel-2 data, compared to the SPOT missions of the past, is the ability to make frequent and systematic acquisitions, coupled with the free and open availability of data. This clearly explains the success of the SENTINEL-2 mission, which brought the number of users each year from a few thousands for SPOT to tens of thousands for SENTINEL-2.

Continue reading

Sentinel-HR: une mission optique à résolution métrique avec observations globales, répétitives, systématiques et libres d'accès

=>

Tous les 4 ans, le CNES réunit la fine fleur de ses comités scientifiques ( d'ailleurs, je n'ai jamais été invité :( ), pour son séminaire de prospective. C'est à cette occasion que sont définies les priorités scientifiques pour les prochaines missions spatiales du CNES. Quelques mois avant, un appel à idées pour de nouvelles missions est émis. et c'est à cette occasion que j'ai soumis l'idée d'une mission appelée SENTINEL-HR (prenant la suite de Gérard Dedieu qui l'avait déjà proposée depuis deux ans).

 

Mission Sentinel-HR

Cette mission permettrait d'observer toutes les terres à une résolution métrique, une fois par saison. En tenant compte des nuages, il faudrait donc un passage en tous points tous les 20 à 30 jours. Comme son nom l'évoque, l'accès aux données serait libre et gratuit, et les prises de vues systématiques. La configuration minimale aurait quatre bandes (bleu, vert, rouge, proche-infra-rouge), avec en option, des bandes dans le moyen infra-rouge ou la possibilité d'effectuer des observations.

Couverture de la France 2018 à haute résolution (6m) réalisée par SPOT-6/7, pour le compte de GeoSud (1).. Les données ont été acquises entre le 6 avril et le 11 octobre 2018.

 

Comme je l'ai déjà présenté à de nombreuses reprises et depuis longtemps,  l'avantage des données Sentinel-2, comparées à celles des missions SPOT d'antan,  tient dans la capacité de prise de vue systématique, conjuguée à la disponibilité de données libres et gratuites. C'est clairement ce qui explique le succès de la mission SENTINEL-2, passant de de quelques milliers d'utilisateurs pour SPOT, à des dizaines de milliers pour SENTINEL-2.

 

Continue reading

Snow cover duration from 01 Sep 2017 to 31 Aug 2018 in the Alps and Pyrenees

=>

We are thinking to distribute a new product that would provide the snow cover duration in the Alps and the Pyrenees over a hydrological year (snow persistence map). Here is a preview of a "beta" version that is only 100 m resolution for now.
 

Snow cover duration from 01 Sep 2017 to 31 Aug 2018. Pixels with less than 60 days were masked out.


 
A few words on the method (see also here): this map is generated after a linear interpolation at the daily time step of every available Theia snow product. Here we have selected 26 Sentinel-2 tiles, which represents 3189 snow maps for the study period, that is 96 billion pixels to process.
 
With the accumulation of Sentinel-2 data it becomes possible to look at interannual variability. Here is for example a visual comparison of the snow cover duration calculated from January to May for three years in the Pyrenees (31TCH):

 Snow cover duration 31TCH

Snow Duration from Jan 01 to May 31 in the Pyrenees (tile 31TCH)

 
We can see longer snow durations for the year 2018, which was an exceptional year!
 

Durée d'enneigement dans les Alpes et les Pyrénées du 01/09/2017 au 31/08/2018

=>

Nous sommes en train de penser à un nouveau produit qui donnerait la durée d'enneigement dans les Alpes et les Pyrénées au cours de la dernière année hydrologique. Voici ci-dessous un aperçu d'une version "beta" (artisanale) qui n'est qu'à 100 m de résolution pour l'instant.
 

Durée d'enneigement du 01/09/2017 au 31/08/2018.

Durée d'enneigement du 01/09/2017 au 31/08/2018. Les pixels avec moins de 60 jours ont été masqués.


 
Quelques mots sur la méthode (voir aussi ici) : cette carte est générée après une interpolation linéaire au pas de temps journalier de toutes les cartes d'enneigement Theia disponibles. Ici nous avons sélectionné 26 tuiles Sentinel-2, ce qui représente 3189 cartes d'enneigement pour la période considérée, soit 96 milliards de pixels à traiter.
 
Avec l'accumulation des données Sentinel-2 il devient possible de comparer les années entre elles. Voici par exemple une comparaison visuelle de la durée d'enneigement calculée de janvier à mai pour trois années dans les Pyrénées (31TCH):

Durée d'enneigement 31TCH

Durée d'enneigement du 01 janvier au 31 mai sur la tuile 31TCH

 
On voit ressortir des durées d'enneigement élevées pour l'année 2018 qui fut une année exceptionnelle !
 
Un grand merci à Germain Salgues de Magellium pour avoir produit toutes les données rapidement ce qui nous a permis de montrer cette carte au séminaire Theia à Montpellier dès le 18 octobre ! Et merci à Michel Le Page pour la mise en ligne.

[Theia] La famille s'élargit

Le photographe (et directeur technique) a du sortir son objectif grand angle pour photographier la famille Theia, lors du séminaire bisannuel qui avait lieu les 17 et 18 octobre 2018 à Montpellier. Ce fut un véritable stage de motivation, et un grand plaisir de recevoir tous ces retours positifs sur les travaux des chercheurs Français en télédétection, et sur les efforts des équipes de développement, de distribution et de diffusion de données. Les présentations seront très bientôt rassemblées sur le site de Theia.

Un grand merci à l'équipe d'organisation (Isabelle Biagiotti, Nicolas Baghdadi et Arnaud Sellé)

 

 

 

[Nouvelles de MUSCATE] Un été très productif

=>

Mise à jour le 4 octobre 2018

Cet été, alors que la plupart d'entre nous prenions des coups de soleil sur la plage, nous faisions dévorer par des moustiques, attrapions des courbatures en rando, ou faisions de longues siestes pour nous remettre de nuits fatigantes, les équipes de production et de distribution de MUSCATE ont eu la chance de bénéficier d'une climatisation efficace, de fauteuils confortables, d'ordinateur rapides et de l'accès à la meilleure cantine du monde au CNES. Il n'est donc pas surprenant que la production ait fait de gros progrès, mais nous pouvons néanmoins leur adresser un grand merci, car les résultats sont impressionnants.

 

Amélioration des performances de production

Theia's L2A counter reached 100 000 images on August 12th

 

Tout d'abord, l'anomalie qui avait perturbé la production à la fin du printemps a été résolue. C'était un problème de capacité de mémoire sur la machine qui héberge le catalogue interne de MUSCATE. Petit à petit, la besoin de mémoire dépassait le volume prévu, et les performances se dégradaient avant que le système ne plante, quasiment tous les jours. Il a suffi de quelques ajustement et d'un doublement de la mémoire pour que le problème disparaisse.

Ainsi, depuis début juillet, MUSCATE n'a plus connu que deux courtes interruptions dues à une phase de maintenance du centre informatique du CNES. Comme on peut le voir sur la figure qui suit,  la courbe orange, qui moyenne la production sur un mois n'a jamais été aussi haute, depuis le démarrage de la production.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

Continue reading

[MUSCATE News] A very productive summer

=>

Updated on October 4th

 

This summer, while most of us were getting sunburnt near the coast, or getting sore legs after hiking in mountains, or having long naps after hectic nights, the lucky MUSCATE teams stayed at work, with a good and efficient air conditioning, convenient armchairs, fast computers and accessed to the best canteen in the world at CNES. So it's no surprise they progressed a lot in all aspects, but even if they benefited from perfect conditions, we should thank them a lot.

 

Improved production performances

Theia's L2A counter reached 100 000 images on August 12th

 

First of all, the colleagues solved the issue that delayed a lot MUSCATE production in late spring. It was a memory issue, with a heavy swap consumption that slowed then crashed the MUSCATE ground segment. Doubling the available memory on the catalogue server solved the issue.

As a result, since beginning of July, MUSCATE had only two interruptions of production, due to maintenance interventions on the CNES platform. As it may be seen below, the monthly average plot in orange shows that the production rate is at its best in two years.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

Continue reading