[MUSCATE News] Unavailability of CNES HPC center on 4-5 December

Le centre de calcul (de haute performance) du CNES sera en maintenance les 4 et 5 décembre, dans le but d'accroitre sa robustesse et ses performances. En conséquence, MUSCATE ne sera pas en mesure de produire les données de Sentinel-2, Landsat et Venµs en temps réel. Pour une fois, nous ne serons donc pas en mesure de tenir nos engagements de production en moins de 2.5 jours, et nous espérons que cela ne vous dérangera pas trop dans vos travaux. Les données déjà produites resteront disponibles.

Pour la même raison, les traitements avec MAJA sur PEPS seront suspendus.

 

CNES High Performance Computing center will be on maintenance on the 4th and 5th of December, to improve its robustness and capacity. As a result, MUSCATE will not be able to produce Sentinel-2, Landsat and Venµs data during these days. Exceptionally, we will not meet our target to process these data in less than 2.5 days, and we hope it will not cause too much inconvenience. The already produced data will still be available.

For the same reason, MAJA processing on PEPS will be suspended.

Les séries temporelles de niveau 3A avec Sentinel-2, de Juillet à Octobre

=>

Comme chaque mois, Peter Kettig du CNES a produit les synthèses de niveau 3A à partir de Sentinel-2 du mois précédent (Merci Peter !). Les données peuvent être téléchargées depuis le serveur de distribution Theia au CNES.
 
Si vous n'avez pas peur d'y passer trop de temps, alors que de nombreuses urgences vous attendent, vous pouvez jeter un oeil aux mosaïques de ces produits disponibles sur la France depuis Juillet. Chaque mosaique est accessible à partir des liens ci-dessous :

 
Une chouette interface de visualisation (merci à Michel Lepage !), est aussi disponible ci-dessous, pour comparer la synthèse d'octobre avec celle des mois précédents. On peut ainsi constater que le Nord de la France commence tout juste à reverdir après cet été très chaud et très sec, alors que les prairies de montagne prennent une couleur brune après les premières gelées. Le maïs du Sud Ouest a lui aussi commencé à sécher, voire à être récolté.
 
Pour la première fois, un artefact de bord d'orbite apparaît clairement du côté de Cambrai. Même si c'est un endroit où l'on peut faire des bêtises, cet artefact est dû au changement de date. la partie Ouest est brune, et la partie Est est verte. Celà est dû a une couverture nuageuse importante, qui fait que la date moyenne de la partie Est se situe bien après celle de la partie Ouest. Le seul moyen d'éviter ce genre d'artefacts sera d'augmenter la revisite des données Sentinel-2, pour faire des synthèses sur des données moins longues (ici nous utilisons 45 jours).
 

See it full screen
Continue reading

Sentinel-2 Level3A time series (July to October 2018)

=>

As every month, Peter Kettig from CNES processed the Sentinel-2 L3A composites of France from the Month before. The data can be downloaded from Theia's distribution server at CNES.

If you are not afraid to spend too much time while you have urgent things to do, you may have a look to the mosaic of Sentinel-2 monthly syntheses for each month since July over France. Each monthly synthesis is accessible using the following links :

 
Or you may also use the nive viewer below (merci à Michel Lepage !) to compare with the previous months and see how France starts to become slightly greener, at least in the North, while the mountains are getting brown after the first cold days, and corn is drying in the South West.
 
It is also the opportunity to observe our first neat swath edge effect in four months, near Cambrai, North of France. The Western part of the artefact is browner than the Eastern part. Because of the cloud cover, the average date used in the eastern part is several days before the average date of the western part. The only way to reduce the effect is to increase the revisit time of Sentinels, with the future generations, to allows us to reduce the synthesis window length which is currently 45 days.
 

See it full screen
Continue reading

Theia just selected a new production zone for Sentinel-2 L2A in Sahel

=>

The Level 2A data production with MAJA processor, by MUSCATE processing center is now fast and efficient. Some margins have been found to add new zones to our production. (The zones already processed are displayed here). French public institutes of labs that would need new zones can tell us their needs, we should still have a few tiles left in our quota.

 

A few well informed colleagues acted fast, and Santiago Pena Luque (from CNES), who works for the SWOT satellite project made a large new proposal. The Senegal and Niger basins which have been chosen as integrative test sites by SWOT. So the main target is to monitor the height and flow of the rivers, but this implies to study rainfall, evapo-transpiration and run off. The Sentinel-2 data will provide the vegetation status. Of course, the same zone will also allow a large variety of applications related to climate, desertification, food production monitoring, starting from land cover. Several laboratories are associated to the proposal: namely, GET, LEGOS and CESBIO in Toulouse, and TETIS in Montpellier.

 

Here is the zone that was accepted by Theia today :

 


Sahel zone just accepted by Theia. In green, the tiles already produced by theia, in blue, the new tiles.

Continue reading

THEIA : Une nouvelle zone de production des données Sentinel-2 L2A au Sahel

=>

La production des données Sentinel-2 au niveau 2A, avec la chaîne MAJA, par le centre MUSCATE de Theia est maintenant rapide et efficace, nous disposons donc de quelques marges pour ajouter de nouvelles zones (les zones actuelles sont visibles ici). Les organismes français intéressés par l'ajout de nouvelles zones peuvent d'ailleurs me contacter, il devrait nous rester une petite cinquantaine de tuiles à choisir, compte tenu des demandes déjà reçues.

 

Certains collègues bien informés ont devancé cet appel, et parmi eux, Santiago Pena Luque,  du CNES, qui travaille pour le projet SWOT. Dans le cadre de la préparation du projet, deux grands bassin fluviaux africains ont été choisis pour concentrer les premières expérimentations. Il s'agit des bassins du Niger et du Sénégal. Les applications concerneront le suivi des cours d'eau bien sûr, mais aussi de l'occupation des sols et de la dynamique de la végétation. Plusieurs laboratoires y seront impliqués, dont le GET, le CESBIO, le LEGOS à Toulouse, le laboratoire TETIS à Montpellier.

Voici donc la zone acceptée par Theia :

 

Nouvelle zone de traitement Sentinel-2 sur le Sahel . En vert les tuiles déjà traitées, en bleu, les tuiles que nous allons ajouter.

La zone a été établie à partir des contraintes suivantes :
- ne pas dépasser 300 tuiles
- proposer une zone contiguë
- éviter les zones les plus nuageuses, comme les côtes du golfe de Guinée
- couvrir la quasi totalité des bassins du Sénégal et du Niger (à l'exception des zones systématiquement nuageuses ou complètement désertiques)
- compléter éventuellement des zones administratives connexes: nous avons pu par exemple couvrir la totalité du Sénégal, de la Gambie, du Burkina Faso, tout l'Ouest et le Sud du Mali, le Nord des guinées, de la Côte d'Ivoire, du Bénin et du Nigeria, le Sud du Niger et l'Ouest du Tchad.

 

La production va démarrer très prochainement, avec les données acquises en décembre 2016. Il nous faudra probablement quelques mois pour rejoindre le traitement en temps réel. Celà va donner beaucoup de travail à nos équipes de production, mais c'est pour la bonne cause.

 

Sentinel-2 Level3A time series (July, August, September 2018)

If you are not afraid to spend too much time while you have urgent things to do, you may have a look to the mosaic of Sentinel-2 monthly syntheses for September over France. You may access to each monthly synthesis using the following links :

 
Or you may also use the viewer below to compare with the previous months and see how France became brown in September :
 

See it full screen

The monthly syntheses are produced using the WASP processor, which is described here.

By comparing the various syntheses, you will see the evolution of the landscape, generally much brownler in September, but this representation will also help you spot the composite artefacts. These are not very numerous, but you will see them :

  • on some web browsers (firefox V58), geometrical differences appear even at a low resolution. Other browsers and versions do not have this defect. It is really not due to Sentinel-2 or Theia products
  • above water and snow (we must work on this defect)
  • where clouds have covered a place during the whole month of July or August. These pixels are flagged as invalid in the products (but not on the mosaic).
  • where clouds or shadows were not properly detected by MAJA
  • at the edges of Sentinel-2 swath. For the first time, in october, a swath edge is clearly visible near Cambrai. The area must have been quite cloudy, and we observe here a greener part on the right, observed later in October, that the browner part on the left. The only way to correct this kind of atefact while keeping a physical meaning to the reflectances, would be to improve Sentinel-2 revisit time
  • some tile edges in July, due to the fact that Level 3A products were not all generated for the 15th of July, but for dates between the 8th and the 26th. This has been corrected for the next months

 

Sentinel-HR, a metric resolution optical mission with global systematic and frequent observation, and free and open data

=>

Every four years, CNES brings together its scientific advising committees (and I have never been invited :( )  for its scientific prospective seminar. This seminar is where the scientific priorities for CNES's next space missions are defined. A few months before, a call for ideas for new missions is issued, and it was the opportunity to submit the idea of a mission called SENTINEL-HR (following Gérard Dedieu who had already proposed it two years ago).

 

Sentinel-HR mission

This mission would make it possible to observe all the lands at a metric resolution once a season. Taking into account the clouds, it would require a systematic revisit frequency of 20 to 30 days. As the mission name suggests, access to data would be free and open. The minimum configuration would have four bands (blue, green, red, near-infra-red), with optional bands in the short wave infra-red and the possibility of making stereoscopic observations.

2018 Image cover of France at a high resolution (6m), acquired by SPOT-6/7, for Theia/GeoSud project (1). Data were acquired between the 6 of april and the 11th of October .

 

As I already presented numerous tiles and for many years,  the benefit of Sentinel-2 data, compared to the SPOT missions of the past, is the ability to make frequent and systematic acquisitions, coupled with the free and open availability of data. This clearly explains the success of the SENTINEL-2 mission, which brought the number of users each year from a few thousands for SPOT to tens of thousands for SENTINEL-2.

Continue reading

Sentinel-HR: une mission optique à résolution métrique avec observations globales, répétitives, systématiques et libres d'accès

=>

Tous les 4 ans, le CNES réunit la fine fleur de ses comités scientifiques ( d'ailleurs, je n'ai jamais été invité :( ), pour son séminaire de prospective. C'est à cette occasion que sont définies les priorités scientifiques pour les prochaines missions spatiales du CNES. Quelques mois avant, un appel à idées pour de nouvelles missions est émis. et c'est à cette occasion que j'ai soumis l'idée d'une mission appelée SENTINEL-HR (prenant la suite de Gérard Dedieu qui l'avait déjà proposée depuis deux ans).

 

Mission Sentinel-HR

Cette mission permettrait d'observer toutes les terres à une résolution métrique, une fois par saison. En tenant compte des nuages, il faudrait donc un passage en tous points tous les 20 à 30 jours. Comme son nom l'évoque, l'accès aux données serait libre et gratuit, et les prises de vues systématiques. La configuration minimale aurait quatre bandes (bleu, vert, rouge, proche-infra-rouge), avec en option, des bandes dans le moyen infra-rouge ou la possibilité d'effectuer des observations.

Couverture de la France 2018 à haute résolution (6m) réalisée par SPOT-6/7, pour le compte de GeoSud (1).. Les données ont été acquises entre le 6 avril et le 11 octobre 2018.

 

Comme je l'ai déjà présenté à de nombreuses reprises et depuis longtemps,  l'avantage des données Sentinel-2, comparées à celles des missions SPOT d'antan,  tient dans la capacité de prise de vue systématique, conjuguée à la disponibilité de données libres et gratuites. C'est clairement ce qui explique le succès de la mission SENTINEL-2, passant de de quelques milliers d'utilisateurs pour SPOT, à des dizaines de milliers pour SENTINEL-2.

 

Continue reading

[Theia] La famille s'élargit

Le photographe (et directeur technique) a du sortir son objectif grand angle pour photographier la famille Theia, lors du séminaire bisannuel qui avait lieu les 17 et 18 octobre 2018 à Montpellier. Ce fut un véritable stage de motivation, et un grand plaisir de recevoir tous ces retours positifs sur les travaux des chercheurs Français en télédétection, et sur les efforts des équipes de développement, de distribution et de diffusion de données. Les présentations seront très bientôt rassemblées sur le site de Theia.

Un grand merci à l'équipe d'organisation (Isabelle Biagiotti, Nicolas Baghdadi et Arnaud Sellé)

 

 

 

[Nouvelles de MUSCATE] Un été très productif

=>

Mise à jour le 4 octobre 2018

Cet été, alors que la plupart d'entre nous prenions des coups de soleil sur la plage, nous faisions dévorer par des moustiques, attrapions des courbatures en rando, ou faisions de longues siestes pour nous remettre de nuits fatigantes, les équipes de production et de distribution de MUSCATE ont eu la chance de bénéficier d'une climatisation efficace, de fauteuils confortables, d'ordinateur rapides et de l'accès à la meilleure cantine du monde au CNES. Il n'est donc pas surprenant que la production ait fait de gros progrès, mais nous pouvons néanmoins leur adresser un grand merci, car les résultats sont impressionnants.

 

Amélioration des performances de production

Theia's L2A counter reached 100 000 images on August 12th

 

Tout d'abord, l'anomalie qui avait perturbé la production à la fin du printemps a été résolue. C'était un problème de capacité de mémoire sur la machine qui héberge le catalogue interne de MUSCATE. Petit à petit, la besoin de mémoire dépassait le volume prévu, et les performances se dégradaient avant que le système ne plante, quasiment tous les jours. Il a suffi de quelques ajustement et d'un doublement de la mémoire pour que le problème disparaisse.

Ainsi, depuis début juillet, MUSCATE n'a plus connu que deux courtes interruptions dues à une phase de maintenance du centre informatique du CNES. Comme on peut le voir sur la figure qui suit,  la courbe orange, qui moyenne la production sur un mois n'a jamais été aussi haute, depuis le démarrage de la production.

 

Number of L2A produced each day by MUSCATE (after removing the products with more than 90% of clouds)

Continue reading