5000+ L2A Sentinel-2A products released on Theia server

=> 

:) :) :) After having repeated month after month " sorry, our L2A product production is late again for  this ou that reason" in this blog, on the phone, during meetings, via email or on social networks, you can't imagine my pleasure to announce that CNES just released large time series of Sentinel-2A L2A data, over France, Reunion Island, North of Spain, Belgium, Luxembourg, and on some large sites in Burkina Faso, Mali, Ethiopia, and Tunisia. We process one whole year of data from December 1st 2015 to December 1st 2016. More than 5000 tiles where just released.  Processing over Tunisia goes on and Morocco and Senegal are next on the list. Then, we will process Madagascar, and the  all the zones displayed here. The data were processed using the MACCS processor.

Data are available here :

https://theia.cnes.fr/

Please have a look at the help page to access the product format documentation and install the download tool.

 


Continue reading

5000 produits L2A Sentinel-2A ajoutés sur le serveur Theia

=>

:) :) :) Après avoir répété pendant des mois, "désolé, notre production a pris du retard pour telle ou telle raison", dans des articles de blog, au téléphone, en réunion, par email, sur twitter, vous ne pouvez pas imaginer le plaisir que j'éprouve à annoncer que le CNES vient de mettre en ligne de grandes séries de données Sentinel-2A, au niveau 2A, sur la France, la Réunion, le Nord de l'Espagne, le et des sites au Burkina Faso, en Ethiopie, et  en Tunisie (partiellement encore).  La période traitée s'étend sur un an, du 1er décembre 2015 au 30 novembre 2016. Au total, plus de 5000 tuiles sont disponibles. Les traitements sur les zones du Mali, du Maroc et du Sénegal vont commencer, puis ce sera le tour de Madagascar et des différentes zones affichées ici. Les données ont été traitées avec la chaîne MACCS.

Les données sont disponibles ici :

https://theia.cnes.fr/

N'oubliez pas de de consulter la page d'aide du site, nottamment pour accéder à la documentation du format du produit et pour installer l'outil de téléchargement.

Continue reading

MUSCATE : Nouvelles, News... y Noticias

On dirait que mes annonces concernant Muscate ne portent pas chance à ce système. La semaine dernière, alors que j'annonçais une production régulière, les performances d'accès à la baie de disques du nouveau cluster se sont nettement dégradées (nous utilisons encore l'ancien cluster, mais nos données sont sur la baie du nouveau, avec un accès par NFS (Network File System) qui a tendance à ralentir les performances). Après un arrêt d'une journée, les ingénieurs du centre informatique ont pu faire des tests et quelques réglages qui ont nettement amélioré les performances, permettant à Muscate de repartir sur de meilleures bases.

 

En conséquence, la production est maintenant plus soutenue (jusqu'à 160 produits par jour), aucune nouvelle anomalie sur Muscate n'a été détectée lors des dernières semaines, et la production des données sur la France jusqu'à début décembre est terminée. Comme vous pouvez le voir sur les images jointes, la production réalisée s'étend au Nord de l'Espagne. Les nouvelles données, qui portent le numéro de version 1_1 ont commencé à être distribuées sur l'atelier de distribution https://theia.cnes.fr. Vu le volume de données, celà prendra quelques jours !

 

Enfin, le traitement des zones Burkina, Sénégal, Maroc et Tunisie commence aujourd'hui, et d'ici peu, l'adaptation au nouveau format des tuiles sera validée et nous pourrons nous approcher d'une production en temps réel. En espérant par ce nouvel article ne pas avoir jeté le mauvais oeil à Muscate...

 

It seems that my posts on this blog throw an evil eye to Muscate. Last week, while I was announcing a steady production, the performances of the new cluster considerably degraded. We do not use the new cluster yet (in a few weeks), apart from it disks racks, accessed through a quite slow Network File System. After a one day closure of the system, to allow tests and tuning by the computer center engineers, the production resumed with much improved performances.

 

As a result, Muscate production is much faster (up to 160 products per day), no new anomaly has been detected for weeks now, and the production of data above France until December 2016 just ended. It also extends to the Noth of Spain. The data have started to be pushed to the distribution server, http://theia.cnes.fr. Given the data volume, it will take a few days.
We are starting, today, the production of 4 other zones : Burkina, Senegal, Morocco and Tunisia, and as the adaptation to the new Sentinel-2 data format is nearly qualified, we will soon start real-time production. Hoping this new post is not a bad curse for Muscate...

 

 

La producción de Muscate se extiende al Norte de España, Aquí, una tela al norte de Burgos.

Parece que mis artículos sobre Muscate no traen suerte a este sistema. La semana pasada, cuando anuncié que la producción estaba regular, el acceso al nuevo cluster se degrado considerablemente. Después de una parada para un día, los ingenieros de centros de datos fueron capaces de hacer pruebas y ajustes que mejoraron significativamente el rendimiento, lo que permite Muscate trabajar en mejores condiciones.

 

 

En consecuencia, la producción es ahora mas rápida (hasta 160 productos por día), no se detectó ninguna anomalía nueva en Muscate en las últimas semanas, y se completó la producción de datos para Francia hasta principios de diciembre. Como se puede ver en las imágenes adjuntas, la producción obtenida se extiende al norte de España. Los nuevos datos, que llevan el número de versión 1_1 comenzaron a distribuirse en el taller de distribución https://theia.cnes.fr. Dado el volumen de datos, se tardará unos pocos días!

 

Por último, el tratamiento de las zonas de Burkina Faso, Senegal, Marruecos y Túnez comienza hoy, y en poco tiempo, se validará la adaptación al nuevo formato de la baldosa. Por fin podremos nos acercar a una producción en tiempo real.

Nouvelles de MUSCATE / MUSCATE news

Depuis que le nouveau cluster du CNES a été installé, le centre de production MUSCATE a fonctionné de manière régulière, avec un rythme de production de 100 tuiles Sentinel-2 traitées au Niveau 2 par jour. Nous sommes encore loin de la pleine vitesse :, il faudra d'une part encore quelques mises à jours pour que le système soit plus robuste, et d'autre part que le nouveau centre de calcul du CNES termine sa phase de rodage car il tourne tourne encore assez lentement. Cependant, la production des données sur la France, la Belgique, les Pyrénées, le bassin de l'Ebre et la Catalogne en Espagne devrait se terminer ce week-end et les données seront ensuite poussées verts le serveur de distribution dans le courant de la semaine prochaine. Les nouvelles données porteront la version V1_1.

 

Nous démarrerons par la suite la production des données de trois nouvelles zones, au Maroc, en Tunisie et au Burkina Faso. Quant au traitement en temps réel, il nous faut attendre la validation de la modification qui permet de gérer le nouveau format de données Sentinel-2, mis en place le 4 décembre. C'est pour très bientôt !

 

Since the new CNES cluster has been installed, the MUSCATE production rate has been steady, around 100 products per day. This is not full speed, as MUSCATE still needs a few updates to be more robust and can't still be used at full capacity, and as the CNES cluster is in its tuning phase and is often running quite slow. However, the production of all data above France, Belgium, and North of Spain (Pyrenees, Ebro basin, Catalonia) should be completed this week-end and pushed to the distribution server next week. The new products will have version number V1_1. This version brings mainly a few bug corrections, regarding the cloud shadows for instance.

 

Then we will proceed with 3 other zones ; Burkina, Morocco and Tunisia. To start real time production, we are waiting for the end of validation of the adaptation to the new format of Sentinel-2 data, which started to be used of the 4th of December 2017. It's nearly ready !

Mise en place du nouveau cluster du CNES

L'installation du nouveau cluster de calcul du CNES est en voie de finalisation, et le transfert des données depuis l'ancien cluster, qui nécessitait un arrêt des machines (la nouvelle et l'ancienne) pendant une petite semaine, s'est bien passé. Nous aurons bientôt à notre disposition environ 8000 cœurs et une puissance de calcul de 2.5 TFlops, à partager bien sûr avec les autres projets du CNES.

L'exploitation de MUSCATE a déjà repris, mais toujours sur l'ancien cluster, et avec des performances temporairement réduites par rapport à la situation antérieure. L'accès au nouveau cluster est prévu pour bientôt, mais les premiers tests ont mis en évidence des difficultés de configuration sur lesquelles les équipes techniques travaillent.

 

Vue l'instabilité de notre système ces dernières semaines, l'exploitation redémarre doucement, mais avec une cadence qui augmente tous les jours. Nous en sommes à produire 80 tuiles par jour, soit la moitié du rythme de croisière. Nous devrions donc bientôt commencer à rattraper notre retard.

 

Release of Theia Sentinel-2 L2A data over la Réunion

Because of the little issues we stumbled upon when producing Sentinel-2 level 2A data over France with MUSCATE, we had not yet demonstrated an end-to-end production, with a distribution on the operational server. While waiting for the end of the production of data over metropolitan France, we did this test the processing of Réunion Island.

 

September 2016 eruption witnessed by Sentinel-2A

The island is covered by only one Sentinel-2 tile, but the processing worked very smoothly, which is a very good sign after all teh difficulties we met. The data are now released on :

https://theia.cnes.fr

 

We processed all the available data, strating from January the 18th, 2016, until end of November. To produce the data acquired later on, we are waiting for the new version of PEPS, compatible with the new Sentinel-2 data format. We hope it will be possible as soon as February. .
The data set includes a nice image of the eruption of the Piton de la Fournaise volcano, in September. Regarding the data quality, you may find that the cloud shadows are a little exaggerated. We will try to fix that with a better tuning of the threshold for the next versions.

 

Début de distribution des données Sentinel-2 N2A sur l'ile de la Réunion

=>

Avec les petits problèmes rencontrés sur la production des données Sentinel-2 de niveau 2A sur la France par MUSCATE, nous n'avions pas encore pu faire la démonstration d'une production de bout en bout des données Sentinel-2, avec mise à disposition sur le serveur opérationnel. En attendant que les traitements des données sur la France se terminent, nous avons pu faire ce test avec les données de l'île de la Réunion.

 

Il s'agit d'une seule tuile Sentinel-2, mais le traitement est passé de bout en bout comme sur des roulettes, ce qui est très bon signe. Les données sont donc disponibles sur :

https://theia.cnes.fr

 

Nous avons traité toutes les données disponibles, depuis le 18 janvier 2016, jusqu'à fin Novembre. Pour les données acquises par la suite et pour le traitement en temps réel, nous attendons la nouvelle version du serveur PEPS, compatible avec le nouveau format des données. Nous espérons que ce sera possible dès fin février.

 

La série de données inclut l'éruption de Septembre 2016. Nous avons constaté sur ce site une certaine exagération des ombres, que nous essaierons de réduire dans les prochaines versions de la chaîne.

 

La qualification opérationnelle de MUSCATE a été prononcée

C'est un grand plaisir, après toutes les difficultés rencontrées, de pouvoir annoncer la fin des tests de qualification opérationnelle de MUSCATE, pour la production de données Sentinel-2 de niveau 2A, et donc le démarrage de la phase de production opérationnelle.  Comme vous vous en doutez, cela n'a pas été de tout repos, plusieurs problèmes techniques ont été rencontrés, de toutes sortes, et, le retard s'accumulant, tout le monde a eu droit à une bonne dose de stress. Mais ce sont des équipes tenaces et compétentes qui ont mené les travaux, avec une étroite collaboration entre équipes de développement et équipe d'exploitation, entres personnels du CNES et des industriels. Les équipes ont aussi supporté sans trop protester mes "alors, où en sommes nous?".

 

L'avantage d'avoir rencontré beaucoup de problèmes, c' est que les équipes d'exploitation sont maintenant très bien formées. Elles connaissent le système en profondeur, et pas seulement son interface homme-machine, ce qui permet une excellente réactivité et une optimisation des procédures.

 

La production peut donc reprendre. Les équipes d'exploitation ont déjà traité les données sur la Réunion (avec une certaine sur-détection des ombres), relancé la production des données manquantes sur la France, et entamé le téléchargement des données sur le site du Burkina. La production devra cependant s'arrêter jeudi prochain, pour la période de changement du cluster du CNES. Il est prévu qu'elle redémarre dès le 31 janvier, après la mise en exploitation du nouveau cluster.

 

Les données sur la Réunion sont d'ores et déjà disponibles sur https://theia.cnes.fr, et nous avons ajouté une production sur 4 tuiles de l'Ethiopie centrées sur Addis Abbeba, que nous avons produites lors de tests.

 

Un grand merci à toutes les équipes qui se sont démenées pour lancer la production, et aux utilisateurs pour leur patience.

Désolé, la production des données N2A de Sentinel-2A est encore en retard

Vous êtes nombreux à attendre les données de niveau 2A produites par le centre MUSCATE de THEIA avec la chaîne MACCS. Si les utilisateurs Français ont été satisfaits par la première production au dessus de la France, nous n'avons pas encore réussi à passer à la production en temps réel, et à étendre la production aux autres sites. Et je suis encore au regret d'annoncer un nouveau retard.

 

Continue reading