5000 produits L2A Sentinel-2A ajoutés sur le serveur Theia

=>

:) :) :) Après avoir répété pendant des mois, "désolé, notre production a pris du retard pour telle ou telle raison", dans des articles de blog, au téléphone, en réunion, par email, sur twitter, vous ne pouvez pas imaginer le plaisir que j'éprouve à annoncer que le CNES vient de mettre en ligne de grandes séries de données Sentinel-2A, au niveau 2A, sur la France, la Réunion, le Nord de l'Espagne, le et des sites au Burkina Faso, en Ethiopie, et  en Tunisie (partiellement encore).  La période traitée s'étend sur un an, du 1er décembre 2015 au 30 novembre 2016. Au total, plus de 5000 tuiles sont disponibles. Les traitements sur les zones du Mali, du Maroc et du Sénegal vont commencer, puis ce sera le tour de Madagascar et des différentes zones affichées ici. Les données ont été traitées avec la chaîne MACCS.

Les données sont disponibles ici :

https://theia.cnes.fr/

N'oubliez pas de de consulter la page d'aide du site, nottamment pour accéder à la documentation du format du produit et pour installer l'outil de téléchargement.

Continue reading

Une nuit à Darmstadt

Darmstadt, envoyé spatial

 

J'ai eu la chance de participer à l'évènement "social" #Sentinel2Go organisé par l'ESA à l'occasion du lancement de Sentinel-2B au centre des opérations de Darmstadt (ESOC) dans la nuit du 6 au 7 mars. L'ESA avait sélectionné une centaine de space-nerds, twittos, bloggers et autres youtubers de tout poil, et nous avait concocté un programme copieux (comme le dîner) qui nous a tenu éveillés de 14h à 5h du matin.

Continue reading

MUSCATE : Nouvelles, News... y Noticias

On dirait que mes annonces concernant Muscate ne portent pas chance à ce système. La semaine dernière, alors que j'annonçais une production régulière, les performances d'accès à la baie de disques du nouveau cluster se sont nettement dégradées (nous utilisons encore l'ancien cluster, mais nos données sont sur la baie du nouveau, avec un accès par NFS (Network File System) qui a tendance à ralentir les performances). Après un arrêt d'une journée, les ingénieurs du centre informatique ont pu faire des tests et quelques réglages qui ont nettement amélioré les performances, permettant à Muscate de repartir sur de meilleures bases.

 

En conséquence, la production est maintenant plus soutenue (jusqu'à 160 produits par jour), aucune nouvelle anomalie sur Muscate n'a été détectée lors des dernières semaines, et la production des données sur la France jusqu'à début décembre est terminée. Comme vous pouvez le voir sur les images jointes, la production réalisée s'étend au Nord de l'Espagne. Les nouvelles données, qui portent le numéro de version 1_1 ont commencé à être distribuées sur l'atelier de distribution https://theia.cnes.fr. Vu le volume de données, celà prendra quelques jours !

 

Enfin, le traitement des zones Burkina, Sénégal, Maroc et Tunisie commence aujourd'hui, et d'ici peu, l'adaptation au nouveau format des tuiles sera validée et nous pourrons nous approcher d'une production en temps réel. En espérant par ce nouvel article ne pas avoir jeté le mauvais oeil à Muscate...

 

It seems that my posts on this blog throw an evil eye to Muscate. Last week, while I was announcing a steady production, the performances of the new cluster considerably degraded. We do not use the new cluster yet (in a few weeks), apart from it disks racks, accessed through a quite slow Network File System. After a one day closure of the system, to allow tests and tuning by the computer center engineers, the production resumed with much improved performances.

 

As a result, Muscate production is much faster (up to 160 products per day), no new anomaly has been detected for weeks now, and the production of data above France until December 2016 just ended. It also extends to the Noth of Spain. The data have started to be pushed to the distribution server, http://theia.cnes.fr. Given the data volume, it will take a few days.
We are starting, today, the production of 4 other zones : Burkina, Senegal, Morocco and Tunisia, and as the adaptation to the new Sentinel-2 data format is nearly qualified, we will soon start real-time production. Hoping this new post is not a bad curse for Muscate...

 

 

La producción de Muscate se extiende al Norte de España, Aquí, una tela al norte de Burgos.

Parece que mis artículos sobre Muscate no traen suerte a este sistema. La semana pasada, cuando anuncié que la producción estaba regular, el acceso al nuevo cluster se degrado considerablemente. Después de una parada para un día, los ingenieros de centros de datos fueron capaces de hacer pruebas y ajustes que mejoraron significativamente el rendimiento, lo que permite Muscate trabajar en mejores condiciones.

 

 

En consecuencia, la producción es ahora mas rápida (hasta 160 productos por día), no se detectó ninguna anomalía nueva en Muscate en las últimas semanas, y se completó la producción de datos para Francia hasta principios de diciembre. Como se puede ver en las imágenes adjuntas, la producción obtenida se extiende al norte de España. Los nuevos datos, que llevan el número de versión 1_1 comenzaron a distribuirse en el taller de distribución https://theia.cnes.fr. Dado el volumen de datos, se tardará unos pocos días!

 

Por último, el tratamiento de las zonas de Burkina Faso, Senegal, Marruecos y Túnez comienza hoy, y en poco tiempo, se validará la adaptación al nuevo formato de la baldosa. Por fin podremos nos acercar a una producción en tiempo real.

Nouvelles de MUSCATE / MUSCATE news

Depuis que le nouveau cluster du CNES a été installé, le centre de production MUSCATE a fonctionné de manière régulière, avec un rythme de production de 100 tuiles Sentinel-2 traitées au Niveau 2 par jour. Nous sommes encore loin de la pleine vitesse :, il faudra d'une part encore quelques mises à jours pour que le système soit plus robuste, et d'autre part que le nouveau centre de calcul du CNES termine sa phase de rodage car il tourne tourne encore assez lentement. Cependant, la production des données sur la France, la Belgique, les Pyrénées, le bassin de l'Ebre et la Catalogne en Espagne devrait se terminer ce week-end et les données seront ensuite poussées verts le serveur de distribution dans le courant de la semaine prochaine. Les nouvelles données porteront la version V1_1.

 

Nous démarrerons par la suite la production des données de trois nouvelles zones, au Maroc, en Tunisie et au Burkina Faso. Quant au traitement en temps réel, il nous faut attendre la validation de la modification qui permet de gérer le nouveau format de données Sentinel-2, mis en place le 4 décembre. C'est pour très bientôt !

 

Since the new CNES cluster has been installed, the MUSCATE production rate has been steady, around 100 products per day. This is not full speed, as MUSCATE still needs a few updates to be more robust and can't still be used at full capacity, and as the CNES cluster is in its tuning phase and is often running quite slow. However, the production of all data above France, Belgium, and North of Spain (Pyrenees, Ebro basin, Catalonia) should be completed this week-end and pushed to the distribution server next week. The new products will have version number V1_1. This version brings mainly a few bug corrections, regarding the cloud shadows for instance.

 

Then we will proceed with 3 other zones ; Burkina, Morocco and Tunisia. To start real time production, we are waiting for the end of validation of the adaptation to the new format of Sentinel-2 data, which started to be used of the 4th of December 2017. It's nearly ready !

La lettre à Elise Lucet

Chère Elise,

 

au Cesbio, notre laboratoire, nous apprécions beaucoup ton émission "Cash Investigation" et le travail des journalistes de ton équipe. Nous savons que tu ne recules devant rien pour mettre à jour les méfaits des pollueurs et d'ailleurs nous non plus. Pour l'enquête "Razzia sur le bois" diffusée le 24 janvier, tu as même fait appel à la technologie de la NASA (carrément !) pour enquêter sur les incendies dans les plantations d'arbres en Indonésie. Nous avons reconnu en effet les images prise par le capteur MODIS de l'agence spatiale américaine. Ce capteur permet de détecter les feux avec une très bonne fréquence mais les images ne sont pas très détaillées car la résolution d'un pixel est proche de 500 m.

Continue reading

Mise en place du nouveau cluster du CNES

L'installation du nouveau cluster de calcul du CNES est en voie de finalisation, et le transfert des données depuis l'ancien cluster, qui nécessitait un arrêt des machines (la nouvelle et l'ancienne) pendant une petite semaine, s'est bien passé. Nous aurons bientôt à notre disposition environ 8000 cœurs et une puissance de calcul de 2.5 TFlops, à partager bien sûr avec les autres projets du CNES.

L'exploitation de MUSCATE a déjà repris, mais toujours sur l'ancien cluster, et avec des performances temporairement réduites par rapport à la situation antérieure. L'accès au nouveau cluster est prévu pour bientôt, mais les premiers tests ont mis en évidence des difficultés de configuration sur lesquelles les équipes techniques travaillent.

 

Vue l'instabilité de notre système ces dernières semaines, l'exploitation redémarre doucement, mais avec une cadence qui augmente tous les jours. Nous en sommes à produire 80 tuiles par jour, soit la moitié du rythme de croisière. Nous devrions donc bientôt commencer à rattraper notre retard.

 

Sentinel-2A dévoile deux nouveaux lacs sur l'île de Bornéo

L'entreprise de télédétection Planet a publié des images, prises par sa flotte de nano-satellites, du Lac Bakun sur l'île de Bornéo [1]. Planet nous apprend que ce lac, formé par un barrage construit en 2011, est le plus grand lac d'Asie du sud-est. Pourtant, il n'est pas visible sur les services web de cartographie comme Bing Maps ou Google Maps ! On peut le trouver dans OpenStreetMap avec une faible résolution. Cela est dû au fait que l'île de Bornéo est un des endroits les plus nuageux au monde donc les images de télédétection optiques utilisables sont très rares.
Continue reading

Début de distribution des données Sentinel-2 N2A sur l'ile de la Réunion

=>

Avec les petits problèmes rencontrés sur la production des données Sentinel-2 de niveau 2A sur la France par MUSCATE, nous n'avions pas encore pu faire la démonstration d'une production de bout en bout des données Sentinel-2, avec mise à disposition sur le serveur opérationnel. En attendant que les traitements des données sur la France se terminent, nous avons pu faire ce test avec les données de l'île de la Réunion.

 

Il s'agit d'une seule tuile Sentinel-2, mais le traitement est passé de bout en bout comme sur des roulettes, ce qui est très bon signe. Les données sont donc disponibles sur :

https://theia.cnes.fr

 

Nous avons traité toutes les données disponibles, depuis le 18 janvier 2016, jusqu'à fin Novembre. Pour les données acquises par la suite et pour le traitement en temps réel, nous attendons la nouvelle version du serveur PEPS, compatible avec le nouveau format des données. Nous espérons que ce sera possible dès fin février.

 

La série de données inclut l'éruption de Septembre 2016. Nous avons constaté sur ce site une certaine exagération des ombres, que nous essaierons de réduire dans les prochaines versions de la chaîne.

 

La qualification opérationnelle de MUSCATE a été prononcée

C'est un grand plaisir, après toutes les difficultés rencontrées, de pouvoir annoncer la fin des tests de qualification opérationnelle de MUSCATE, pour la production de données Sentinel-2 de niveau 2A, et donc le démarrage de la phase de production opérationnelle.  Comme vous vous en doutez, cela n'a pas été de tout repos, plusieurs problèmes techniques ont été rencontrés, de toutes sortes, et, le retard s'accumulant, tout le monde a eu droit à une bonne dose de stress. Mais ce sont des équipes tenaces et compétentes qui ont mené les travaux, avec une étroite collaboration entre équipes de développement et équipe d'exploitation, entres personnels du CNES et des industriels. Les équipes ont aussi supporté sans trop protester mes "alors, où en sommes nous?".

 

L'avantage d'avoir rencontré beaucoup de problèmes, c' est que les équipes d'exploitation sont maintenant très bien formées. Elles connaissent le système en profondeur, et pas seulement son interface homme-machine, ce qui permet une excellente réactivité et une optimisation des procédures.

 

La production peut donc reprendre. Les équipes d'exploitation ont déjà traité les données sur la Réunion (avec une certaine sur-détection des ombres), relancé la production des données manquantes sur la France, et entamé le téléchargement des données sur le site du Burkina. La production devra cependant s'arrêter jeudi prochain, pour la période de changement du cluster du CNES. Il est prévu qu'elle redémarre dès le 31 janvier, après la mise en exploitation du nouveau cluster.

 

Les données sur la Réunion sont d'ores et déjà disponibles sur https://theia.cnes.fr, et nous avons ajouté une production sur 4 tuiles de l'Ethiopie centrées sur Addis Abbeba, que nous avons produites lors de tests.

 

Un grand merci à toutes les équipes qui se sont démenées pour lancer la production, et aux utilisateurs pour leur patience.