Le traitement des données Sentinel-2 L2A au Sahel progresse

=>

Comme nous l'avions annoncé en Novembre, le centre de production MUSCATE de Theia rajoute progressivement des zones au Sahel, qui sont affichées sur l'image ci-dessous. Les données sont traitées à partir de décembre 2016, ce qui nous fait une grande quantité de données à traiter. Nous avons donc commencé avec les tuiles les plus à l'ouest, au Sénegal sur la zone UTM28, puis de proche en proche vers l''Est.


Zone de traitement Sentinel-2 sur le Sahel proposée à Theia. En vert foncées les tuiles qui déjà traitées par Theia, en teintes claires, les tuiles que nous ajoutons progressivement.

 

Depuis quelques jours, Theia a terminé le traitement des tuiles de la zone UTM29 qui

En rouge, les zones déjà disponibles en temps réel et depuis fin 2016, en bleu, les zones qui le seront bientôt.

couvre principalement le Nord de la Guinée et l'Ouest du Mali, mais aussi partiellement le sud de la Mauritanie et la Sierra Leone et le Nord Ouest de la Côte d'Ivoire. Le traitement de la zone UTM 30 qui couvre le Burkina Faso et le Mali, est lui aussi bien avancé. L'est de cette zone est terminé, et l'ouest avance bien, comme le montre l'animation ci-dessous. La zone UTM31 a elle aussi été mise en production. N'hésitez pas à jeter un coup d’œil de temps en temps à la carte des zones couvertes de MUSCATE. Les tuiles en bleu deviennent rouges dès que l'on passe au traitement au fil de l'eau.

 

Les données peuvent être téléchargées ici :

https://theia.cnes.fr

 

Animation sur la région de la ville de Mopti, au Mali, avec environ une image par mois en 2017. La série temporelle s'étend entre deux saisons des pluies et couvre la saison sèche. De nombreuses cicatrices d'incendies sont visibles pendant la saison sèche. Quelques ombres apparaissent, qui correspondent en fait aux ombres des cirrus corrigées par MAJA. Les ombres sont marquées dans les produits.

Plus de 1000 téléchargements en deux ans pour le code de correction atmosphérique MAJA

=>

Nous avons commencé à distribuer MAJA gratuitement en juillet 2017, il y a moins de deux ans, et le logiciel a déjà été téléchargé plus de 1000 fois (1068 précisément aujourd'hui). Celà représente en moyenne plus de deux téléchargements par jour de semaine, et ces dernières semaines, nous avons atteint environ 4 téléchargements par jour. Bien sûr, c'est probablement beaucoup moins que Sen2cor, qui dispose d'un financement confortable pour le rendre facile à installer et à utiliser sur un ordinateur personnel, sous Windows, IOS ou Linux. Mais les deux logiciels ne jouent pas dans la même catégorie: Sen2cor a été conçu pour fonctionner du côté client, tandis que MAJA a été conçu pour être robuste et efficace dans les environnements de production.

 

MAJA ne fonctionne que sur linux, et ses algorithmes multi-temporels le rendent moins facile à utiliser. MAJA fait des calculs beaucoup plus complexes que Sen2cor, en deux fois moins de temps que Sen2cor grâce à une bonne parallélisation utilisant la bibliothèque Orfeo Toolbox C++ Library. Malgré cette complexité, beaucoup d'utilisateurs semblent avoir réussi à le faire fonctionner.


Comparaison de séries temporelles d'images de MAJA (Gauche) and Sen2cor (droite) sur la région de Naples. Les masques de nuages sont soulignés en vert, et les ombres en jaune. Cliquez sur l'image pour l'agrandir.

La version de MAJA que nous recommandons actuellement est la version 3.3 qui apporte de nombreuses améliorations.

Deux outils permettent de faire tourner MAJA efficacement :
- Sen2Agri, pour lequel MAJA (et son ancienne version MACCS) a été téléchargé environs 700 fois
- Start-MAJA, qui est un petit orchestrateur que j'ai d'abord développé pour mon usage personnel, puis publié en open source sur github. Il a été téléchargé 450 fois et a reçu 18 étoiles sur la plateforme github du CNES , et 45 sur mon dépôt github personnel, où il était disponible avant de basculer vers celui du CNES.

Les téléchargements de STart-MAJA sur github pendant la dernière quinzaine

 

Cependant, il n'est pas facile de savoir combien d'utilisateurs ont réussi à l'installer correctement, et combien ont échoué. Nous savons que certains utilisateurs parviennent à l'installer facilement. Nous recevons souvent des commentaires et des questions lorsque les utilisateurs ne réussissent pas immédiatement, et nous ne connaissons pas la proportion de ceux qui abandonnent. Nous serions heureux de recevoir plus de retours sur les difficultés rencontrées et sur le taux de succès. N'hésitez pas à nous informer !

MAJA est un logiciel développé par la société CS-SI pour le compte du CNES (service DNO/OT/IS, Imagerie Spatiale). Les méthodes ont été définies par le CESBIO avec des apports du DLR. D'autres services du CNES (DSO/SI/MO, physique de la mesure optique) et compagnies (Magellium, Cap Gemini, Thales-IS) on apporté leur concours à son développement et sa validation.

 

Les dépôts d'avalanche sur le glacier du Miage vus par le produit neige Theia

Récemment j'ai extrait la carte de la durée de l'enneigement faite à partir des produits neige Theia pour la Direction Départementale des Territoires de Haute-Savoie (DDT 74). Pour cela j'ai traité quatre tuiles Sentinel-2 ce qui couvre une bonne partie des Alpes du Nord.

Durée de l'enneigement du 01 septembre 2017 au 31 aout 2018 calculée à partir des produits Theai

.

En inspectant cette image mon œil a été attiré par des anomalies positives sur la langue rocheuse du glacier du Miage au sud du Mont-Blanc (cliquer sur l'image pour agrandir).

Ces surfaces qui restent enneigées plus longtemps que leur voisinage sont des dépôts d'avalanche bien visibles sur Google Earth. Je n'ai pas trouvé la date de l'image utilisée par Google Earth mais on remarque la bonne correspondance entre les dépôts de cette photo instantanée et le produit de durée d'enneigement (un peu comme dans ce post historique) !


Note

Comme pour les Rocheuses Canadiennes, j'ai d'abord cherché la limite haute de l'altitude des zones de forêts pour ne garder que les zones ouvertes d'altitude où le produit Theia est le plus robuste. Ce qui m'a permis de conclure qu'en première approximation on peut conserver les zones situées au-dessus de 2000 m.

Densité du couvert forestier dans les tuiles T31TGL, T31TGM, T32TLR et T32TLS par tranche d'altitude d'après le produit Copernicus Tree Cover Density 2015 à 100 m de résolution. Pour chaque case, le trait rouge central indique la médiane, et les bords inférieur et supérieur indiquent respectivement les 25ème et 75ème percentiles. Les boites à moustaches s'étendent jusqu'aux points de données les plus extrêmes non considérés comme des valeurs aberrantes, et les valeurs aberrantes sont tracées individuellement à l'aide du symbole «+».

Les séries temporelles de niveau 3A de Sentinel-2

=>

Le mois d'avril, malgré un ennuagement certain, nous a de nouveau offert une belle synthèse sans nuages. En fait, les produits de Niveau 3A de Theia utilisent 46 jours centrés sur le 15 du mois, nous avons donc bénéficié du beau temps des derniers jours de mars ou des premiers jours de mai. Comme chaque mois, Peter Kettig du CNES a produit les synthèses de niveau 3A à partir des données Sentinel-2 du mois précédent. Une colonne de tuiles est dégradée sur l'Ouest de la France. Il s'agit d'un problème dû à la récupération des données Sentinel par PEPS. Nous allons la retraiter.
Les données à pleine résolution, avec leurs masques de qualité, peuvent être téléchargées depuis le serveur de distribution Theia au CNES.

Si vous n'avez pas peur d'y passer trop de temps, alors que de nombreuses urgences vous attendent, vous pouvez jeter un œil aux mosaïques de ces produits disponibles sur la France depuis Juillet. Chaque mosaïque est accessible à partir des liens ci-dessous :

Une chouette interface de visualisation (merci à Michel Lepage !), est aussi disponible ci-dessous, pour comparer la synthèse d'octobre avec celle des mois précédents.

voir en plein écran

Continue reading

Exploitation combinée de VENµS, Sentinel-2 and Landsat-8 : les bandes spectrales

=>

L’utilisation combinée des données de VENµS, Sentinel-2 et Landsat-8 peut permettre d’augmenter la probabilité d’obtenir des images sans nuage ou de suivre de manière détaillée des phénomènes à évolution rapide.

Afin de faciliter cette combinaison, le tableau ci-dessous présente de manière résumée les correspondances entre les bandes spectrales des instruments. VENµS ne comporte pas de bande spectrale dans le moyen infrarouge.

La figure ci-dessous présente les bandes spectrales de VENµS et Sentinel-2 dans le domaine 400 à 1000 nm. Les bandes SWIR de Sentinel-2 ne sont incluses.Le tableau ci-dessous présente les combinaisons de bandes usuelles

La figure ci-après permet d'apprécier le degré de similarité des réponses spectrales de ces bandes usuelles.

Les réponses spectrales détaillées de chaque instrument sont disponibles via les pages web suivantes :

VENµS

http://www.cesbio.ups-tlse.fr/multitemp/?page_id=14229

SENTINEL-2

https://earth.esa.int/web/sentinel/user-guides/sentinel-2-msi/document-library/-/asset_publisher/Wk0TKajiISaR/content/sentinel-2a-spectral-responses

LANDSAT

https://landsat.usgs.gov/spectral-characteristics-viewer

https://landsat.usgs.gov/landsat/spectral_viewer/bands/Ball_BA_RSR.xlsx

 

 

 

Trouvez l'intrus

=>

Parmi cette série temporelle d'images de niveau 2A de la tuile 31TCJ (Toulouse), il y a une intruse. Saurez vous déviner laquelle ?

 

Oui, c'est la dernière,, acquise le 26 Février. Mais qu'a t'elle de spécial ?

  • Le coin noir au sud-est ? Oui, mais c'est juste le résultat d'une orbite diffférente. Je ne vais quand même pas écrire tout un article là dessus.
  • La date ? Oui, vous chauffez.
  • Deux images séparées par un seul jour (les 25 et 26 février ?) ? Ah, là, vous brulez !

Continue reading

Detection de satellites par satellite

=>

Les avions perturbent largement nos images spatiales, en raison des traces de cristaux de glace qui se forment derrière eux et qui se transforment souvent peu à peu en voiles nuageux. Nous avons dû mettre en place une méthode de détection et de correction des traces d'avion. Chaque vol en avion, en plus de participer au réchauffement atmosphérique, à de bonnes chances de perturber nos observations optiques.

Image LANDSAT 8 acquise au dessus de Paris le 14/04/2013. A gauche, composition colorée RGB, à droite, image de la bande 1.38µm. A voir le nombre de traces d'avions, on se dit qu'il va falloir choisir entre voler ou observer la terre.


Mais une nouvelle nuisance est en train d'apparaître : les satellites eux mêmes. Plus de 4000 satellites orbitent autour de la terre, et avec la mode des nanosatellites, les lancements d'objets spatiaux se sont multipliés. 450 nouveaux objets sont apparus l'an dernier, plus de 500 sont prévus en 2019. Comme la plupart de ces satellites sont lancés en orbite basse, entre 400 et 600 km d'altitude, ils orbitent entre nos satellites d'observation préférés et la terre.

 

Et l'avenir est assez inquiétant (en général l'avenir est plus inquiétant que le passé) : d'après mon collègue du CNES, Christophe Bonnal : "L’entreprise américaine One Web a ainsi pour ambition de déployer 600 satellites d’ici trois ans afin de proposer un accès internet haut débit depuis l’espace. Plusieurs sociétés ont des projets similaires dans les tiroirs. Boeing a annoncé l’envoi de 2400 satellites. Samsung table quant à lui sur 4000, tandis qu’Elon Musk parle carrément de 12.000 engins".

 

Les 12000 satellites de la constellation Starlink seraient placés à 3 altitudes différentes (340 km, 550 km et 1200 km). Deux de ces altitudes seront donc visibles depuis l'orbite de Sentinel-2. Et déjà, la société Planet dispose d'environ 200 satellites à une altitude de 400 km.

 

Vu le grand nombre de satellites, je me suis demandé s'il était possible que les images de Sentinel-2 soient perturbées par la présence de satellites situés un peu plus bas. La possibilité est assez élevée, car finalement, la plupart des satellites d'observation optiques cherchent à faire leurs observations aux environs de 10h30 le matin. Avec un bon propagateur d'orbites, et grâce aux données du Norad, il est assez facile de trouver les moments où l'un des Sentinel-2 passe à la verticale d'un des satellites Planet situés juste en dessous. Et il n'y a plus qu'à chercher dans les images à quelques dizaines de mètres près.

 

Voici trois exemples de résultats obtenus, deux sur les images de ces derniers jours, et un plus ancien.  Même si les satellites planet sont assez petits, leur surface métallique reflète bien le soleil et laisse donc une trace visible sur nos images.

 

Image Sentinel-2 du 27 mars 2019, en Chine. Le satellite est visible au centre du cercle rouge. Voir le zoom présenté sur l'image de droite Le point brillant, à droite du centre de l'image est le satellite Planet Flock 1C-11,
 

Image Sentinel-2 du 27 mars 2019, en Espagne. Le satellite est visible au centre du cercle rouge. Voir le zoom présenté sur l'image de droite

Le point brillant, à droite du centre de l'image est le satellite Planet Flock 3R-8. Mes calculs avaient prévu qu'il serait au centre de l'imagette. Il doit y avoir un biais.

Ce dernier cas est intéressant, car observé juste après le lancement de la série Flock 3P par PSLV le 12 janvier 2018. On distingue bien, à gauche du centre de l'image, les traces de 3 satellites dont les orbites n'ont pas encore divergé. 

(Image Sentinel-2 observée au dessus de la Nouvelle Calédonie le 13 janvier 2018.)

 

Vue d'artiste du lancement des satellites Flock 3P

 

Bien, le phénomène est encore modeste, grâce à la petite taille et à l'orbite basse des satellites Planet, mais si des constellations sont lancées à une altitude plus proche de celle de Sentinel-2, ils pourront couvrir de nombreux pixels. Devrons nous recourir à la technique mise en place récemment par le gouvernement indien pour éviter la multiplication des traces blanches ?

Bon, ahem, bien sûr, cet article a été publié le premier avril, ne le prenez pas trop au sérieux.

 

[MUSCATE news] Slow production / Production ralentie

Following the installation of MUSCATE version 2.5, the production has resumed, but very slowly. It seems to be hampered by the archiving of data, which takes too much time. This causes traffic jams in the scheduler, an the team has no other solution right now than reducing the throughput of MUSCATE.We hope to solve this issue very soon.

We apologize for the delays due to this issue.

 

Après l'installation de la version 2.5 de MUSCATE, la production a repris, mais très lentement. La production semble être limitée par l'opération d'archivage des produits, ce qui cause des embouteillages dans notre orchestrateur. L'équipe d'exploitation a donc du réduire la taille des zones à traiter pour éviter ces plantages.Nous espérons résoudre ces problèmes au plus vite.

Nous vous prions de nous excuser pour les retards actuels de notre production.