Monitoring the snow cover in ski resorts using Sentinel-2

=>

 

We are preparing the distribution of maps of the snow cover extent made from the Sentinel-2 data for Theia. If the method used to detect the snow is based on well-proven concepts, spatial and temporal resolution of the snow maps will however quite unprecedented. Until now, maps of the snow cover extent were usually produced from MODIS observations at 500 m resolution, which is adapted to hydro-climatic studies to rather regional scales. Landsat data were actually little exploited by snow scientists because of their low repeatability. The deployment of Sentinel-2 mission (global coverage at 20 m resolution every 5 days) opens new perspectives for monitoring snow cover.
 
Continue reading

Suivi de l'enneigement des stations de ski avec Sentinel-2

=>

 

Dans le cadre du pôle thématique Theia nous préparons la distribution de cartes d'enneigement établies à partir des images Sentinel-2. Si la méthode utilisée pour la détection du manteau neigeux se base sur des concepts bien éprouvés, la résolution spatio-temporelle des cartes d'enneigement sera en revanche tout à fait inédite. Jusqu'ici les cartes d'enneigement était généralement produites à partir des observations MODIS à 500 m de résolution ce qui permet de faire des études hydro-climatiques à des échelles plutôt régionales. Les données Landsat étaient finalement assez peu exploitées par les nivologues en raison de leur faible répétitivité. Le déploiement de la mission Sentinel-2 (couverture globale à 20 m de résolution tous les 5 jours) ouvre de nouvelles perspectives pour le suivi de l'enneigement.
 
Continue reading

Une nouvelle éruption du piton de la fournaise, vue par Sentinel-2A (cette fois)

Eruption de septembre 2016 avec Sentinel-2A

Vous pouvez voir ci-dessus l'une des séries d'images emblématique de ce blog : les éruptions du Piton dela Fournaise de 2015, vues par SPOT5 (Take5). L'article correspondant a d'ailleurs engendré le record d'affluence sur ce blog.

 

L'objectif de l'expérience Take5 était de préparer les utilisateurs à l'arrivée de Sentinel-2, mais la situation a évolué et le satellite de l'ESA a été lancé en Juin 2015. Il vient d'observer la nouvelle éruption en cours à la Réunion. Vous pouvez noter comme les images se ressemblent. Nous avions bien simulé Sentinel2 !

 

Chacun peut donc aller observer les coulées de laves du volcan de son choix, sans besoin de l'aide de spécialistes, en utilisant par exemple des outils très pratiques comme sentinel-playground.

TOMCAR-Sat : Remote Sensing on the Yenisei river!

Since October 2015, the TOMCAR-Sat project aims to use high resolution satellite products to monitor Dissolved Organic Carbon (DOC) fluxes on the Arctic river Yenisei. Specifically, its objectives consist to calibrate a DOC retrieval model from time-series of satellite images and to characterize dynamics of the factors that may affect DOC concentrations, i.e. the snow cover and vegetation.

 

Spot 5 Take 5 (03/06/2015) - Yenisei river (Igarka, Russia)

Continue reading

SPOT(Take5) talks and posters at Living Planet Symposium

The SPOT(Take5) project had a one day session at the living planet symposium ! If it looked nice when we decided it, it turned out that it was not a true good idea. Most of the LPS 2016 sessions were thematic sessions (forest, agriculture, coasts, inland waters...), while the SPOT (Take5) sessions were jumping from one theme to the other. If overall we have reached much more than one hundred people, people kept getting in and out of the room depending on the themes. The session was named "lessons learned from the SPOT (Take5) experiment", and this is clearly one of the lessons we learned.

 

However, we had high quality presentations, and very good application examples worth spreading. To give this objectively wonderful project a little more deserved exposure, I have tried to gather most of the slides presented at the LPS to show them here. I may have missed some of the presentations, or some of the presenters might have missed my email asking for the slides. You can still send your presentation, and I will update the post.

Continue reading

MUSCATE bientôt prêt à produire les niveau 2A de Sentinel-2

=>

MUSCATE est un nom que vous avez pu lire à plusieurs reprises sur ce blog. Il s'agit du centre de production mis en place par le CNES pour Theia.  Nous avions un prototype de MUSCATE pour traiter les données SPOT (Take5), Landsat 8 ou SpotWorldHeritage. Mais pour la production des données de Sentinel-2, il nous fallait passer à la dimension supérieure. En se fondant sur le retour d'expérience du prototype, le CNES a lancé le développement d'une version opérationnelle de MUSCATE. Le développement est piloté par Joelle Donadieu et Céline l'Helguen, au CNES, et il a été confié à la société CAP GEMINI. Le système s'appuie aussi fortement sur l'excellent centre de calcul du CNES pour la production, et c'est bien sûr la chaîne MACCS qui fait les corrections atmosphériques et la détection des nuages.

 

Le système a été livré au CNES il y a quelques semaines et il est en cours de qualification technique. C'est un système extrêmement automatisé : après une phase de configuration, il ne reste plus qu'à déposer les données sur un répertoire prévu à cet effet, et les données sont progressivement assimilées, traitées en parallèle sur le cluster, et distribuées aux utilisateurs, sans intervention humaine.

Le système vient par exemple de traiter, en un rien de temps, les séries Sentinel-2 disponibles sur 16 tuiles, pour produire des niveaux 2A de Sentinel-2. Vous verrez ci-contre un extrait du catalogue avec des données produites sur l'Afrique du Sud.

 

Avant la mise en exploitation, prévue en juin ou juillet, il reste quelques étapes à franchir, notamment la prise en main de l'outil par les équipes d'exploitation, et la correction des petits bugs découverts lors de la première phase de qualification. La plus ennuyeuse correspond à la fonction de préparation des modèles numériques de terrain nécessaire à la fonction de correction des effets du relief, qui est tombée sur un bug dans une fonction de rééchantillonnage de gdal. Il nous faut donc un peu de travail pour contourner ces problèmes.

 

Ceci dit, je vous laisse admirer quelques uns des masques de nuages produits par MUSCATE et MACCS sur des données Sentinel-2 de la tuile 29RNQ au Maroc, au sud de Marrakech. L'image du 27 février a été acquise juste après une forte chute de neige sur l'Atlas qui malheureusement a vite fondu. Cette région vit d'ailleurs une forte sécheresse cette année. Les données sont corrigées des effets atmosphériques avec MACCS. Les nuages détectés par MACCS y sont entourés en vert, la neige en rose et l'eau en bleu. Tous les nuages sont bien détectés, les fausses détections très rares, et la seule confusion fréquente est la classification des couvertures neigeuses partielles en nuages. Les ombres seront détectées avec la prochaine version de MACCS, qui reprend les améliorations apportées pour Take5 et Landsat 8 par Mireille Huc du CESBIO.

 

29 décembre 2015 18 janvier 2016 17 février 2016
27 février 2016 18 mars 2016 16 avril 2016

Les données SPOT5 (Take5) de niveau 2A ont été retraitées

=>

Le projet SPOT5 (Take5) vient de publier une nouvelle version des données SPOT5 (Take5) de niveau 2 pour corriger un petit nombre de petits défauts détectés lors du premier traitement :

     

  • sur deux sites désertiques, parmi les plus brillants de la planète, en Libye et Tunisie, l'un des seuils de détection des nuages était réglé trop bas, et de grandes parts du désert étaient donc classées comme nuageuses. Le seuil a été augmenté spécifiquement pour ces deux sites.
  • Les produits de niveau 2A sur les sites nordiques n'étaient pas produits lorsqu'ils étaient complètement couverts de neige. Le problème a été résolu, mais il n'est pas possible d'y estimer l'épaisseur optique des aérosols lors des périodes de couverture neigeuse. Ils sont donc traités avec une épaisseur optique par défaut.
  • les ombres de nuages partiellement masquées par de grands nuages n'étaient souvent pas détectées. La méthode de détection des ombres de nuages a donc été entièrement revue, ce qui a permis une forte amélioration des masques d'ombres.
  • Les images d'épaisseur optique des aérosols étaient un peu trop bruitées, nous avons donc augmenté la taille de la fenêtre de lissage spatial.
  • un site (BrailaCasasuRomania) n'avait pas été traité à cause d'un problème sur le modèle numérique de terrain en entrée (et nous n'avions pas vu le message d'erreur sur notre système prototype). C'est maintenant corrigé, toutes nos excuses aux utilisateurs de ce site.

 

Quelques unes des images acquises sur le site de Braila, Roumanie

  • un site (DevonUK) avait de piètres performances de superposition (de l'ordre du pixel) en raison d'un problème avec l'image de référence. Cette image a été changée et les niveaux 1C et 2A reproduits.
  • L'ancienne version a été supprimée du site de distribution des données et remplacée par la nouvelle. The données reraitées sont disponibles ici :

    https://spot-take5.org

     

    Pour éviter toute confusion entre les anciennes et nouvelles versions sur vos diques, la nouvelle version peut être reconnue en vérifiant le champ ci dessous dans le header xml.

    <DATE_PROD>2016-xx-xx</DATE_PROD>


+

SPOT5 (Take5) reprocessed L2A data are online

=>

The SPOT5 (Take5) project just released a new version of all SPOT5 (Take5) L2A data to account for several small issues encountered during the first processing :

     

  • for two very bright desert sites (Libya, Tunisia), one cloud threshold was too low, and large parts of the desert were classified as clouds. The threshold has been changed specifically for these two sites.
  • the level 2A of Northern sites with a persistent snow cover were not issued in the first version. It has been solved, but as it is not possible to estimate aerosols above snow, they have been processed with a default Aerosol Optical Thickness value, as long as they are fully covered by snow.
  • the shadows below large clouds were often not detected. The shadow detection method has been completely reworked resulting in largely enhanced cloud shadow masks.
  • the Aerosol Optical Thickness images were a little too noisy, and the spatial smoothing of the values has been increased.
  • one site had been omitted because of a problem of DTM, which had been unnoticed (our processor is a prototype) :  BrailaCasasuRomania

Some extracts of the Level 2A products above the Romanian site of Braila.

  • one site (DevonUK) had a poor geometry because of a bad reference image. The reference image has been changed and the Level1C and level 2A have been reprocessed
  • The older version has been removed from the distribution site and replaced by the newer version. The reprocessed data are available here :

    https://spot-take5.org

     

    In order to avoid confusion between the older and newer version, you may check that the following HTML tag contains 2016 instead of 2015.

    <DATE_PROD>2016-xx-xx</DATE_PROD>


 

New shadows for SPOT5 (Take5)

=>

Don't worry, everything is fine for SPOT5 (Take5) ! While SPOT5 is peacefully getting some well deserved rest, THEIA just reprocessed the Take5 data to solve a little list of issues detected after the first processsing. The data should be released very soon. The most significant change involves the cloud shadows mask computed by MACCS processor . The masking method was completely changed, from floor to ceiling. It is the last work done by Mireille Huc on this processor before leaving for other projects.THEIA's users should be grateful to Mireille for all the excellent work she did on this method and software.

 

Shadow detection is even more difficult than cloud detection, because dark zones are quite frequent in most landscapes, and are more frequent than bright zones. As explained in this post, MACCS detects the "potential" shadows via a threshold on the darkening of pixels, then checks if the "potential shadows" may be traced back to a cloud.

 

Old method

The previous version was roughly based on the following steps :

1 - cloud detection

2 - compute darkening compared to reference image (a composite image made from the most recent cloud free observation for each pixel)

3 - for each altitude level between 500 and 10 000 m

  • geometric projection of the cloud shadow and computation of the mean darkening over the zone covered by the projection (excluding the zones covered by clouds).
  • select the H0 altitude with the maximal darkening

4. This altitude H0 is affected to all clouds and allows to compute the location of the shadows of all clouds

an additional step was added to account for cases when all the clouds within image are not at the same altitude

5. for all clouds :

  • check if the shadow zones correspond to a real darkening
  • for all couds for which darkening is too low
    • reiterate step 3 to find the cloud

 

This method worked quite well for small clouds, but could frequently fail for big clouds which masked a part of the shadow which lied beneath them. In this case, it was difficult to match the cloud and the shadow, as for instance in the image below :

On all the images showed here, the detected clouds are circled in green and the shadows are circled in black. On this image obtained with the previous method, most of the shadows are not detected.

New method

To avoid these issues, we have decided to stop trying to match directly clouds and shadows. The search of shadows in only restricted to zones where the detected clouds can cas shadows, and a final verification can solve the cases when the surface of the shadow is larger than the surface of the cloud.

 

 

The new version roughly works as follows :

1 - Clouds are detected

2 - for each cloud, search zone where clouds between 500 10000m altitude can cast shadows

  • search for darkened pixels within this zone
  • If total surface of darkened pixels is greater than cloud surface, adjust detection threshold to select darkest zones and reduce shadow surface to about the surface of the cloud

These images show the shadow detection from the previous version on the left, and from the new version on the right. Please click on the images to see them at a higher resolutions and observe the enhancement which is quite general. From top to bottom, the images come from Baotou, in China, Belgium and Central African Republic.

Image edges

On the image edges, shadows may have been projected by a sneaky cloud which is hidden outside the image. Up to now, within the zone where this can happen, we used to only do a simple threshold on darkening, with a conservative value to avoid false detections, which led to frequent omissions. Here, Mireille added a clever improvement which consists in guessing the darkening threshold from the darkening of the shadows obtained in the middle of the image, where we are more confident in the shadow detection quality.

In this case (Baotou, China), the shadow in the North West corner, which was undetected by the previous version has been detected now. But, because of a bug found too late, as the production was already running, sometimes the processor omits the last shadow in the list, after running through the images from left to right and from top to bottom. It is the case for the last clouds within this image.

Generalisation

This improvement, first implemented in MACCS prototype, which is used to produce the take5 images, is also being used to process the LANDSAT images produced to level 2A over France since the beginning of 2016, but we will not reprocess the older data. The improvement is also being implemented within MACCS operational version 5.0 and it will be applied to Sentinel-2 within MUSCATE.

Special case

We were unable to solve the issue of the image below, for which the apparent shadow is in fact a black cloud due to the explosion of a petrol storage facility !

 

De nouvelles ombres pour SPOT5 (Take5)

=>

Ne vous inquiétez pas, tout va bien pour SPOT5 (Take5) ! Alors que le satellite SPOT5 vit une retraite paisible, Theia vient de retraiter les données Take5 pour résoudre un petit nombre de problèmes détectés lors du premier traitement. Les données devraient être mises en ligne dans les jours qui viennent. La modification la plus importante concerne le masque des ombres de nuages, obtenu par la chaîne MACCS. Ce masque a été complètement revu, du sol au nuage. Il s'agit du dernier travail effectué par Mireille Huc sur cette chaîne avant son départ pour d'autres projets (les utilisateurs de MACCS pourront dire un grand merci à Mireille pour toute son oeuvre, dont cette dernière amélioration).

 

La détection des ombres est encore plus difficile que la détection des nuages, car les zones sombres sont beaucoup plus présentes que les images claires dans les images. Comme expliqué dans cet article, MACCS détecte les ombres "potentielles" par un seuillage sur l'assombrissement des images, puis vérifie qu'il arrive à faire la correspondance entre chaque ombre et le nuage dont elle provient.

 

Ancienne méthode

La version précédente fonctionnait (en gros) de la manière suivante :

1 - détection des nuages

2 - calcul de l'assombrissement de l'image par rapport à l'image de référence (image composite formée du dernier pixel clair disponible)

3 - pour chaque altitude entre 500 et 10 000 m

  • on calculait la projection de l'ombre des nuages et on calculait l'assombrissement moyen sur cette zone (en excluant les zones où l'ombre est masquée par le nuage)
  • on sélectionnait l'altitude H0 présentant le plus fort assombrissement moyen

4. on attribuait cette altitude H0 à tous les nuages et on projetait leur ombre

#étape supplémentaire pour tenir compte des cas où tous les nuages ne sont pas à la même altitude

5. pour tous les nuages :

  • on vérifiait si l'altitude correspondait bien à une ombre, sinon
  • pour tous les nuages dont l'ombre ne correspondait pas
    • On cherchait la bonne altitude par la méthode 3

 

Cette méthode marchait très bien pour de petits nuages, mais échouait fréquemment pour les grands nuages dont une partie de l'ombre est masquée par le nuage. Il était en effet difficile d'apparier les deux zones, comme par exemple dans l'image ci-dessous :

Sur toutes les images présentées ici, les nuages détectés sont entourés en vert et les ombres détectées en noir. Sur cette image obtenue avec l'ancienne méthode, la plupart des ombres du grand nuage ne sont pas détectées.

Nouvelle méthode

Pour éviter ces problèmes, nous avons décidé de ne plus essayer d'associer directement nuages et ombres. On réduit cependant la recherche des ombres aux zones où les nuages détectés peuvent produire des ombres, et une vérification finale permet de résoudre les cas où la surface des ombres détectées est plus grande que la surface du nuage.

 

 

La nouvelle version fonctionne (en gros toujours) de la manière suivante :

1 - on détecte les nuages

2 - pour chaque nuage, on recherche la zone où peuvent se cacher des ombres (pour une altitude allant de 250 à 10 000 m)

  • On cherche les zones qui se sont assombries à l'intérieur de ces zones
  • Si la surface de ces zones est supérieure à la surface des nuages, on ajuste le seuil de détection pour sélectionner les zones les plus sombres et donc réduire la surface

Ces images présentent, à gauche, l'ancienne version, et à droite, la nouvelle version.. N'hésitez pas à cliquer sur les images pour les voir à pleine résolution et pour observer l'amélioration, qui est assez générale. De haut en bas, les images choisies viennent des sites de Baotou (Chine), Belgique et République Centre Africaine.

Bords d'image

Sur les bords est de l'image, les ombres ont pu être projetées par un nuage sournois qui se cache en dehors de l'image. Jusqu'ici, à l'intérieur de cette zone, nous nous contentions donc de la détection de l'assombrissement, et pour éviter de nombreuses fausses détections, il fallait un fort assombrissement pour détecter une ombre. Ce qui provoquait donc de fréquentes omissions. Ici aussi, Mireille a apporté une élégante amélioration. Puisqu'il est probable que l'on ait détecté des ombres dans le reste de l'image par la méthode exposée ci-dessus, on peut mesurer leur assombrissement et s'inspirer de cette valeur pour définir le seuil de détection.

L'ombre de nuages dans le coin Nord ouest, qui n'était pas détectée dans la version précédente, l'est maintenant. Par contre en raison d'un bug détecté trop tard (la production était déjà lancée), il arrive que les ombres du dernier nuage, en parcourant l'image de gauche à droite puis de haut en bas, soient oublié.  C'est le cas sur cette image.

Généralisation

Cette amélioration appliquée dans notre prototype, qui sert à générer les images Take5, a également été mise en service pour LANDSAT 8 pour les images produites sur la France depuis le début de l'année, mais nour n'allons pas retraiter les anciennes données dans l'immédiat. L'amélioration est en train d'être reportée dans la version 5.0 de MACCS opérationnel et sera donc disponible pour traiter Sentinel-2.

 

Cas particulier

Nous n'avons rien pu faire pour le cas particulier ci dessous. L'ombre qui semble présente sur cette image est en fait un nuage de fumée noire, suite à l'explosion d'un dépôt de carburant !