Radar time series

=>

Thuy le Toan, Thi-Hoa Phan and Alexandre Bouvet from CESBIO just released a nice result on ESA website obtained with time series of Sentinel- 1A images.

 

 
On this very cloudy region, the C band radar Sentinel-1A allows to monitor the growth stages of rice, and allow to detect a large reduction of the surface of rice crops at the end of 2015, 2015, in the Mekong delta region. This region suffered from a severe drought related to the El Niño. This news gives us the opportunity to recall that Sentinel familly will receive a new member, Sentinel-1B, to be launched on April the 22nd.

It may be also an opportunity to great new authors on this blog, for instance to explain us how this nice result was obtained ?

Séries temporelles au radar

=>

Thuy le Toan, Thi-Hoa Phan et Alexandre Bouvet du CESBIO viennent de publier sur le site de l'ESA un beau résultat obtenu avec des séries temporelles d'images Sentinel...1-A (pour une fois sur ce blog, ce n'est pas Sentinel-2)

 

 

Sur cette région très nuageuse, Sentinel-1A permet de bien suivre les stades de croissance du riz, et a permis de détecter une forte diminution des cultures de riz sur le delta du Mekong, sur la fin de l'année 2015 marquée par une grande sécheresse liée au phénomène El Niño. Ce communiqué est l'occasion de vous rappeler que la famille des Sentinel va encore s'agrandir avec le lancement du satellite Sentinel-1B, ce vendredi 22 avril.

C'est aussi peut-être l'occasion d’accueillir de nouveaux auteurs sur ce blog, par exemple pour nous expliquer comment ce résultat a été obtenu ?

Les données SPOT5 (Take5) de niveau 2A ont été retraitées

=>

Le projet SPOT5 (Take5) vient de publier une nouvelle version des données SPOT5 (Take5) de niveau 2 pour corriger un petit nombre de petits défauts détectés lors du premier traitement :

     

  • sur deux sites désertiques, parmi les plus brillants de la planète, en Libye et Tunisie, l'un des seuils de détection des nuages était réglé trop bas, et de grandes parts du désert étaient donc classées comme nuageuses. Le seuil a été augmenté spécifiquement pour ces deux sites.
  • Les produits de niveau 2A sur les sites nordiques n'étaient pas produits lorsqu'ils étaient complètement couverts de neige. Le problème a été résolu, mais il n'est pas possible d'y estimer l'épaisseur optique des aérosols lors des périodes de couverture neigeuse. Ils sont donc traités avec une épaisseur optique par défaut.
  • les ombres de nuages partiellement masquées par de grands nuages n'étaient souvent pas détectées. La méthode de détection des ombres de nuages a donc été entièrement revue, ce qui a permis une forte amélioration des masques d'ombres.
  • Les images d'épaisseur optique des aérosols étaient un peu trop bruitées, nous avons donc augmenté la taille de la fenêtre de lissage spatial.
  • un site (BrailaCasasuRomania) n'avait pas été traité à cause d'un problème sur le modèle numérique de terrain en entrée (et nous n'avions pas vu le message d'erreur sur notre système prototype). C'est maintenant corrigé, toutes nos excuses aux utilisateurs de ce site.

 

Quelques unes des images acquises sur le site de Braila, Roumanie

  • un site (DevonUK) avait de piètres performances de superposition (de l'ordre du pixel) en raison d'un problème avec l'image de référence. Cette image a été changée et les niveaux 1C et 2A reproduits.
  • L'ancienne version a été supprimée du site de distribution des données et remplacée par la nouvelle. The données reraitées sont disponibles ici :

    https://spot-take5.org

     

    Pour éviter toute confusion entre les anciennes et nouvelles versions sur vos diques, la nouvelle version peut être reconnue en vérifiant le champ ci dessous dans le header xml.

    <DATE_PROD>2016-xx-xx</DATE_PROD>


+

SPOT5 (Take5) reprocessed L2A data are online

=>

The SPOT5 (Take5) project just released a new version of all SPOT5 (Take5) L2A data to account for several small issues encountered during the first processing :

     

  • for two very bright desert sites (Libya, Tunisia), one cloud threshold was too low, and large parts of the desert were classified as clouds. The threshold has been changed specifically for these two sites.
  • the level 2A of Northern sites with a persistent snow cover were not issued in the first version. It has been solved, but as it is not possible to estimate aerosols above snow, they have been processed with a default Aerosol Optical Thickness value, as long as they are fully covered by snow.
  • the shadows below large clouds were often not detected. The shadow detection method has been completely reworked resulting in largely enhanced cloud shadow masks.
  • the Aerosol Optical Thickness images were a little too noisy, and the spatial smoothing of the values has been increased.
  • one site had been omitted because of a problem of DTM, which had been unnoticed (our processor is a prototype) :  BrailaCasasuRomania

Some extracts of the Level 2A products above the Romanian site of Braila.

  • one site (DevonUK) had a poor geometry because of a bad reference image. The reference image has been changed and the Level1C and level 2A have been reprocessed
  • The older version has been removed from the distribution site and replaced by the newer version. The reprocessed data are available here :

    https://spot-take5.org

     

    In order to avoid confusion between the older and newer version, you may check that the following HTML tag contains 2016 instead of 2015.

    <DATE_PROD>2016-xx-xx</DATE_PROD>


 

New shadows for SPOT5 (Take5)

=>

Don't worry, everything is fine for SPOT5 (Take5) ! While SPOT5 is peacefully getting some well deserved rest, THEIA just reprocessed the Take5 data to solve a little list of issues detected after the first processsing. The data should be released very soon. The most significant change involves the cloud shadows mask computed by MACCS processor . The masking method was completely changed, from floor to ceiling. It is the last work done by Mireille Huc on this processor before leaving for other projects.THEIA's users should be grateful to Mireille for all the excellent work she did on this method and software.

 

Shadow detection is even more difficult than cloud detection, because dark zones are quite frequent in most landscapes, and are more frequent than bright zones. As explained in this post, MACCS detects the "potential" shadows via a threshold on the darkening of pixels, then checks if the "potential shadows" may be traced back to a cloud.

 

Old method

The previous version was roughly based on the following steps :

1 - cloud detection

2 - compute darkening compared to reference image (a composite image made from the most recent cloud free observation for each pixel)

3 - for each altitude level between 500 and 10 000 m

  • geometric projection of the cloud shadow and computation of the mean darkening over the zone covered by the projection (excluding the zones covered by clouds).
  • select the H0 altitude with the maximal darkening

4. This altitude H0 is affected to all clouds and allows to compute the location of the shadows of all clouds

an additional step was added to account for cases when all the clouds within image are not at the same altitude

5. for all clouds :

  • check if the shadow zones correspond to a real darkening
  • for all couds for which darkening is too low
    • reiterate step 3 to find the cloud

 

This method worked quite well for small clouds, but could frequently fail for big clouds which masked a part of the shadow which lied beneath them. In this case, it was difficult to match the cloud and the shadow, as for instance in the image below :

On all the images showed here, the detected clouds are circled in green and the shadows are circled in black. On this image obtained with the previous method, most of the shadows are not detected.

New method

To avoid these issues, we have decided to stop trying to match directly clouds and shadows. The search of shadows in only restricted to zones where the detected clouds can cas shadows, and a final verification can solve the cases when the surface of the shadow is larger than the surface of the cloud.

 

 

The new version roughly works as follows :

1 - Clouds are detected

2 - for each cloud, search zone where clouds between 500 10000m altitude can cast shadows

  • search for darkened pixels within this zone
  • If total surface of darkened pixels is greater than cloud surface, adjust detection threshold to select darkest zones and reduce shadow surface to about the surface of the cloud

These images show the shadow detection from the previous version on the left, and from the new version on the right. Please click on the images to see them at a higher resolutions and observe the enhancement which is quite general. From top to bottom, the images come from Baotou, in China, Belgium and Central African Republic.

Image edges

On the image edges, shadows may have been projected by a sneaky cloud which is hidden outside the image. Up to now, within the zone where this can happen, we used to only do a simple threshold on darkening, with a conservative value to avoid false detections, which led to frequent omissions. Here, Mireille added a clever improvement which consists in guessing the darkening threshold from the darkening of the shadows obtained in the middle of the image, where we are more confident in the shadow detection quality.

In this case (Baotou, China), the shadow in the North West corner, which was undetected by the previous version has been detected now. But, because of a bug found too late, as the production was already running, sometimes the processor omits the last shadow in the list, after running through the images from left to right and from top to bottom. It is the case for the last clouds within this image.

Generalisation

This improvement, first implemented in MACCS prototype, which is used to produce the take5 images, is also being used to process the LANDSAT images produced to level 2A over France since the beginning of 2016, but we will not reprocess the older data. The improvement is also being implemented within MACCS operational version 5.0 and it will be applied to Sentinel-2 within MUSCATE.

Special case

We were unable to solve the issue of the image below, for which the apparent shadow is in fact a black cloud due to the explosion of a petrol storage facility !

 

De nouvelles ombres pour SPOT5 (Take5)

=>

Ne vous inquiétez pas, tout va bien pour SPOT5 (Take5) ! Alors que le satellite SPOT5 vit une retraite paisible, Theia vient de retraiter les données Take5 pour résoudre un petit nombre de problèmes détectés lors du premier traitement. Les données devraient être mises en ligne dans les jours qui viennent. La modification la plus importante concerne le masque des ombres de nuages, obtenu par la chaîne MACCS. Ce masque a été complètement revu, du sol au nuage. Il s'agit du dernier travail effectué par Mireille Huc sur cette chaîne avant son départ pour d'autres projets (les utilisateurs de MACCS pourront dire un grand merci à Mireille pour toute son oeuvre, dont cette dernière amélioration).

 

La détection des ombres est encore plus difficile que la détection des nuages, car les zones sombres sont beaucoup plus présentes que les images claires dans les images. Comme expliqué dans cet article, MACCS détecte les ombres "potentielles" par un seuillage sur l'assombrissement des images, puis vérifie qu'il arrive à faire la correspondance entre chaque ombre et le nuage dont elle provient.

 

Ancienne méthode

La version précédente fonctionnait (en gros) de la manière suivante :

1 - détection des nuages

2 - calcul de l'assombrissement de l'image par rapport à l'image de référence (image composite formée du dernier pixel clair disponible)

3 - pour chaque altitude entre 500 et 10 000 m

  • on calculait la projection de l'ombre des nuages et on calculait l'assombrissement moyen sur cette zone (en excluant les zones où l'ombre est masquée par le nuage)
  • on sélectionnait l'altitude H0 présentant le plus fort assombrissement moyen

4. on attribuait cette altitude H0 à tous les nuages et on projetait leur ombre

#étape supplémentaire pour tenir compte des cas où tous les nuages ne sont pas à la même altitude

5. pour tous les nuages :

  • on vérifiait si l'altitude correspondait bien à une ombre, sinon
  • pour tous les nuages dont l'ombre ne correspondait pas
    • On cherchait la bonne altitude par la méthode 3

 

Cette méthode marchait très bien pour de petits nuages, mais échouait fréquemment pour les grands nuages dont une partie de l'ombre est masquée par le nuage. Il était en effet difficile d'apparier les deux zones, comme par exemple dans l'image ci-dessous :

Sur toutes les images présentées ici, les nuages détectés sont entourés en vert et les ombres détectées en noir. Sur cette image obtenue avec l'ancienne méthode, la plupart des ombres du grand nuage ne sont pas détectées.

Nouvelle méthode

Pour éviter ces problèmes, nous avons décidé de ne plus essayer d'associer directement nuages et ombres. On réduit cependant la recherche des ombres aux zones où les nuages détectés peuvent produire des ombres, et une vérification finale permet de résoudre les cas où la surface des ombres détectées est plus grande que la surface du nuage.

 

 

La nouvelle version fonctionne (en gros toujours) de la manière suivante :

1 - on détecte les nuages

2 - pour chaque nuage, on recherche la zone où peuvent se cacher des ombres (pour une altitude allant de 250 à 10 000 m)

  • On cherche les zones qui se sont assombries à l'intérieur de ces zones
  • Si la surface de ces zones est supérieure à la surface des nuages, on ajuste le seuil de détection pour sélectionner les zones les plus sombres et donc réduire la surface

Ces images présentent, à gauche, l'ancienne version, et à droite, la nouvelle version.. N'hésitez pas à cliquer sur les images pour les voir à pleine résolution et pour observer l'amélioration, qui est assez générale. De haut en bas, les images choisies viennent des sites de Baotou (Chine), Belgique et République Centre Africaine.

Bords d'image

Sur les bords est de l'image, les ombres ont pu être projetées par un nuage sournois qui se cache en dehors de l'image. Jusqu'ici, à l'intérieur de cette zone, nous nous contentions donc de la détection de l'assombrissement, et pour éviter de nombreuses fausses détections, il fallait un fort assombrissement pour détecter une ombre. Ce qui provoquait donc de fréquentes omissions. Ici aussi, Mireille a apporté une élégante amélioration. Puisqu'il est probable que l'on ait détecté des ombres dans le reste de l'image par la méthode exposée ci-dessus, on peut mesurer leur assombrissement et s'inspirer de cette valeur pour définir le seuil de détection.

L'ombre de nuages dans le coin Nord ouest, qui n'était pas détectée dans la version précédente, l'est maintenant. Par contre en raison d'un bug détecté trop tard (la production était déjà lancée), il arrive que les ombres du dernier nuage, en parcourant l'image de gauche à droite puis de haut en bas, soient oublié.  C'est le cas sur cette image.

Généralisation

Cette amélioration appliquée dans notre prototype, qui sert à générer les images Take5, a également été mise en service pour LANDSAT 8 pour les images produites sur la France depuis le début de l'année, mais nour n'allons pas retraiter les anciennes données dans l'immédiat. L'amélioration est en train d'être reportée dans la version 5.0 de MACCS opérationnel et sera donc disponible pour traiter Sentinel-2.

 

Cas particulier

Nous n'avons rien pu faire pour le cas particulier ci dessous. L'ombre qui semble présente sur cette image est en fait un nuage de fumée noire, suite à l'explosion d'un dépôt de carburant !

Du nouveau à Theia

Dans le poisson (même d'Avril), tout n'est pas bon. Rétablissons les faits :

  • Après avoir lancé le projet Theia sur de bons rails, Marc Leroy quitte bien la direction technique du projet (mais il ne sera pas bien loin...)
  • Le remplaçant de Marc pour le CNES n'est pas encore connu (mais on sait que ce n'est pas Yann Kerr)

 

Si vous tenez malgré tout à lire mes élucubrations poissonnières :

Continue reading