Une nouvelle version des données SPOT4 (Take5) est disponible

Here are the thumbnails from the China(2) site, for which several dates were missing on the version 1.0. Please note that on the server, you may download all the dates at once by clicking on the 1C or 2A buttons.

Les équipes du CNES du pôle thématique surfaces continentales (récemment baptisé THEIA), viennent de retraiter les données  SPOT4 (Take5) dans le but de prendre en compte un certain nombre d'images qui manquaient lors du premier traitement, soit parce qu'elles n'avaient pas encore été reçues, soit parce que leur traitement avait échoué en raison de petits bugs.

 

Les traitements ont été traités par les mêmes méthodes et les paramètres, et la différence réside seulement dans le nombre de dates disponibles. Cependant, pour nos méthodes multi-temporelles et récurrentes du Niveau 2A, l'ajout d'une image a des répercussions sur les images suivantes. Nous vous conseillons donc de télécharger à nouveau la totalité des images des sites qui vous intéressent, à partir de l'adresse : http://spirit.cnes.fr/take5.

 

Sur notre segment sol prototype, la gestion des versions est très basique et ne tient compte que des versions des chaînes. Comme celles-ci n'ont pas évolué, les produits de la nouvelle version restent identifiés en version 1.0 dans les métadonnées (fichier xml). Nous comprenons que ce n'est pas très pratique et nous essaierons de l'améliorer pour les prochaines versions, en attendant, si vous aviez déjà téléchargé les données, vous allez devoir faire attention à ne pas mélanger ces deux versions.

 

A new version of the SPOT4(Take5) products is available.

Here are the thumbnails from the China(2) site, for which several dates were missing on the version 1.0. Please note that on the server, you may download all the dates at once by clicking on the 1C or 2A buttons.

=>

The CNES teams of the THEIA Land Data Center have reprocessed the SPOT4 (Take5) data, in order to take into account a large number of images that were not processed in the first place, because some data had not been yet received or because their processing had failed due to a few little bugs.

 

The same processors and parameters were used and the only difference is the increased number of available dates, but as the L2A methods are multi-temporal and recurrent, when we add an image, the results on the subsequent images are also changed. It is thus advisable that you download again all the products of the sites you are interested in, from the following address : http://spirit.cnes.fr/take5

 

On this prototype ground segment, our management of product versions is basic, and only takes the processors into account. As the processors are unchanged, the new version 1.1 products are still identified as level 1.0 products in the Metadata. We are sorry for this inconvenience, you will need to pay attention not to mix them with the older version.

 

A few missing images

=>

I just took a work break in the middle of my holidays, but as I was away, we received a few feedbacks from users, and CNES PTSC teams, with Mireille's help at CESBIO verified the data sets released on July the 16th, in quite a rush...

 

They found out that a few scenes were missing. For some of them, it was due to the late arrival of some images (just as for planes at the airport). These images have already been added to the server.

And there were a couple of bugs that mostly affected the sites made of several SPOT images (CNES and NASA sites), and ESA Chinese site. These glitches have been corrected and the reprocessing started. The whole data set will be updated before end of August, which will constitute the version 1.1 of the SPOT4(Take5) data set.

 

Keep posted on this blog, we will update it as soon as the data are available. Meanwhile, version 1 is still accessible here, and the format described there.

 

Quelques données manquantes

J'ai pris une petite semaine de travail de travail au milieu de mes vacances, mais pendant ce temps, nous avons reçu quelques retours d’utilisateurs, et les collègues de l'équipe d'exploitation et de l'équipe de développement du PTSC au CNES, avec l'appui de Mireille au CESBIO, ont vérifié les données qui avaient été mises à disposition le 16 juillet, un peu "à l'arrache", il faut le dire...

 

Ils se sont aperçus qu'il manquait un petit nombre de scènes, par-ci par là. Pour certaines d'entre elles, c'était dû à la réception tardive des données (comme ils disent quand les avions sont en retard). Ces données ont déjà été remises à disposition, discrètement, sur le serveur.

 

Et puis il y avait un petit bug, qui faisait que les sites composés de plusieurs images (les sites du CNES et de la NASA), perdaient quelques dates. Le site Chinois de l'ESA a aussi été victime d'un autre bug. Ces bugs ont été corrigés, et les traitements viennent d'être relancés. Nous mettrons les données à jour d'ici la fin du mois d'août. Ce sera bientôt la version 1.1 des données.

 

Nous vous informerons donc sur ce blog dès que ces informations seront disponibles.En attendant, les données de la version 1. sont toujours disponibles ici et le format des données, .

 

 

 

 

The adjacency effects, how they work.

As explained in the post about atmospheric effects, the scattering of light by molecules and aerosols in the atmosphere brings about several effects : scattering adds some haze on the images (the atmospheric reflectance), lessens the signal from the surface (the atmospheric transmission), and blurs the images (the adjacency effects). This post is about the adjacency effects, the other aspects have already been quickly explained in the above post.

 

The figure on the right shows the types of paths that light can follow before getting to the satellite. Path 1 corresponds to the atmospheric reflectance, path 2 is path that interacts with the target, it is the one which is useful to determine the surface reflectance, paths 3 and 4 contribute to the total reflectance but interact with the surface away from the target. These paths are thus the cause of adjacency effects and they blur the images.

 

 

If not corrected, adjacency effects may cause large errors. Let's take the case of a fully developed irrigated field surrounded by bare soil. For such a case, the second figure on the right shows the relative percentage of errors for reflectances and NDVI as a function of aerosol optical thickness, if adjacency effect is not corrected.

 

 

 

An approximate correction can be applied, but it thus requires to know the aerosol optical thickness. In our MACCS processor, here is how it works :

 

  1. We first correct the images under the assumption that the Landscape is uniform. We obtain a surface reflectance under uniform absorption which is noted  \rho_{s,unif} .
  2. We compute the neighbourhood reflectance (  \rho_{s,adj} ) using a convolution filter with a 2km radius, that computes the average neighborhood reflectance weighted by the distance to the target. To be fully rigorous, this filter should depend on the optical thickness and on the viewing and sun angle (The less aerosols, the larger radius), but as we did not work on an accurate model, we used a constant radius.
  3. We correct for the contribution of paths 3 and 4 using :

 \rho_{s}=\frac{\rho_{s,unif}.T^{\uparrow}.\frac{1-\rho_{s,unif}.s}{1-\rho_{s,adj}.s}-\rho_{s,adj}. T_{dif}^{\uparrow}}{T_{dir}^{\uparrow}}

  • where  T^{\uparrow}=T_{dif}^{\uparrow}+T_{dir}^{\uparrow} is the total upward transmission, sum of diffuse and direct upward transmissions, and s is the atmosphere spheric albedo. These quantities depend on the wavelength, on the aerosol model and on the AOT. They are computed using Look up Tables based on radiative transfer calculations.

 

As this processing uses convolution with a large radius, it takes quite a large part of the atmospheric processing time.

 

Result Exemples

The images below show 3 stages of the atmospheric processing, for 2 Formosat-2 images obtained over Montreal (Canada) with a 2 days interval. The first image was acquired on a hazy day (aerosol optical thickness (AOT) of 0.47 according to MACCS estimate); and the second one on a clear day (AOT=0.1).

  • The first line corresponds to the Top Of Atmosphere images, without atmospheric correction. The left image is obviously blurred compared to the right image.
  • The second line corresponds to the atmospheric correction under uniform landscape assumption (as in step 1). The left image is still obviously blurred compared to the right image.
  • the third line show the same images after adjacency effect correction. In that case, the left image is not blurred any more, it is even maybe a little over corrected as it seems somewhat sharper that the right image.

TOA Images (On the left, the hazy image)


Surface reflectance under uniform landscape assumption (on the left, the hazy image)

 

Surface reflectance after adjacency effect correction (on the left, the hazy image)

 

The pixel wise comparison of reflectances is also a way to show the enhancement due to the adjacency effect correction. The plot below compares the images of both dates corrected under the uniform landscape assumption (on the left), and after adjacency effect correction (on the right). You may observe that the dots are closer the the black diagonal on the right. On the hazy image (May 27th), the high reflectances are a little too low, while the low reflectances are a little too high, which is the symptom of a loss of contrast.

Les effets d'environnement, comment ça marche ?

=>

Comme expliqué dans l'article sur les effets atmosphériques, la diffusion de la lumière par les molécules et les aérosols présents dans l'atmosphère provoque plusieurs effets. La diffusion ajoute un voile aux données (la réflectance atmosphérique), atténue le signal en provenance de la surface (la transmission atmosphérique), et rend les images floues (les effets d'environnement). Cet article s'intéresse aux effets d'environnement, les autres aspects ont été abordés dans le lien fourni ci-dessus.

 

Le schéma ci-joint montre les différents types de trajets que peut suivre la lumière avant d'arriver au capteur. Le Trajet 1 correspond à la réflectance atmosphérique, le trajet 2 est proportionnel à la réflectance de la cible observée atténué par sa traversée de l'atmosphère, c'est celui qui nous intéresse et nous permet de retrouver la réflectance de surface. Les trajets 3 et 4 apportent au capteur une part de signal qui ne provient pas directement de la surface que le satellite observe mais de son voisinage (d'où le nom d'"effets d'environnement"). Ce sont ces trajets qui apportent du flou sur l'image.

 

Les effets d'environnement peuvent engendrer de fortes erreurs lorsqu'on observe une parcelle de végétation entourée de sols nus ou de végétation senescente. Pour un tel cas, la figure ci-dessous présente les erreurs en pourcentage de réflectance et de NDVI, si on ne prend pas en compte les effets d'environnement, en fonction de l'épaisseur optique des aérosols.

 

Il est possible de corriger ces effets de manière approchée, à condition de connaître la quantité d'aérosols. Dans les traitements de la chaîne MACCS, nous procédons de la manière suivante :

 

  1. Nous procédons à la correction atmosphérique en supposant que le paysage est uniforme. Nous obtenons une réflectance de surface sous hypothèse uniforme que nous notons  \rho_{s,unif} .
  2. Nous calculons la réflectance de l'environnement du pixel (  \rho_{s,env} ) en utilisant un filtre de convolution gaussien de 2 km de diamètre, qui calcule une moyenne pondérée de la réflectance environnante. En toute rigueur, ce filtre devrait dépendre de la quantité d'aérosols présents dans l'atmosphère (moins il y a d'aérosols, plus le rayon devrait être grand), et des angles de prise de vue, mais nous n'avons pas encore travaillé sur cet aspect, nous avons donc utilisé un filtre constant.
  3. Nous corrigeons finalement la réflectance des trajets 3 et 4 par la formule suivante :

 \rho_{s}=\frac{\rho_{s,unif}.T^{\uparrow}.\frac{1-\rho_{s,unif}.s}{1-\rho_{s,env}.s}-\rho_{s,env}. T_{dif}^{\uparrow}}{T_{dir}^{\uparrow}}

  •  T^{\uparrow}=T_{dif}^{\uparrow}+T_{dir}^{\uparrow} est la transmission atmosphérique montante totale, somme de la transmission atmosphérique diffuse et directe. s est l'albedo atmosphérique. Toutes ces grandeurs sont déduites de calculs de transfert radiatif et dépendent de la quantité et du type d'aérosols.

 

Cette correction qui implique l'utilisation de convolutions est assez lourde et prend près d'un quart du temps de correction atmosphérique.

 

Exemples de résultats

Les images ci dessous présentent 3 stades de la correction atmosphérique pour deux images Formosat-2 acquises au dessus du Canada, à deux jours d'intervalle, la première image est acquise un jour il y a beaucoup d'aérosols (épaisseur optique de 0.47 d'après nos calculs), alors que la seconde est acquise un jour très clair (épaisseur optique de 0.1 selon nos calculs).

 

  • La première ligne correspond aux images au sommet de l'atmosphère, sans correction atmosphérique. On voit bien que l'image de gaucheest plus floue.
  • La deuxième ligne correspond aux images corrigées en supposant le paysage uniforme. Il s'agit de l'image obtenue à l'issue de l'étape 1 dans la méthode décrite ci-dessus. L'image de gauche est toujours plus floue.
  • La troisième ligne présente ces mêmes images après la correction d'environnement. Dans ce cas, l'image de gauche n'est plus floue, elles est même légèrement trop nette (un peu de sur correction).

Images TOA (à gauche, l'image avec fort contenu en aérosols)

 

Images en réflectance de surface, en supposant le paysage uniforme (à gauche, l'image avec fort contenu en aérosols)

 

Images en réflectance de surface après correction des effets d'environnement (à gauche, l'image avec fort contenu en aérosols)

 

On peut aussi comparer point à point les réflectances pour juger de l'amélioration après correction des effets d'environnement. La courbe ci-dessous compare les images corrigées en supposant le paysage uniforme, et les images corrigées en tenant compte des effets d'environnement. On constate que les points se rapprochent de la diagonale après correction des effets d'environnement. Sur l'image du 27 mai, pour laquelle l'épaisseur optique est la plus forte, on note que les fortes réflectances sont un peu trop faibles, alors que les faibles réflectances sont un peu trop fortes, ce qui correspond bien à une perte de contraste.