Schedule for SPOT4 (Take5) reprocessing

We should be able to start reprocessing  SPOT4(Take5) data in January, and to release them in February (it is always risky to announce a date, we have already announced November, then December). This new version will also be produced on MUSCATE prototype processing center, implemented at CNES, for the THEIA Land data center.

 

Why does it take so long ?

 

  • The longest part was the negociation between CNES and CAP GEMINI about the modifications of MUSCATE.
  • The modification itself took a while, as it includes :
    • A major version change of SIGMA, which is CNES software for ortho-rectification. This new version will allow us to improve geometric accuracy using new reference images to take ground control points (GCPs), while the previous version only allowed us to work with LANDSAT 5 or 7, while the other solutions did not work because of a strange bug. Instead of LANDSAT 5 and 7, we will use the GEOSUD mosaic over France, which is a high quality mosaic produced by IGN, that covers the whole France. Elsewhere, we will use LANDSAT 8, which also provides a large gain in accuracy. And for the 4 sites, whose ortho-rectification was most difficult, we will the most cloudfree SPOT4(Take5) image as référence, which should provide us better quality GCPs.
    • We will be able to tell normal Level 1C failures due to cloud cover from possibly abnormal ones.
    • We will at last be able to process NASA's maricopa site, y separating it in two sites, one taken from the East, and the other from the West.
    • The level 2A chain was updated, and we will use a new aerosol model, with slightly larger particle sizes, which provide better results.
    • The Level 2 will provide 2 new flags that indicate the pixels for which the slope correction cannot be performed, for instance because these pixels lie in the shadow. We had forgotten these flags in our first version.
    • I do not know whether you are using the saturation masks or not. But these ones had a few defects that will be corrected in this new version.
    • The level 2A products will also contain nice quicklooks, on which clouds and shadow will be circled in colors. We will use them to perform a quicker validation of the processing, and we hope they will be useful for you too.
  • Until the end of the year, we will install the new version of MUSCATE prototype, then the processors, the parameters, and the new image references. The preparation of 45 reference images is quite some work.
  • Then, banzaï !,  we will validate all this stuff and start the reprocessing of version 2.0 of  SPOT4 (Take5) data.

 

 

Planning du retraitement de SPOT4(Take5)

=>

Nous pensons pouvoir lancer le retraitement des données SPOT4(Take5) au cours du mois de janvier 2014, pour une distribution des données en Février (il est toujours risqué d'annoncer des dates, nous avions initialement annoncé novembre, puis décembre).  Cette nouvelle version sera elle aussi produite sur le prototype de centre de production MUSCATE, implanté au CNES pour le compte du pôle THEIA.

 

Pourquoi une telle durée  ?

 

  • C'est la négociation de la commande de modification de MUSCATE auprès de CAP GEMINI qui a pris le plus de temps.
  • La modification elle-même inclut les aspects suivants :
    • Changement de version de SIGMA, le logiciel utilisé pour l'ortho-rectification. Ce changement nous permettra de gagner en précision en utilisant de nouvelles données de référence pour la prise de point d'appui, qui dans la version précédente plantait à cause d'un bug. Au lieu de LANDSAT 5 ou 7, nous utiliserons la mosaïque de GEOSUD pour toutes les données acquises en France, les données ont été traitées par l'IGN et sont donc très bien référencées. Ailleurs, nous utiliserons LANDSAT 8, qui lui aussi apporte un fort gain en précision. Et pour les 4 sites qui nous ont posé le plus de problèmes, nous pourrons utiliser l'une des images de la série SPOT4(Take5) comme référence, ce qui devrait fournir de meilleurs points d'appuis.
    • Nous aurons le moyen de faire la différence entre les productions de niveau 1C qui échouent en raison de la couverture nuageuse, et celles qui pourraient échouer pour d'autres raisons
    • Nous allons enfin pouvoir traiter le site Maricopa de la NASA, en le séparant en deux sites, l'un acquis depuis l'Est, l'autre depuis l'Ouest.
    • La chaîne de Niveau 2 a été mise à jour, nous utiliserons aussi un nouveau modèle d'aérosols, avec des particules un peu plus grosses que sur le modèle initial, qui fournissent de meilleurs résultats.
    • Nous fournirons dans le produit de Niveau 2 deux plans de flags qui indiquent les pixels pour lesquels la correction des effets du relief n'a pas pu être effectuée (par exemple si la pente est à l'ombre). Nous les avions oubliés dans les produits distribués jusqu'ici.
    • Je ne sais pas si vous utilisez les masques de saturation (si ce n'est pas le cas, vous avez tort), mais ceux ci présentaient quelques défauts qui vont être corrigés.
    • Les produits de Niveau 2A seront accompagnés de jolis quicklooks, où les nuages et leurs ombres seront entourés. Ils nous permettront de valider plus rapidement les traitements, et nous espérons qu'ils vous seront utiles.
  • D'ici la fin de l'année, nous allons donc installer sur le système la nouvelle version du prototype de MUSCATE, puis les chaînes, les paramètres, les nouvelles images de référence (GeoSud et LANDSAT 8). Préparer ces images de référence pour 45 sites n'est pas une mince affaire.
  • Puis, banzaï !,  nous validerons le tout et lancerons la production de la version 2.0 des données SPOT4 (Take5), avant de basculer tout ceci sur le serveur de distribution. A suivre.

 

 

Utilisation de séries temporelles d'images à haute résolution spatiale pour le suivi de biomasse fourragère

Figure 1 : Profil moyen de fCover sur la parcelle 4 calculé à partir d'images des différents capteurs utilisés.

=>

Le fCover est un paramètre biophysique calculé à partir d'observations satellitaires. Il permet de mesurer la fraction de couvert vert par unité de surface dans des conditions d'observation au nadir. Dans le cadre du produit d'assurance des prairies, ce paramètre est calculé à partir de synthèses décadaires d'images à moyenne résolution spatiale. Nous utilisons l'intégrale du profil annuel de fCover pour estimer la biomasse prairiale et construire l'Indice de Production Fourragère.

Notre premier travail de validation consiste tout d'abord à tester la relation existante entre la biomasse prairiale et la somme de fCover calculée sur des images à haute résolution spatiale. Un protocole de mesure terrain (d'après PV PROTIN, 2010. ARVALIS – Institut du Végétal) mis en place sur 6 parcelles de prairies dans la région toulousaine a été réalisé entre les mois de Mars et Juin 2013. Ces parcelles ont été choisies dans le but de faire varier les espèces prairiales et les modes d'exploitation des prairies (Tableau 1). Tous les 15 jours, une série de prélèvements est faite afin de mesurer la biomasse des parcelles à des endroits définis. Au total sur les 6 parcelles, il y a 320 points pour lesquels nous disposons d'une information de production à comparer avec le rendement estimé par télédétection.

Les parcelles se situent sur la zone SudMipy définie dans le programme d'acquisition SPOT4(Take5). De ce fait, nous avons pu bénéficier des images acquises dans le cadre de ce programme pour constituer nos séries temporelles sur chaque parcelle. Compte tenu des conditions climatiques du printemps 2013, nous avons du compléter le jeu d'images SPOT-4 (Take5) avec des images acquises par les capteurs Landsat-8, SPOT-6 et Formosat-2. Au final, nous disposons d'une image tous les 15 jours environ (Tableau 1).

Nom Couvert Surface (ha) Exploitation 

prairie

Couverture 

images

Parcelle 1 Luzerne 7,3 Fauche Take 5 : 6 / Spot 6 : 2 / Landsat 8 : 1
Parcelle 2 Prairies naturelles 9,4 Fauche Take 5 : 4 / Spot 6 : 1 / Landsat 8 : 1 / Formosat2 : 4
Parcelle 3 Ray-Grass 8,6 Ensilée début Mai /  Fauché fin Juin Take 5 : 5 / Spot 6 : 3 / Landsat 8 : 1
Parcelle 4 Prairies naturelles 6,0 Fauché fin juin Take 5 : 7/ Spot 6 : 2 / Landsat 8 : 1 / Formosat2 : 1
Parcelle 5 Fétuque / Dactyle / Trèfle Blanc 11,5 Fauche puis pâture Take 5 : 5 / Spot 6 : 2 / Landsat 8 : 2 / Formosat2 : 1
Parcelle 6 Fétuque / Dactyle 6,8 2 fauches, pas de pâturage Take 5 : 3 / Spot 6 : 2 / Landsat 8 : 1 / Formosat2 : 1

Tableau 1 : Caractéristiques des 6 parcelles sélectionnées

 

Figure 2 : Régression entre l'IPF et la Production

La figure 1 présente le profil moyen de fCover sur la parcelle 4 calculé à partir d'images des différents capteurs utilisés.La figure 2 présente la relation entre la production mesurée aux champs et estimée par télédétection. Le résultat de la régression linéaire entre l'IPF et la production mesurée  montre une corrélation forte entre les deux variables (R² = 0,76; α < 0,0001).

 

Cependant, plus les valeurs de productions sont fortes, plus l'écart à la moyenne des valeurs d'IPF tend à augmenter. Ceci s'explique en partie par la méthode de calcul de l'IPF qui ne prend pas en compte la partie en sénescence du couvert végétal. Il en résulte un écart entre la biomasse mesurée au champs et l'IPF.

 

En résumé, l'utilisation du fCover sur des séries temporelles à haute résolution spatiale montre qu'il est possible d'estimer la production des prairies à ce niveau d'échelle. L'IPF étant calculé à partir d'images à moyenne résolution spatiale, la prochaine étape consistera à exploiter le jeu de données SPOT-4 (Take5) pour valider l'indice sur un territoire représentatif du territoire que pourrait viser le produit d'assurance.

 

Anne Jacquin

Antoine Roumiguié

Université de Toulouse, Institut National Polytechnique de Toulouse, Ecole d’Ingénieurs de Purpan, UMR 1201 DYNAFOR, France.

La version v3.2 de l'OTB est sortie/ OTB v3.2 is out

Les collègues du CNES et de CS-SI viennent de sortir une nouvelle version de la bibliothèque open source Orfeo Tool Box. Parmi les améliorations, je suis sûr que vous serez nombreux à apprécier la segmentation "Large Scale Mean Shift", qui permet un traitement par tuiles qui donne le même résultat que celui qui serait obtenu sur l'image traitée en un seul bloc. Cette caractéristique sera très utile pour segmenter les volumineuses séries temporelles issues de Sentinel-2.

 

http://blog.orfeo-toolbox.org/news/otb-3-20-and-monteverdi2-0-6-are-out

 

CNES and CS-SI colleagues juste released a new version of the open source library Orfeo Tool Box. Among the enhancements, I am quite sure that many of you will like the new "Large Scale Mean Shift" segmentation application,  "which allows to perform tile-wise segmentation of very large images with theoretical guarantees of getting identical results to those without tiling". This feature will be especially useful to process Sentinel-2 huge time series.

Statistiques de téléchargements des données SPOT4(Take5)

=>

Trois mois et demi après le début de la diffusion des produits de l'exprience  SPOT4(Take5), nous pouvons examiner les statistiques des téléchargements effectués depuis le site de distribution du pôle THEIA : http://spirit.cnes.fr/take5/

 

  • 160 utilisateurs différents provenant de nombreux pays ont téléchargé des données, .
  • 75% des téléchargements concernent des produits de niveau 2A, et les utilisateurs qui ont téléchargé des produits de niveau 1C ont aussi, en général, téléchargé des données de niveau 2A.
  • 40% des téléchargements concernent des séries temporelles entières pour un site, 60% concernent des images mono-date. Si on tient compte du fait que les séries temporelles comportent en moyenne 14 dates, on en déduit que 90% des acquisitions sont téléchargées à partir de séries entières.
  • Chaque série temporelle a été téléchargée 12 fois en moyenne.
  • Deux utilisateurs (Français, je présume) prétendent s'appeler Titi et Toto.

Nombre de téléchargements de séries entières par site

 

Nous pouvons aussi obtenir un classement des 45 sites en fonction du nombre de téléchargements, et nous pouvons remarqué que chacun des 45 sites a été au moins téléchargé une fois. Ceci dit, même si les sites du CESBIO arrivent premiers, ce classement est probablement biaisé car certains laboratoires centralisent les télléchargements, alors que d'autres téléchargent plusieurs fois les données (parmi lesquels le CESBIO). Le dernier site de la liste a été ajouté récemment à la liste des sites.

 

Le nombre de communications ou de papiers par site sera bien plus intéressant, mais pour le moment, le compteur est bloqué à trois, pour autant que je sache (3 communications au Living Planet Symposium). Rappelez vous que la licence des données demande que chaque communication basée sur ces données soit envoyée au CNES (à Sylvia Sylvander et moi-même)

 

PS : ces informations sont obtenues grâce au formulaire saisi par chaque utilisateur, celui-ci est collecté dans la base de données mise en place par Jérome Gaspéri, et chaque mois, Bernard Specht, du CNES m'envoie les résultats.

SPOT4(Take5) data downloads statistics

Three and a half months after the first release of SPOT4 (Take5) products, we can draw a first analysis of the SPOT4(Take5) data downloads (from THEIA distribution website : http://spirit.cnes.fr/take5/)

 

  • 160 different users have downloaded data, from all over the world.
  • 75% of downloads are Level 2A products, and most of the users who downloaded Level 1C products also downloaded Level 2A.
  • 40% of downloads concern whole time series, 60% concern mono-date images, which means that, with an average number of 14 dates per site, about 90% of product downloads are downloaded as whole time series.
  • Each time series has been downloaded 12 times on average.
  • Two users (I would bet they are French) are named Titi and Toto

Number of downloads per site (only whole site archives)

We have also obtained a ranking of the 45 sites versus the number of downloads, and notice that all 45 sites where at least downloaded once. Well, although CESBIO sites come first (!), this is not a competition, and it is probably biased, as some well organised user groups centralise their downloads, while other labs (among which CESBIO...) have downloaded their sites several times. The least demanded site (Rennes), was added very recently to the list.

 

The number of communications or papers per site will be much more interesting, but as far as I know, the counter is still set to 3 (3 communications at the Living Planet Symposium). Please remember that users are requested to send us all their communications based on SPOT4(Take5) data.

 

PS : this information is gathered thanks to the information provided by users at each download, which is collected on the download site data base (designed by J.Gasperi (CNES)), and then provided to me each month by B.Specht (CNES).

Next Sentinel-2 Conference


Our colleagues from ESA/ESRIN are organizing a new workshop to discuss the status of the preparation of Sentinel-2 scientific applications and methods. The three days workshop will be held at ESA/ESRIN premises, next May in Frascati, near Rome. It would be good to have some talks and posters about the results obtained from SPOT4(Take5) experiment. The due date for submitting abstracts is January 31st.

http://seom.esa.int/S2forScience2014/

Nos collègues de l'ESA/ESRIN organisent un nouveau workshop pour faire le point sur la préparation des applications et méthodes scientifiques pour l'utilisation de Sentinel-2. L'atelier, qui durera trois jours, se tiendra dans les locaux de l'ESA à Frascati, près de Rome. Ce serait bien d'y présenter des résultats obtenus à partir de l'expérience SPOT4(Take5). La date limite pour soumettre vos résumés est le 31 janvier.

 

 

SPOT4(Take5) aerosol optical thickness validation results

We are currently preparing a data reprocessing of all SPOT4 (Take5) data, to be released before the end of 2013. For this, I tested several aerosol models and compiled all the validation results for our multi-temporal Aerosol Optical Thickness (AOT) estimation method named MACCS. Our estimates are compared to AERONET in-situ AOT measurements.

The MACCS method applied to SPOT4(Take5) data, which lacks a blue band, uses two procedures to estimate AOT :

  • either the AOT is estimated by a multi-temporal method
  • or it is gap-filled. The presence of gaps may be due to clouds, water or snow, or because the pixel reflectance is too-high for an accurate estmate, or because of a too large variation of reflectance with time is detected.

 

Comparison of MACCS AOT estimates with the in-situ measurements from AERONET. The blue dots correspond to cases for which the atmosphere is stable and for which there are no clouds in the neighborhood of the AERONET site. The red dots correspond to situations when the AERONET optical thickness varies around the satellite overpass time, or when clouds are detected in the image neighbourhood (20*20 km).
On the left plot, only the dates and sites for which less than 60% of the pixels were gap-filled; wheras the right plot only tolerates 20% of gap-filled pixels. The gap-filling method does not seem to introduce large amount of errors in wases when the atmosphere is stable, but it is less accurate in unstable cases..

 

The aerosol estimates have been obtained with MACCS prototype which is developed and maintained by Mireille Huc at CESBIO. The aerosol model is not the same as the one used for SPOT4 (Take5) first processing. This model is based on greater particles (with a modal radius of 0.2µm, compared to 0.1µm in the initial processing), as it provides a better overall agreement with AERONET measurements. We will use this model for most sites for SPOT4(Take5) reprocessing.

 

The RMS error of AOT estimates is 0.06, which is a state of the art performance, obtained in a very difficult condition with no blue band available. Moreover, in order to show more validation points, a few validation sites (Bruxelles, Gwangju, Ouarzazate, Wallops, NASA_LaRC) are in fact distant by more that 60 kilometers from the image footprint, which tends to degrade the performances.

 

The AERONET sites used in this study are :

 

SPOT4 Take5 Site
Aeronet Site
Belgium Brussels
South Great Plains Cart_Site
Korea Gwangju_GIST
Chesapeake NASA_LaRC
Chesapeake Wallops
Versailles Paris
Versailles Palaiseau
Tunisia Ben Salem
Maroc Saada
Maroc Ouarzazate
Sudmipy-Est Seysses + Le Fauga
Sudmipy-Ouest Seysses
Provence Carpentras
Provence Frioul

 

The worst results are obtained for the following sites :
  • Gwangju (Korea): The SPOT footprint in on the coast, while the AERONET site is 70 km inland, near a large town.
  • Ben Salem (Tunisia): this site was very cloudy in Spring, and large reflectance variations are observed between the remaining clear dates.
  • Palaiseau and Paris : In that case, the aerosol model seems to be inappropriate, and absorbing pollution aerosol should be introduced.

On the contrary, several sites provide very accurate results, for instance in Morocco (even the desertic Ouarzazate), Provence (including the Frioul Island where the AOT is extrapolated from the coast), and also Sudmipy, Wallops et Cart_site. Some SPOT4 (Take5) users reported inaccuracies on some tropical sites but we do not have an AERONET validation site near these SPOT4(Take5) sites.

 

Validation des épaiseurs optiques d'aérosols obtenues pour SPOT4(Take5)

=>

Nous sommes en train de préparer un retraitement des données SPOT4 (Take5) pour la fin de l'année. Pour en choisir les paramètres, j'ai compilé tous les résultats de validation des épaisseurs optiques mesurées par notre méthode MACCS, en les comparant avec celles mesurées par le réseau Aeronet. Dans la méthode MACCS appliquée à SPOT4(Take5), en l'absence d'une bande spectrale dans le bleu, l'estimation de l'épaisseur optique peut être faite de deux manières :

  • soit par inversion de l'épaisseur optique par la méthode multi-temporelle,
  • soit par bouchage de trous, les trous pouvant être dus à la présence de nuages, d'eau ou de neige, ou à la présence de pixels de réflectance trop forte ou ayant varié trop fortement entre deux dates.

 

Comparaison des épaisseur optiques mesurées avec MACCS avec celles mesurées in-situ par des photomètres du réseau Aéronet. Les points bleus correspondent aux cas où l'atmosphère est stable et où il n'y a pas de nuages dans le voisinage. Les points rouges correspondent aux cas où l'atmosphère est moins stable (variation de l'épaisseur optique en une heure) ou aux cas où des nuages sont détectés dans le voisinage de la mesure (20*20 km).
La courbe de gauche ne retient que les dates et sites ayant moins de 60% de pixels dont l'épaisseur optique est obtenue par bouchage de trous et pour celle de droite, seules les dates et sites ayant moins de 20% de pixels bouchés sont retenus. On constate que le bouchage de trous n'introduit pas trop d'erreurs dans les cas stables, mais en introduit davantage dans les cas instables.

 

Les estimations d'aérosols ont été obtenues avec le prototype de MACCS développé et maintenu par Mireille Huc au CESBIO. Le modèle d'aérosols n'est pas celui qui a été utilisé pour la première production de SPOT4 (Take5). Il s'agit d'aérosols un peu plus gros (rayon modal 0.2 µm, contre 0.1µm dans le traitement initial), qui fournissent un meilleur accord global avec les mesures d'Aeronet. C'est ce modèle qui sera utilisé dans le futur retraitement des données SPOT4 (Take5), pour la plupart des sites.

 

L'écart-type des mesures d'épaisseur optique pour les cas stables est de 0.06, ce qui est du niveau de l'état de l'art, et constitue une performance remarquable, compte tenu de la difficulté à estimer l'épaisseur optique des aérosols sans bande bleue. De plus, certains des sites Aéronet (Bruxelles, Gwangju, Ouarzazate, Wallops, NASA_LaRC) utilisés sont assez éloignés de l'image SPOT, parfois de plus de 60 kilomètres.

Les sites aéronet utilisés ici sont :

Site SPOT4 Take5 Site Aeronet
Belgique Bruxelles
South Great Plains Cart_Site
Korea Gwangju_GIST
Chesapeake NASA_LaRC
Chesapeake Wallops
Versailles Paris
Versailles Palaiseau
Tunisia Ben Salem
Maroc Saada
Maroc Ouarzazate
Sudmipy-Est Seysses + Le Fauga
Sudmipy-Ouest Seysses
Provence Carpentras
Provence Frioul

 
Les plus mauvais résultats sont obtenus pour les sites :

  • Gwangju (Korée): le site SPOT est en bord de mer, alors que le site Aeronet est à l'intérieur des terres, dans une grande ville (notamment les points rouges avec une forte épaisseur optique sur la courbe "_60".)
  • Ben Salem (Tunisie): sur ce site très nuageux au début de la période, de fortes variations des réflectances de surface alors que les images à peu près claires sont très espacées dans le temps.
  • Palaiseau et Paris : dans ce cas, le modèle d'aérosols utilisé pour tous les sites n'a pas l'air d'être le bon modèle, il faudrait rajouter des aérosols carbonés et absorbants.

En revanche, les sites Maroc, Provence (même l'extrapolation à l'ile du Frioul), Sudmipy, Wallops et Cart_site donnent d'excellents résultats.

 

Enfin, certains utilisateurs nous on rapporté des problèmes de correction atmosphérique pour les les sites forestiers équatoriaux, mais malheureusement (ou heureusement pour nos statistiques), aucun d'entre eux ne dispose d'un instrument du réseau AERONET.