Release of the first version of SPOT4 (Take5) data

 

Phew ! These last days were quite intense, but we did it (almost) ! We are very proud to announce that the first version of SPOT4 (Take5) will be released on Monday the 15th of July at the following site : https://www.ptsc.fr/en/products/spot4-take5. The data format is explained here.


It will be possible to download the whole time series by clicking on 1C and 2A buttons. However downloading a whole series might take some time. Several small issues have been observed but not yet corrected (see this paragraph), but we still think it is useful that you start working on our data despite the few bugs that affect them. Downloading a data set requires the user to accept a licence. With the current version of the web site, you will need to accept this license each time you download a file.

In our initial schedule, we had announced a distribution of data during the month of June, but we are just a bit late, and happy to have done it, accounting for the numerous tasks we had to fulfil.

 

  • We had to obtain the experiment decision, which was done by the 11th of December 2012, and we had to implement it. The last data were acquired less than one month ago, and they will be available with the whole time series.
  • We had to modify and tune the processing chains, and the geometry  kept us busy for several weeks (and still does over equatorial forests). The level 2A processor worked quite well from the beginning, thanks to Mireille Huc (CESBIO) !
  • It was the first production of the French Land Data Center. The ground segment was built and implemented simultaneously to the data acquisition, its development team did a very nice work (namely, Dominique Clesse from CAP GEMINI, Hassan Makhmara and Joelle Donadieu at CNES). The data processing in this changing environment was perfectly managed by the exploitation team, Nicolas Prugent, Karl Rodriguez (Steria), Eric Faucher (CNES)...
  • A simple but very nice data server was set up in a very short time by Jerome Gasperi and Bernard Specht (CNES). The result is very simple and convenient (it helped us finding the last bugs...)

Issues and bugs

The products on the data server should be considered as a preliminary version of the processing. Other versions will be distributed, because the data sets still have a few defects :

 

  • Because of a little bug, the overlapping sites (Midi-Pyrénées East and West, and Britanny) were badly processed. These sites will be processed again and released in about 10 days. For the same reason, Maricopa site (USA) could not be processed, it will be released probably in September.
  • One image at the south of Languedoc site is always missing. We do not know why yet, but there is no doubt it will be corrected shortly.
  • Some Level 1A  products were not provided by Spot Image (25 out of 1600). We will need to reprocess the affected sites.
  • For all sites, the reference image for ortho-rectification were taken from LANDSAT  5 or 7. From our point of view, their location accuracy is a little insufficient. On the next version, we will replace LANDSAT data in FRANCE by the GeoSud high resolution cover from 2009. Out of France, we will replace them by LANDSAT 8 data whenever possible.
  • Data ortho-rectification often fails on some uniform equatorial forest sites (in particular for Congo(2), Gabon, Borneo, Sumatra). As  a result several dates are missing and those available are not perfectly registered.
  • On the level 2A, atmospheric corrections were performed with a constant aerosol model globally. We will use different aerosol models depending on the location in a future version.

 

Finally, we want to draw your attention to the fact that SPOT4 data are coded on 8 bits and can be saturated. SPOT system uses a data base of histograms to determine the gains to use depending on the location and date. This database is far from perfect and saturated data are quite common. For sites resulting from the merger of several images, it is also possible that the saturation thresholds differ between the left and the right half of the site. We provide you, within Level 1C and level 2A products with a mask saturations that you really should use.

 

Despite these few defects, we wish that this data set will be useful for you, and that you will obtain good results for your experiment and for your preparation for the arrival of Sentinel-2.

 

Many of the SPOT4(Take5) team will leave for vacations in the coming weeks, this blog will b much less active as I leave today !

 

 

 

 

 

Première distribution des données SPOT4(Take5)

=>

Ouf ! Ces derniers jours ont été intenses, avec des découvertes de petits bugs à la dernière minute, et des corrections acrobatiques.  Mais nous sommes très fiers de vous annoncer que la version 1 des données de l'expérience SPOT4 (Take5) sera disponible à partir de lundi 15 juillet, depuis la page https://www.ptsc.fr/fr/produits/spot4-take5 . Le format des données est décrit ici.

 

Il est possible de télécharger d'un coup toute la série d'un site donné en cliquant sur les boutons noirs "1C" ou "2A". Le téléchargement d'une série entière peut prendre beaucoup de temps. Il reste quelques imperfections qui n'ont pas encore été corrigées (lisez ce paragraphe), mais il nous semble utile que vous puissiez commencer à travailler sur ces données malgré leurs petits défauts. Le téléchargement implique l'acceptation d'une licence. A chaque téléchargement d'un fichier, vous devrez accepter cette licence (désolé, c'est un peu lourd)

 

Nous avions annoncé une distribution à la fin juin dans notre projet initial, mais malgré quelques difficultés, nous avons réussi à distribuer ces données à la mi-juillet, ce qui est une belle performance, compte tenu de tous les travaux qui ont dû être réalisés pour en arriver là. La tâche n'était pas facile :

 

  • Il a fallu obtenir la décision de l'expérience, qui a finalement été prise le 11 décembre 2012, et il a fallu réussir sa mise en œuvre. Les dernières données ont été acquises il y a tout juste un mois. Elles seront disponibles avec les autres.
  • il a fallu que les chaînes fonctionnent bien, et la géométrie nous a posé quelques problèmes. Pour la chaîne de Niveau 2, à quelques détails près tout a bien fonctionné dès le départ, merci à Mireille Huc (CESBIO) !
  • il s'agit de la première production du PTSC, la mise en place du segment sol s'est donc faite en même temps que le déroulement de la manip, c'est donc une très belle performance de la part de l'équipe de développement (Dominique Clesse de CAP Gemini, et Joelle Donadieu et Hassan Makhmara du CNES), et de l'équipe d'exploitation (Nicolas Prugent, Karl Rodriguez (Steria), Eric Faucher (CNES)...)
  • il a fallu mettre en place un tout nouveau serveur de distribution des données, en un temps très court (Jérôme Gaspéri (CNES) et Bernard Specht (CNES)), avec un résultat très simple et pratique (par sa présentation synthétique des données, il nous a d'ailleurs permis de nous rendre compte de quelques bugs sur les traitements).

 


Défauts constatés

Les données actuellement distribuées sont une version préliminaire de nos traitements. D'autres versions suivront, car les données souffrent encore de quelques défauts (que nous n'avons pas peut-être pas encore tous repérés, je sais que vous ne tarderez pas à nous y aider).

  • En raison d'un petit bug, les données des sites dont une intersection est acquise sous plusieurs angles sont erronées : il s'agit de Midi-Pyrénées Sud-Est et Sud-Ouest, et du site Bretagne. Ces données doivent être retraitées et seront disponible dans une dizaine de jours. Pour la même raison, les données de Maricopa (USA) ne peuvent pas être fournies avec cette version.
  • Sur le site Languedoc, l'image la plus au sud (sur Montpellier) est manquante. Le temps de comprendre pourquoi et de retraiter, et les données seront mises à jour.
  • Quelques produits de niveau 1A ne nous ont pas encore été fournis par SPOT Image (25 sur 1600). Nous devrons retraiter les sites sur lesquels des données manquaient.
  • l'image de référence pour la superposition géométrique est issue de LANDSAT. A notre avis, la précision de localisation de ces images est un peu insuffisante. Pour les sites situés en France, nous remplacerons donc les images LANDSAT par la couverture GeoSUD de 2009. Pour les sites hors de France, nous envisageons de remplacer les données LANDSAT 5 par des données LANDSAT 8, mais il faudra attendre que celui ci ait acquis suffisamment de données.
  • L'ortho-rectification des données sur certains sites de forêt équatoriale très uniformes échoue fréquemment (particulièrement pour Congo(2), Gabon, Borneo, Sumatra). Il manque donc de nombreuses dates, et celles disponibles ne sont pas parfaites. Nous allons encore y travailler.
  • les traitements de Niveau 2 (corrections atmosphériques) ont été réalisés avec un modèle d'aérosols constant pour toute la planète. Nous devrons utiliser des modèles différents d'un site à l'autre, pour améliorer la qualité des séries temporelles.

 

Enfin, nous attirons votre attention sur le fait que les données acquises par SPOT4 sont initialement codées sur 8 bits et peuvent donc être saturées. le système SPOT utilise une base de données d'histogrammes pour déterminer les gains à utiliser. Cette base de données est loin d'être parfaite et les saturations des données sont assez fréquentes. Sur les sites résultant de la fusion de plusieurs images, il se peut aussi que les seuils de saturation diffèrent entre la partie gauche et la partie droite. Nous fournissons un masque de saturations dont nous vous recommandons l'utilisation.

 

Malgré ces quelques défauts, nous espérons que les données vous seront utiles et qu'elles vous permettront d'obtenir de bons résultats sur les sites qui vous intéressent, tout en vous préparant à l'arrivée de Sentinel-2.

 

Sur ce, de nombreux membres de l'équipe Take5, vont prendre quelques vacances. Pour ma part, c'est ce soir !

 

L1C registration performances for SPOT4(Take5) V1 products

Now that all SPOT4(Take5) images have been processed (pfew !), we can make an appraisal of the performances. Let's start by the geometry, which caused us a lot of trouble :

  • SPOT4 has a location accuracy around 400 mètres, but during the experiment, it went through a fifteen day period when the location errors could reach 1500 m.
  • We seek a multi-temporal registration performance of 0.3 pixel RMS. This performance is difficult to measure because the measurement technique itself (correlation image matching) is not perfectly accurate.
  • We provide as a criterion the maximum registration error observed for the 50% best results or for the 80% best results. It is likely that the last criterion includes less inaccurate measurements.

 

Here are the observed performances for 3 very different sites :

  • CMaroc site, which is an arid site with a green period in march, a lot of blue sky, and high mountains (the Atlas). performances are excellent, with errors lower than 0.3 pixels for 50% of the measurementsl.

 

  • CBretagneLoireE site, which is a rather flat coastal area with large tides, and is often very cloudy. In that case, performances are still better than 0.5 pixels. The worse dates correspond to images with a large cloud cover, for which it is not easy to automatically collect accurate ground control points.

 

  • JSumatra site is a very flat area, covered with very uniform equatorial forest, and a large river whose limits change with time. In that case, the performance is really bad, with registration errors up to 10 pixels. This uniform site does not enable to find good control points, and the ones that are found are often along the river whose contour changes with the water level.

 

Conclusions

We have obtained very good results for most sites, with registration errors below 0.5 pixels (10m) even when the initial location error reaches 1500m. However, 4 sites are resisting to this processing. These 4 sites correspond to flat forest sites covered by equatorial forest : JSumatra, JBorneo, EGabon, ECongo. The ECongo site is even so uniform that it is not possible to measure its registration performance.

These sites will be distributed with the others in a few days with the first version of the products, but you should use them cautiously.

Finally, if the registration of 95% of images is good, the location performance is inherited from our reference images, ie LANDSAT (5 et 7). The next versions will be based on Geosud (IGN) images in France and on LANDSAT 8 data elsewhere. Performances should be enhanced in the next versions.

Performances de superposition des produits 1C de SPOT4 (Take5)

=>

Maintenant que tous les produits de l'expérience SPOT4 (take5) ont été traités, nous pouvons en tirer un bilan de l'expérience. Commençons par la géométrie, qui est l'aspect qui nous a causé le plus de difficultés :

  • SPOT4 a une précision de localisation habituelle autour de 400 mètres, mais il a traversé une période d'une quinzaine de jours où la localisation des données pouvait s'écarter de 1500 mètres de la bonne valeur.
  • Nous cherchons à obtenir une précision de superposition proche de 0.3 pixels RMS. Cette performance est difficile à mesurer car l'outil de mesure lui même (corrélation automatique) n'est pas très précis.
  • Nous fournissons donc comme critère l'erreur maximale mesurée pour les 50% meilleurs résultats de superposition ainsi que la même valeur pour les 80% meilleurs résultats. Cette deuxième valeur inclut probablement des mesures peu précises.

 

A titre d'exemple, voici les résultats pour 3 sites :

  • Le site CMaroc, qui est un site aride, peu nuageux, fortement montagneux, très vert en Mars et très sec en Juin. Les performances sont excellentes, avec des écarts inférieurs à 0.3 pixels pour 50% des pixels sauf pour les trois premières dates, assez différentes de la date utilisée comme référence, acquise le 11 avril.

 

  • Le site CBretagneLoireE qui est un site plutôt plat, côtier (avec de forts effets de marées), et surtout très nuageux. Dans ce cas les performances pour 50% des pixels restent meilleures que 0.5 pixels. On note que les images ayant les moins bonnes performances sont des images très nuageuses, pour lesquelles il est difficile de trouver de bon points d'appui pour faire l'ortho-rectification, et aussi pour mesurer la performance.

 

  • Le Site JSumatra très plat, couvert de forêt équatoriale très uniforme, avec un large fleuve dont le niveau d'eau varie. Dans ce cas, la performance de superposition est très mauvaise (jusqu'à 10 pixels). Ce site uniforme ne permet pas de trouver de bons points de corrélation, et les points trouvés sont souvent sur le bord du fleuve, dont le contour est variable.

 

Conclusion

En conclusion, nous avons obtenus de très bons résultats pour la plupart des sites, passant d'erreurs de localisation allant jusqu'à 1500 mètres, à des erreurs de superposition inférieures à 0.5 pixels (10 mètres). Cependant, quatre sites résistent à ce traitement (non, pour une fois, ce n'est pas un petit site en Bretagne qui résiste). Ces 4 sites sont des sites équatoriaux : JSumatra, JBorneo, EGabon, ECongo. . Pour la prochaine version, nous utiliserons l'une des images de la série Take5 pour essayer d'améliorer les résultats. Pour le moment, un bug nous a emêché de le faire. Ceci dit, il n'est pas sûr que cela suffise :le site ECongo par exemple est tellement uniforme qu'il n'est même pas possible de mesurer automatiquement sa performance de superposition.Il faudra peut-être un traitement manuel pour ces sites.

Ces 4 sites seront distribués avec les autres, d'ici quelques jours, avec la première version des données, mais nous vous recommandons la plus grande prudence quant à l'utilisation de leurs résultats.

Enfin, si la superposition des données de 95% des images est bonne, notez que la localisation est celle de nos images de référence, c'est à dire LANDSAT (5 et 7). Là aussi, les prochaines versions seront réalisées avec de meilleures images de référence (Geosud (IGN) en France, LANDSAT8 ailleurs). Elles devraient donc apporter une amélioration.