The second SPOT4 (Take5) swinging workshop

Rappel : Le CNES invite tous les utilisateurs des données SPOT4 (Take5) à un atelier de deux jours dans les locaux du CNES à Toulouse, du 18 au 19 novembre 2014. Un an et demi après l'expérience SPOT (Take5), et un an après la première réunion des utilisateurs, ce sera l'occasion de faire le point sur les résultats obtenus pendant l'expérience SPOT (Take5), et de conclure sur l'adéquation des produits distribués par le pôle THEIA et sur l'adaptation des futures données Sentinel-2 aux besoins.

 

N'oubliez donc pas de noter cette date sur vos agendas, et si vous souhaitez participer, d'envoyer un message à sylvia.sylvander@cnes.fr, avant le 15 Septembre, en lui précisant si vous souhaitez faire une présentation (avec le titre et quelques lignes d'explications).

 

Numéro Spécial SPOT4 (Take5)

Par ailleurs, le journal Remote Sensing a accepté de publier un numéro Spécial consacré à SPOT4 (Take5). Toutes les informations sont fournies ici, et la date limite pour soumettre les papiers est le 28 février 2015.

 

Reminder : CNES is inviting all the users of SPOT4-(Take5) data to a 2 days meeting in CNES Toulouse,  on the 18th and 19th of November. One year and a half after the experiment took place, and one year after the first SPOT4 (Take5) users meeting, it will be time to summarize the results obtained by SPOT4 (Take5) users and to conclude on the suitability of THEIA's products for users, and on the applicability of Sentinel-2 data depending on the applications.

 
So please save the date, and send an email to sylvia.sylvander@cnes.fr before the 15th of September, about whether you intend to participate and whether you intend to give a talk (with a title and a very short abstract).

 

SPOT4 (Take5) Special Issue

Morover, the Remote Sensing journal accepted to publish a special issue about the SPOT4(Take5) experiment. All the information is here, and the deadline for submitting scientific papers is the February the 28th, 2015.

Landsat Download (the good things with free software)

=>

Those who know me know that I work with Linux and that I like to use free softwares, even if it is not always easy at CNES where everything is around windows :-( . But before I started this blog, I had never contributed with free software. A few months ago, I published here two pieces of code, one is SMAC (I just did a translation into Python), to do easy but approximate atmospheric corrections, the other is Landsat Download, to automatically download Landsat data from USGS website. These two codes are among the pages most often read in this blog.

 

A few weeks ago, one user of Landsat-Download tool suggested to host the code on GitHub, and I did it at the end of July (I published a piece of code for the first time !). And it was a pleasure to discover that a few days later, I had two contributions to this code, one from Jake Brinkmann, who added a nice progress bar, and one from Michel Lepage from CESBIO, which contributes to an interface simplification that I just implemented in the new version.

 

In brief, the module I released has been nicely enhanced, and as I am one of the main users, I benefit from it every day. Well, I know that my colleagues who have been producing free softwares since their childhood will say that I just re-invented the wheel....

 

And finally, remember that, if you need well processed LANDSAT data over France, with cloud masks and atmospheric correction, you might also try the products provided by THEIA.

 

Landsat Download (les bienfaits du logiciel libre)

=>

Ceux qui me connaissent savent que je travaille avec linux et que j'apprécie l'utilisation des logiciels libres, bien que cela présente certaines difficultés au CNES où tout fonctionne autour de windows :-( . Mais avant d'écrire ce blog, je n'avais pas contribué à la fourniture d'outils libres. Depuis quelques mois, j'ai mis à disposition deux petits codes sur ce blog, l'un, SMAC, pour faire facilement des corrections atmosphériques approchées, l'autre, Landsat Download, pour télécharger les données LANDSAT automatiquement depuis le site de l'USGS. Très rapidement, ces deux pages se sont classées parmi les pages les plus lues et les plus commentées de ce blog (souvent pour signaler des bugs...). Pour SMAC, je n'ai fait que le portage en Python.

 

Dernièrement, un des utilisateurs de Landsat-Download m'a suggéré de passer le code sous GitHub, et c'est chose faite depuis la fin du mois de juillet. J'ai donc vraiment publié mon premier code (enfin, mon premier petit module...). Et c'est avec grand plaisir que j'ai découvert très rapidement deux contributions à ce code, Jake Brinkmann (que je ne connais pas) a ajouté une jolie barre de progression des téléchargements, alors que Michel le Page (mon collègue de bureau), contribuait à simplifier l'interface.

 

Bref, le module que j'ai fourni a bien progressé, il est devenu plus pratique, et comme j'en suis le premier utilisateur, j'en profite tous les jours! Bon, je sens que mes collègues qui produisent des logiciels libres depuis leur plus tendre enfance vont me dire que j'ai découvert l'eau tiède...

 

Enfin, si vous avez besoin de données LANDSAT sur la France, avec un masque de nuages précis et une bonne correction atmosphérique, vous pouvez utiliser les produits distribués par THEIA.

Une station d'observation permanente au sommet d'une falaise

Des collègues du CESBIO, du LTHE, de l'ONERA et de l'INRA, ont mis en place une station permanente au sommet d'une falaise, dans le massif de la Chartreuse, près de Grenoble en France, pour y installer un énorme radiomètre micro-ondes. Cet instrument fonctionne sur le même principe que le satellite SMOS et permet donc de mesurer des températures de brillance et d'en déduire l'humidité des sols.

 

Cette station est maintenant quasiment opérationnelle. Depuis cette falaise, il est possible d'observer très régulièrement au cours de la journée toute une zone de forêts, prairies, et quelques cultures. Un programme d'expérimentations et d'observations in-situ se met en place au sol pour valider les mesures de télédétection... depuis le haut de la falaise. Et tout ceci pourra être utilisé pour valider les mesures de télédétection depuis le satellite, et pour préparer de nouvelles missions spatiales.

 

La plate-forme accueille aussi un radiomètre thermique (Pyromètre KT19) et une petite caméra optique. Elle pourrait accueillir d'autres instruments (sur la petite plat-forme au dessus du radiomètre) qui fourniraient de superbes séries temporelles à la fois à long terme mais aussi pour étudier les variations diurnes. Je pense notamment à des observations dans le thermique. N'hésitez pas à contacter mon collègue arnaud.mialon@cesbio.cnes.fr, si ce projet vous intéresse.

SPOT5 (Take5) : a step forward / un pas en avant

CNES just gave a green light to go on with the studies to repeat the Take5 experiment with SPOT5. These studies will determine the exact cost of the experiment and see if it fits with what could be available, accounting for ESA's help. If everything goes well, the experiment would start around April 2015, until the end of August 2015. It will provide the opportunity, for several sites, to anticipate the launch of Sentinel-2. I do not know yet how the sites would be chosen, but I will keep you posted.

Le CNES vient de donner son feu vert pour poursuivre les études de faisabilité d'une nouvelle expérience Take5 réalisée avec SPOT5. Ces études auront notamment pour but de déterminer le coût exact de l'expérience et de voir s'il correspond aux budgets qui peuvent être dégagés, avec l'aide de l'ESA. Si tout se passe bien, l'expérience démarrerait en Avril 2015 et durerait jusqu'à fin Août, elle permettrait donc d'anticiper le lancement de Sentinel-2 pour quelques sites. Je ne sais pas encore comment les sites seraient choisis, mais je vous tiens bien sûr au courant.

And now, LANDSAT 8 2014

A partir de maintenant, le pôle THEIA mettra en ligne tous les mois un lot de données LANDSAT 8 supplémentaire, récemment acquises au dessus de la France. Le dernier lot publié va jusqu'au 31 mai 2014. Les données sont toujours à la même adresse : http://spirit.cnes.fr/resto/Landsat/

Nous vous conseillons toujours la lecture de la description de leur traitement, du guide d'utilisation du serveur de distribution, et de la méthode pour télécharger des lots de données d'un seul coup.

 

From now on, THEIA will release each month a new bunch of LANDSAT 8 products recently acquired over France. The most recent date is now the 31st of May 2014. The data can be downloaded from : http://spirit.cnes.fr/resto/Landsat/.

We still advise you also to read the processing description. the short user's guide for the distribution server, and a manual to download a lot of data at once.

LANDSAT 5 et 7 data over France are on line !

C'est fait, les données Landsat 5 et 7 au niveau 2A sont en ligne sur le serveur de THEIA. Elles sont accessibles depuis cette adresse http://spirit.cnes.fr/resto/Landsat/

Nous vous conseillons aussi la lecture du guide d'utilisation du serveur de distribution, et la description de leur traitement.

 

The LANDSAT 5 and 7 data at level 2A are available on THEIA's server. You may access them from http://spirit.cnes.fr/resto/Landsat/.

We advise you also to read the short user's guide for the distribution server, as well as the processing description.

Phased orbits, how do they work ?

=>

As we are working to set a new Take5 experiment with SPOT5, here are some explanations of how it is possible to change the repeat cycle of a satellite from 26 days to 5 days, by just changing the satellite altitude by a couple of kilometres. There is nothing complicated behind that, just some simple arithmetic.

A phased orbit is an orbit for which the satellite repeats the same trajectory periodically. From its orbit at an altitude of 822 km, SPOT5, like its predecessors, has a cycle of 26 days. Every 26 days, it overflies the same places on earth. In 26 days, SPOT5 makes 369 revolutions around the earth. In 24 hours, a SPOT satellite runs through 369/26=14.19 orbits. Lowering its altitude by 2 km, the satellite slows a little, but the length of the circle it has to run along is reduced. It takes a little less time to make a revolution around the earth. The satellite does exactly 14.2 orbits per day.

 

Here are some of the orbits of SPOT4 (Take5), with some of the sites observed in France and North Africa during the experiment. The satellite started with the Cyan track, then the green one on the day after, then the yellow one on the next day and so on. 5 days later, it came back to the cyan orbit. You may see that it was possible to acquire a site on on the green track from the adjacent one on the cyan track.

 

14.2 orbits per days, is equivalent to 71 orbits in 5 days. After 71 orbits and 5 days exactly  SPOT4 was always at the same place during the Take5 experiment, and its cycled was changed from 26 to 5 days.

 

I have been also asked how the initial 26 days repeat cycle of SPOT5 was defined. The CNES engineers who designed it wanted to make it possible to observe each point on the earth from the vertical. As the SPOT satellites had a field of view of 116 km using both instruments, with a 26 days repeat cycle we had 116x26x14.19 = 43000km, just a little more than earth equator length. However, it was quickly seen that users did not ask for exactly vertical images and that the instruments were programmed mostly independently looking in different directions. However, the 26 days cycle was kept for all the SPOT satellites just as the High Speed Trains rail separation is related to the width of the hindquarters of a horse.

Finally, nothing would prevent from using the SPOT satellites from a 5 days repeat cycle orbit, which would not really change the ability to use the images how they are used now, but would allow new possibilities thanks to the possibility to observe users from constant viewing angles.

 

It is a little funny to observe that SPOT6 and SPOT7 do not use the initial SPOT orbit, and only fly at an altitude of 694 km but still with a 26 days phased orbit, this time obtained with 379/26=14.58 orbits per day. However, the justification cannot be the field of view, as this field of view is only 60 km.  But just by rising the orbit by a few kilometers, a 5 days orbit could be obtained

 

 

 

Les orbites phasées, comment ça marche ?

=>

En ces jours où l'on reparle d'une expérience Take5 avec SPOT5, je m'aperçois que je n'ai pas expliqué ici comment on arrive à faire passer le cycle orbital de SPOT de 26 à 5 jours exactement, en abaissant l'orbite de SPOT de seulement 3 kilomètres. Il n'y a en fait rien de sorcier là dedans, juste de la simple arithmétique.

 

Depuis son orbite à 822 km d'altitude, SPOT5, comme ses prédécesseurs, a un cycle de 26 jours. Tous les 26 jours, il se retrouve au même endroit exactement. Au cours de ces 26 jours, SPOT 5 fait 369 tours de la terre. En 24 heures, un satellite SPOT parcourt donc 369/26 = 14.19 révolutions (on utilise aussi improprement le mot orbite à la place de révolution).  En diminuant l'altitude du satellite de 3 km, la vitesse du satellite diminue un peu, mais la distance à parcourir diminue davantage, le rayon du cercle à parcourir étant plus petit, son périmètre est plus court. Le satellite met donc un peu moins de temps à parcourir un tour de la terre. Il effectue ainsi 14.2 orbites par jour exactement.

Voici les orbites utilisées pour SPOT4 (Take5), avec quelques uns des sites observés en France et en Afrique du Nord. Le satellite parcourait d'abord l'orbite bleu clair, à l'ouest de la France, puis l'orbite verte le lendemain, la jaune le jour suivant et ainsi de suite. On constate qu'il était possible d'observer un site sur la trace verte depuis l'orbite bleue, et donc que chaque point au sol est bien accessible depuis un cycle orbital de 5 jours avec les capacités de dépointage de SPOT.

 

14.2 orbites en un jour, c'est aussi exactement 71 orbites en 5 jours. Le tour est donc joué, et le cycle est passé de 26 jours à 5 jours. C'est ainsi que nous avons pu réaliser l'expérience Take5.

 

On m'a aussi souvent demandé pourquoi SPOT avait une orbite de 26 jours. Nos prédécesseurs ont voulu proposer que chaque point au sol puisse être observé depuis la verticale, ou presque. Les satellites SPOT 1 à 5 avait un champ de vue de 116 km en utilisant les deux instruments, et l'on constate que 116x26x14.19 = 43000km, soit à peine plus que le périmètre de la terre à l'équateur. Ceci dit, on a rapidement constaté que la programmation de SPOT utilisait rarement cette possibilité d'observer avec les deux instruments joints. C'est donc le poids de l'histoire qui fait que l'on a conservé cette orbite pour tous les satellites SPOT, un peu comme l'écartement des voies des TGV qui provient directement de la largeur de l'arrière train d'un cheval. Il serait donc possible d'exploiter les satellites SPOT directement depuis l'orbite à 5 jours, ce qui ne changerait rien pour l'exploitabilité des satellites et la commercialisation des images mais fournirait des possibilités supplémentaires avec la possibilité d'observer à angles constants.

 

On peut d'ailleurs s'amuser à observer que les satellites SPOT6 et SPOT7 n'utilisent plus la même orbite que SPOT 1 à 5, et ne circulent qu'à une altitude de 694 km (probablement pour diminuer un peu la taille du satellite et le coût de son lancement), mais toujours avec un cycle de 26 jours, réalisé cette fois à partir de 379/26=14.58 orbites par jour. Pourtant, la justification de ces 26 jours ne tient plus, le champ des satellites SPOT n'est plus que de 60km. Mais il suffirait d'augmenter cette altitude de deux kilomètres pour se retrouver sur un cycle de 5 jours.

 

 

 

LANDSAT 5 & 7 acquired above France since 2009 soon released by THEIA

=>

As for LANDSAT 8 a few weeks ago, we just produced the level 2A products for the LANDSAT 5 et LANDSAT 7 data acquired above France from 2009 to 2011. This data set will be released in a few days, when its transfer to the distribution server has ended. The MUSCATE team took charge of the processing for the THEIA Land data center, using CNES computing center. The data will be available on the following site :

http://spirit.cnes.fr/resto/Landsat/

Example of a Level 2A product from LANDSAT 5 over the Atlantic coast of France. The clouds are circled in green, the water mask in blue, and the snow in pink. Sometimes, the water turbidity provides a signal similar to snow in the infra-red, which turns the now flag on...

The processing methods and the data format are similar to the LANDSAT 8 data set described here. However there are also a few differences which are detailed below :

 

Starting point.

The starting point is not the same for LANDSAT 5 and LANDSAT 7 :

  • For LANDSAT 7, as for LANDSAT 8, we start from Level 1T products provided by USGS. These products have a huge defect, with black stripes appearing away from the center axis of the image. These stripes are due to the breakdown of a mirror in 2003. The origin of this defect is described here. In our case, we decided to use only the central part of the images, doing a slight interpolation when the stripes are thin, and removing the data when the lack stripes are too large.
  • LANDSAT 5 data acquired above France are not yet available at USGS. ESA owns these data and agreed to provide them  (Thanks to Bianca Hoersh and Riccardo Biasutti from ESA, and to the SERCO company who processed the data). As a result, this data set is a unique data set, only available online here and nowhere else ! These data are provided at level 1G, for which the data have not yet been ortho-rectified.  We had to ortho-rectify them at Theia, using CNES's SIGMA tool, as for SPOT4 (Take5).
  • Having a different approach for both sensors has a drawback. The grounc control point data base used at USGS seems to have some errors in France, and for instance, the location errors near Toulouse have a bias of about one pixel southward. It is not the case for the LANDSAT5 data ortho-rectified by THEIA, and therefore, one may observe registration errors in a time series involving LANDSAT 5 and LANDSAT 7 images. ESA's data also have some defects, which are presented at the end of this post.
Resampling to Lambert'93 projection

Level 1T data are provided with the UTM projection. This projections uses three different zones over France, for which the registration of data is not direct. We decided to resample the data on a Lambert'93 projection, which is the official French projection. Of course, the LANDSAT5 have been directly projected in Lambert 93.

Tiling of products

We chose to tile the data in 110*110 km tile s spaced with a 100 km interval, as it will be done for Sentinel-2. The (1,1) tile is in the SouthWest corner of France. The tile of Toulouse is the 5th to the West, and the 2nd to the North. It is named D0005H0002 (D for "droite", H for "Haut"). For Corsica, a different tiling made of 2 tiles was defined.

 

For each tile, we provide the whole set of dates for which a LANDSAT 5 or 7 image intersects the tile. A few date may be missing, for several reasons, in general related to the cloud cover :

  • The image was not acquired by LANDSAT 5 or 7 (when a 100% cloud cover is forecast, the image is not acquired).
  • The image was acquired but not processed to L1T by LANDSAT7 at USGS, or to L1C at CNES, because the cloud cover prevented from using a sufficient number of ground control points
  • The Level 2A processing rejects images with more than 90% of cloud cover.

 

Level 2A processing (atmospheric correction and cloud screening)

First of all, we would like to outline that our processor does not process the themal bands of LANDSAT

 

For the visible, near and short wave infrared bands, we use the same method as for SPOT4(Take5). It involves also the MACCS processor, developed and maintained by Mireille Huc at CESBIO. It is based on multi-temporal methods for cloud screening, cloud shadow detection, water detection as well as for the estimation of the aerosol optical thickness.

 

However, thanks to LANDSAT spectral bands, our processing was enriched compared to SPOT4 (Take5). Thanks to the blue band, we have an additional criterion to detect the aerosols, thanks to the quasi constant relationship between the surface reflectances in the blue and in the red above vegetation. The precision gain due to this criterion compensates for the precision loss due the lower repetitivity of  LANDSAT images. Finally, as there is no 1.38 µm band on LANDSAT 5 and 7, the detection of high clouds is much less easy than for LANDSAT 8.

 

Images of one of the Atlantic Coast tiles, coming from different LANDSAT Paths (left and middle, tracks 201 and 200). The viewing angles are slightly different as the left image was observed from the West and the rmiddle image from the East. On the right, a Landsat7 image from track 201 reduced to its central part.

To increase repetitivity of observation which is essential in our multi-temporal method, we decided to use time series that merge LANDSAT 5 and LANDSAT 7 data as well as LANDSAT 5 data coming from adjacent tracks. As these data are not observed under the same viewing angle (+/- 7 degrees), but the angle difference is small enough to increase precision on the overlap zones, even if it may cause the appearance of artefacts in the AOT images.

 

Data Format

For LANDSAT 5 and 7, we used the same format as for SPOT4 (Take5).

 

Known issues :

Here is a little list of known defects for THEIA's LANDSAT 5 and 7 L2A products :

Example of LANDSATV5 "afterglow" issue near a large cloud. This electronic issue takes the appearance of whiter stripes above vegetation.

- reference data for ortho-rectification at USGS may be biased by more than 30 m (38 m in Toulouse). The Landsat 8 data could be misregistered with the LANDSAT 5 data ortho-rectified at CNES using a national geographical reference.

- LANDSAT 5 TM instrument electronics have an "afterglow" issue, that causes the appearance of whiter stripes perpendicularly to the satellite track near very bright zones such as a large cloud.

- ESA's LANDSAT 5 products have some random bright spots that appear as colored spots in color composites.

Bright color spots observed on some ESA LANDSAT 5 images.

- in LANDSAT products, the "nodata" value that tells if a pixel is outside the image is 0, which is also a value observed within the image. Sometimes pixels may be identified as nodata when the are in fact within the image. It happens mainly over sea, where the medium infrared reflectance is often equal to zero. In this case, all the bands have the nodata value which, in our products is -10 000, to avoid the same difficulties for subsequent users.