The V2.0 of SPOT4 (Take5) data set is available.

Voilà ! The new version (V2.0) of SPOT4-Take5 data set is available, for the 45 sites. I would like to thank the development and processing teams of MUSCATE center in CNES, who work for THEIA, the image quality teams at CNES (SI/QI and SI/MO), and of course Mireille Huc at CESBIO, for the production of this new version, which finally required a lot of work.

The product version number is not included in the filenames, but you can recognise a V2.0 product by looking into the xml metadata file :

<METADATA>
  <HEADER>
    <VERSION>2.0</VERSION>

 

This reprocessing brings the following new features :

    Quicklooks are now provided with the images. The clouds are circled in green, the shadows in black, water in blue and snow in pink.

  • We provide quicklooks on which you can see the cloud and shadows masks
  • We enhanced the quality of the ortho-rectification :
    • By changing the référence ortho-image for the sites in France (GEOSUD, processing done by the french institute for geography IGN)
    • by replacing the LANDSAT 5 otho-images by LANDSAT 8 images for most other sites outside France. LANDSAT 8 geometric performances are enhanced compared to  LANDSAT 5.
    • however, for a few sites (Borneo, Gabon, Congo (1,CNES), CCRS, Cameroun), no clear LANDSAT 8 images was available yet and we had to keep the LANDSAT 5 reference.
      • It's not too bad for Congo, CCRS et Cameroon, as LANDSAT 5 references where quite good, for Gabon, we used a reference made with the cloud free image obtained with SPOT4-Take5, and finally, we just have Borneo site for which the level 1C obtained are quite bad with large registration errors (I am sorry Jukka)
      • A large enhancement of the performances has been observed for Sumatra, Gabon and Congo (2,ESA), for which the first version was quite bad.
  • SPOT4 radiometric calibration updated
    • A the end of SPOT4's life, my CNES colleagues updated its absolute calibration. Spot calibration is obtained using desert sites, using another satellite as reference. Up to now, it was POLDER, but now it is MERIS/ENVISAT. Moreover, the calibration coefficients we used in the first version had been extrapolated from older measurements, while now recent measurements have been used. The differences are not too big, except for the near infra-red band which varied by 4%..
  • The level 2A have been reprocessed with a new version of the aerosol model, with larger aerosols. The previous model had been tuned for sites in France, but we found that  the larger particles fitted better the in situ data on all the sites.
  • For users of mountain sites, we added a few flags about the correction of terrain effects. If the slope is in the shade, or nearly in the shade, the correction we have to do is infinite ! We limited the value of the correction and flagged the pixels for which we had to limit it in the .DIV files.
  • And at last, the Maricopa site was finally processed. This site was acquired under two angles, one from the East, one from the West. It has therefore been observed twice every 5 days under different viewing angles. Such a case was not anticipated in our prototype, and we had to correct it. The site has been divided in 2 sites Maricopa_J1 for observations from the West, and Maricopa_J5 for observations from the East. This site, which benefits from New Mexico blue skies, is a very interesting one for remote sensing geeks, as it combines multi angular and multi-temporal observations at constant angles !

Les données SPOT4 (Take5) V2.0 sont disponibles.

=>

Voilà, les données SPOT4 (Take 5) V2.0 sont en ligne pour les 45 sites. Un grand merci à l'équipe de développement et d'exploitation de MUSCATE, pour le compte de THEIA et du CNES, aux équipes de qualité image au CNES (SI/QI et SI/MO) au CNES, et à Mireille Huc, au CESBIO, pour l'obtention de cette nouvelle version des données, qui a finalement demandé beaucoup de travail.

Nous n'avons pas inclus la version du produit dans le nom du fichier dans ce système prototype, mais vous pouvez reconnaître un fichier de la version 2.0 de la manière suivante :
Il suffit d'aller chercher le tag <VERSION> dans le fichier .xml qui porte le même nom que le produit:

<METADATA>
  <HEADER>
    <VERSION>2.0</VERSION>

 

Ce retraitement apporte les nouveautés suivantes :

    Des "quicklooks" sont maintenant fournis avec les images. Les nuages y sont entourés en vert et les ombres en noir, la neige en rose et l'eau en bleu

  • fourniture de quicklooks avec affichage du masque de nuages
  • Amélioration de l'ortho-rectification des données :
    • changement de référence géométrique pour les sites en France (GEOSUD, traitement IGN)
    • remplacement des ortho-images de référence pour l'ortho-rectification issues de LANDSAT 5 pour la plupart des autres sites dans le monde. LANDSAT 8 a des performances géométriques bien meilleures que celles de LANDSAT 5.
    • Cependant, pour quelques sites (Borneo, Gabon, Congo (1,CNES), CCRS, Cameroun), nous n'avions pas trouvé d'image LANDSAT 8 sans nuage, nous avons gardé l'image LANDSAT 5 comme référence, sauf pour le Gabon.
      • Pour Congo, CCRS et Cameroon, les références LANDSAT 5 étaient assez bonnes, pour le Gabon, nous avons utilisé une bonne référence issue de SPOT, il n'y a que Borneo pour lequel l'ortho-rectification obtenue est restée assez mauvaise, avec beaucoup d'images éliminées et de grosses erreurs de superposition
      • Une très forte amélioration de la qualité est notamment observée sur les sites Sumatra, Gabon et Congo(2 (ESA))
  • Mise à jour de l'étalonnage radiométrique de SPOT4
    • A la fin de la vie de SPOT4, les collègues du CNES ont mis à jour son étalonnage. L'étalonnage de SPOT est calculé sur des sites désertiques, par rapport à un capteur de référence. Jusqu'ici, c'était POLDER qui servait de référence aux étalonnage de SPOT, maintenant c'est MERIS/ENVISAT. De plus, la variation temporelle des coefficients d'étalonnage était extrapolée à partir de mesures plus anciennes, alors que cette fois des mesures récentes ont été intégrées. Les différences ne sont pas très importantes sauf pour la bande proche infra-rouge, où elles atteignent 4%.
  • Nouvelle version du traitement N2A avec un nouveau modèle d'aérosols, composé de particules plus grosses. Le modèle précédent avait été optimisé pour des sites en France. Nous avons trouvé que le modèle utilisé maintenant fournissait de meilleurs résultats en général.
  • Pour les sites montagneux surtout, ajout de flags sur le traitement de la correction des effets du relief. Si la pente est à l'ombre ou presque à l'ombre, la correction à appliquer s'approche de l'infini ! Nous avons donc limité la correction à apporter, et les pixels pour lesquels cette limitation s'exerce vous sont signalés dans les fichiers .DIV
  • Le site Maricopa a enfin été traité. Ce site a été acquis sous deux angles de prise de vue, l'un depuis l'est, l'autre depuis l'Ouest. Il a donc été vu deux fois tous les 5 jours, mais sous des angles différents. Ce cas n'était pas prévu dans notre système, mais ce problème est maintenant corrigé. Le site a été divisé en deux sites, Maricopa_J1 pour les observations depuis l'ouest, et Maricopa_J5 pour les observations depuis l'est. Ce site, situé au nouveau Mexique est très intéressant pour les geeks de la télédétection puisqu'il combine observations multi-temporelles à angles constants et observations sous des angles différents. Sans compter qu'il y fait toujours très beau temps !

SPOT4 (Take5) reprocessing

The SPOT4 (Take5) reprocessing nears its end at THEIA. All the Level 2A products have been produced, but for 4 sites (Provence, Alpes, Sudmipy E and W), for which the processing is on-going. We are now transfering the data to the distribution server. It should take just a few days.

 

Le retraitement de SPOT4 (Take5) à THEIA est presque terminé. Tous les produits de Niveau 2A ont été fournis sauf pour 4 sites (Provence, Alpes, Sudmipy E et O), pour lesquels le traitement est en cours. Nous commençons le transfert des données vers le serveur de distribution, ce qui devrait prendre à peine quelques jours.

 

 

Le retraitement de SPOT4 (Take5) est en cours / SPOT4 (Take5) reprocessing on its way.

Le retraitement des données SPOT4 (Take5) est en cours dans le centre MUSCATE de THEIA, au CNES. Les niveaux 1C ont été produits, le traitement des niveaux 2A commence aujourd'hui. Nous avons perdu une semaine avec un bug qui a été trouvé à la dernière minute sur des données FORMOSAT-2, et bien qu'il ne soit pas très probable qu'il se produise sur SPOT4 (Take 5), nous avons décidé de le corriger avant ce retraitement. Le traitement des Niveaux 2A devrait être terminé dans une semaine, et les produits seront disponibles pour la distribution la semaine suivante.

The SPOT4-(Take5) reprocessing is on its way in the MUSCATE processing center at THEIA, CNES. The level 1C products have been produced, and the level 2A should start today. A last minute bug on the level 2 was found when processing some Formosat-2 data, and although it was not likely to happen on SPOT4 (Take 5), data, we decided to correct it before launching the reprocessing. The level 2A processing should end next week, and distribution will start the week after.

The level 3A products

Among the products prepared to be processed by the THEIA land data center, the level 3A product was not yet described in this blog. The level 3A products provide a monthly synthesis of the level 2A. These products should be very useful for the following reasons :

  • The level 3A, produced once a month, uses up to six times less volume than the level 2A products acquires during a month.
  • The level 3A provides a regular time sampling of the reflectances variation, while the level 2A sampling is dependent on the cloud cover
  • Several processing methods and applications are hindered by the data gaps due to cloud cover. The level 3A product aims at minimizing the residual gaps.

 

Thanks to SPOT4 (Take5) data set, we were able to try and test several methods to produce level 3A products on varous types of landscapes and climates. This work, suprvised by Mireille Huc and myself, is performed by Mohamed Kadiri, at CESBIO, and is funded by the CNES budget of THEIA Land Data Center. Our method consists in computing, foe each pixel, a weighted average of the surface reflectances of the cloud free observations, obtained within a N day distance frome the central date TO of the level 3A product. For instance, the example below was obtained with N=21, for the 15 th of each month. As a result, the level 2A used in the average for the level 3A product dated on March the 15th, were acquired from Feruary the 24th to April the 4th.

 

 

The weighted average gives more weight to

  • the cloud free images
  • the pixels which are far from clouds
  • the images with a low aerosol content
  • the images acquired near the level 3A product date.

Les values of the weight and of the duration N, have a large influence on the product data quality. To tune their values, we set up three quality criteria :

  • The percentage of residual data gaps for which all the observations were cloudy
  • The difference of the level 3A reflectances with the values of a selected level 2A product acquired near the central date T0.
  • A measurement of the artefacts standard deviation. The artefacts appear near the borders of data gaps that affect one of the dates used in the level 3A synthesis.

 

For instance, here are the performances obtained on the Versailles site, which was heavily clouded in the spring of 2013. For this site, one can note, that the residual gap percentage is very low despite the bad weather, confirming that Sentinel-2 should be able to provide cloud free Level 3A products each month. For this site, the optimal duration of the synthesis is somewhere between 2* 21 and 2*28 days.

 

Performances obtained for Versailles SPOT4(Take5) site, for several values of the half-period N. In red, the residual percentage of data gaps (scale on the right), in yellow and green, the maximum value of the difference of the level 3A to the central level 2A, for resp the best 70% and 95% of pixels. In blue, the residual error standard deviation.

 

 

 

For Sentinel-2, the level 3A will have to include a correction for directional effects, in order to use in the same level 3A product, the data acquired from different satellite tracks, from different viewing angles. Finally, as an option, we might include a gap-filling method to fill the residual gaps.

In short, we still have work to do. A comparison with the classical NDVI Maximum Value Composite is provided in this post.

Les produits de Niveau 3A

=>

Parmi les produits que nous préparons pour les traitements de données Sentinel-2 du pôle THEIA, les produits de Niveau 3A n'ont pas encore été abordés dans ce blog. Ceux-ci fournissent une synthèse mensuelle des produits de niveau 2A. Les produits de Niveau 3A devraient être bien utiles pour les raisons suivantes :

  • Le produit de Niveau 3A, fourni une fois par mois, représente un volume de données jusqu'à 6 fois inférieur à celui des niveaux 2A acquis pendant un mois.
  • Le produit de niveau 3 fournit un échantillonnage temporel régulier de l'évolution des réflectances, alors que l'échantillonnage du Niveau 2A est dépendant de la couverture nuageuse
  • Beaucoup de méthodes de traitement sont perturbées par la présence de trous dans les images dus à la couverture nuageuse. Le Niveau 3A vise à minimiser les pixels manquants.

 

Grâce au jeu de données SPOT4(Take5), nous avons pu expérimenter différentes méthodes de création des produits de Niveau 3A sur différents types de sites. C'est Mohamed Kadiri, au CESBIO, qui a pris en charge ce travail, financé par le budget CNES du projet THEIA, et avec le soutien de Mirelle Huc. La méthode consiste à calculer, pour chaque pixel, la moyenne des réflectances de surface des observations non nuageuses, obtenues pendant une demi période de N jours autour de la date T0 du produit de niveau 3A. Par exemple, dans l'exemple ci-dessous obtenu avec N=21, pour le produit du 15 mars (T0), les données utilisées couvrent la période du 24 février au 4 avril.

 

 

La moyenne calculée est une moyenne pondérée, qui attribue plus de poids :

  • aux images sans nuages
  • aux pixels situés loin de nuages
  • aux images avec peu d'aérosols
  • aux images proches de la date du produit de Niveau 3

 

Les poids et surtout la demi-période N ont une forte influence sur la qualité des résultats. Pour déterminer leurs valeurs, nous avons mis au point 3 critères de qualité :

  • le pourcentage de pixels dont la réflectance est manquante en raison des nuages
  • la différence du produit de Niveau 3A avec un produit de Niveau 2A faiblement nuageux acquis à quelques jours de la date centrale T0.
  • une mesure des artefacts. Les artefacts apparaissent en bordure des trous (dus aux nuages ou aux ombres) présents sur chacune des images.

 

Voici par exemple les performances obtenues sur le site de Versailles, site fortement nuageux lors du printemps 2013. Cette courbe confirme que malgré le mauvais  temps, Sentinel-2 devrait pouvoir fournir des produits quasiment sans nuages chaque mois sur ce genre de sites. Sur ce site, l'optimum de la durée de synthèse est compris entre 2*21 et 2*28 jours :

Performances obtenues sur le site de Versailles, pour plusieurs valeurs de la longueur de période N. En rouge, les trous résiduels (échelle à gauche), en jaune et vert, l'écart maximal à l'image centrale exprimé en réflectance, pour les 70% et 90% de pixels les meilleurs, et en bleu l'écart-type moyen des artefacts

 

Les produits de niveau 3A de Sentinel-2 devront aussi inclure une correction des effets directionnels, afin de pouvoir inclure dans un même produit de Niveau 3A des données issues de traces orbitales différentes, et donc acquises avec des angles de prise de vue différents. Enfin, en option, nous pourrons proposer une opération de bouchage des trous résiduels par interpolation temporelle ou en utilisant le comportement moyen de pixels similaires. Bref, il nous reste du pain sur la planche. Une comparaison avec la méthode classique de maximum de NDVI est fournie dans cet article.

The product level names, how they work ?

Simulation of Sentinel-2 products from Formosat-2 data (CESBIO)

 

Many of you are confused by the earth observation product names. Maybe detailing the logic behind the names will help you recall them. Here is how the THEIA Land Data Center product names were chosen.

  • we decided to use Sentinel-2 product names 1C, 2A, 3A, since we are sure Sentinel-2 will become a reference in high resolution earth observation.
    • Level 1C is a monodate ortho-rectified image expressed in TOA reflectance
    • Level 2A is a monodate ortho-rectified image expressed in surface reflectance, provided with a cloud/cloud shadow/snow/water mask
    • Level 3A is a monthly composite of Level2A Cloud/Cloud shadows free pixels
  • this nomenclature, defined by ESA and CNES, complies with the norms of the Committee on Earth Observation Satellites (CEOS)

 

CEOS naming rules are quite difficult to find, and I had searched them several times unsuccessfully. But recently, I found the list of members of the CEOS product harmonization committee, and two of its members (Frédéric Baret (INRA, France), and Kenneth McDonald (NOAA, USA)) replied very quickly to my questions.

 

The CEOS norm is based on a nomenclature defined by NASA in 1996, which is available on  Wikipedia :

 

Data Level NASA-EOSDIS Definition

http://science.nasa.gov/earth-science/earth-science-data/data-processing-levels-for-eosdis-data-products/
Level 0 Reconstructed, unprocessed instrument and payload data at full resolution, with any and all communications artifacts (e.g., synchronization frames, communications headers, duplicate data) removed.
Level 1A Reconstructed, unprocessed instrument data at full resolution, time-referenced, and annotated with ancillary information, including radiometric and geometric calibration coefficients and georeferencing parameters (e.g., platform ephemeris) computed and appended but not applied to Level 0 data.
Level 1B Level 1A data that have been processed to sensor units (not all instruments have Level 1B source data).
Level 2 Derived geophysical variables at the same resolution and location as Level 1 source data.
Level 3 Variables mapped on uniform space-time grid scales, usually with some completeness and consistency.
Level 4 Model output or results from analyses of lower-level data (e.g., variables derived from multiple measurements).

 

I do not know what you think of it, but my sense is that it is quite vague in some aspects (what is a  "sensor unit") and too directive in some other aspects : a resampling of data on a cartographic grid is only allowed at level 3. If a uses does not want to handle the always complex reprocessing of data, he has to use the level 3 data.

 

The CEOS norm provided below was clearly inspired by NASA's norm, but it allows a data resampling  starting at level 1, and the data can be expressed in Physical units and not only "Sensor units". The CEOS norm does not detail the sub-levels (1A, 2B...). However, the distinction between Level 1 and Level 2 is still a bit fuzzy, as it is not always easy to tell a physical unit from a geophysical unit. We often consider a top of atmosphere reflectance as a Level 1 product and a surface reflectance after atmospheric correction a Level 2 product. Is a surface reflectance a physical unit or a geophysical unit?

 

Data Level CEOS Definition

http://www.ceos.org/images/WGISS/Documents/Handbook.pdf

Level 0 Reconstructed unprocessed instrument data at full space time resolution with all available supplemental information to be used in subsequent processing (e.g., ephemeris, health and safety) appended.
Level 1 Unpacked, reformatted level 0 data, with all supplemental information to be used in subsequent processing appended. Optional radiometric and geometric correction applied to produce parameters in physical units. Data generally presented as full time/space resolution. A wide variety of sub level products are possible.
Level 2 Retrieved environmental variables (e.g., ocean wave height, soil moisture, ice concentration) at the same resolution and location as the level 1 source data.
Level 3 Data or retrieved environmental variables which have been spatially and/or temporally re-sampled (i.e., derived from level 1 or 2 products). Such re-sampling may include averaging and compositing.
Level 4 Model output or results from analyses of lower level data (i.e., variables that are not directly measured by the instruments, but are derived from these measurements).

 

Having had some difficulties finding the famous CEOS norm, I had build my own idea of what the CEOS norm should be, probably, from dscussions with colleagues during the POLDER.project preparation. So here is my own version of a norm ( but I know a personal norm is useless...)

 

Data Level Product nomenclature according to... myself
Level 0 Reconstructed unprocessed instrument data at full space time resolution with all available supplemental information to be used in subsequent processing (e.g., ephemeris, health and safety) appended.
Level 1 All pixels were acquired at the same time (within a few instants, during one satellite overpass), and their processing does not make assumptions on the nature of the observed pixel. Each pixel is processed in the same way, whatever it is made of (cloud, forest, sea...). The values are expressed in physical units or the product provides all the necessary information to convert the values to physical units. The product may be resampled onto a cartographic grid, or may just provide the necessary information to resample it.
Level 2 All pixels were acquired all at the same time (within a few instants, during one satellite overpass), but here, the processing may include assumptions on the nature of the pixel, for instance concerning the atmosphere, vegetation of sea state. The pixels may be processed differently according to their nature.
Level 3 The product is obtained from data acquired at different dates, often with different footprints. As for Level 2, processing may differ according to the pixel nature, and assumptions on this nature are allowed.

Level 3 products are often composite products based on the level 2 data acquired during a certain period of time (10 days, one month...)

 

The CEOS norm does not define sub-levels, and for that aspect, NASA's norm has some influence. For instance, with Sentinel-2, Level 1A and Level 1B exist as internal products and are quite similar to what is in NASA norm, while the Level 1C is ortho-rectified and expressed in top of atmosphere reflectance. The level 1C only will be distributed to standard users.

 

Sentinel-2 Mission requirement document also defines a level 2A, expressed in surface reflectance, and a Level 2B that provides biophysical variables such as LAI, fAPAR...However, none of these product will be operationally processed by Sentinel-2 ground segment. These products will be produced by THEIA Land Data Center, but not globally at first.

 

Finally, let's recall that several Earth observing missions do not respect the CEOS norms, often because their nomenclature was defined before the norm existed. It is the case of SPOT and followers (Pleiades, Rapid Eye...)

 

 

Les noms des niveaux de produits, comment ça marche ?

=>

Simulations des produits Sentinel-2 à partir d'images Formosat-2

 

Vous êtes nombreux à ne pas retenir les noms des produits d'observation de la terre, et si je n'étais pas tombé dedans quand j'étais petit, je ne ferais pas mieux.  Peut-être qu'en détaillant la logique qui a conduit à leur définition, il sera plus facile de les retenir. Voici donc comment les noms des produits du pôle THEIA ont été définis :

 

  • nous avons décidé d'utiliser la nomenclature de Sentinel-2 : 1C, 2A,  3A, car nous sommes convaincus que Sentinel-2 deviendra rapidement la référence en imagerie spatiale
    • Le produit de Niveau 1C est une image monodate ortho-rectifiée, exprimée en réflectance au sommet de l'atmosphère.
    • Le produit de Niveau 2A est une image monodate ortho-rectifiée, exprimée en réflectance de surface, accompagnée d'un masque de nuages/ombres de nuages/neige/eau
    • le produit de Niveau 3A est une synthèse mensuelle ortho-rectifiée des pixels non nuageux provenant des Niveau 2A.
  • cette nomenclature, définie par l'ESA et le CNES respecte les normes du Comittee on Earth Observation Satellites (CEOS)

 

Les normes du CEOS sont assez difficiles à trouver, je les avais cherchées à plusieurs reprises. Heureusement, j'ai fini par trouver quelques membres du comité travaillant sur l'interopérabilité des systèmes, et deux d'entre eux (Frédéric Baret (INRA), et Kenneth McDonald (NOAA)) ont répondu immédiatement à mes questions.

 

La norme du CEOS reprend en fait les termes d'une norme de la NASA, datant de 1986, qui elle est disponible sur Wikipedia :

 

Data Level NASA-EOSDIS Definition

http://science.nasa.gov/earth-science/earth-science-data/data-processing-levels-for-eosdis-data-products/
Level 0 Reconstructed, unprocessed instrument and payload data at full resolution, with any and all communications artifacts (e.g., synchronization frames, communications headers, duplicate data) removed. (In most cases, the EOS Data and Operations System (EDOS) provides these data to the data centers as production data sets for processing by the Science Data Processing Segment (SDPS) or by a SIPS to produce higher-level products.)
Level 1A Reconstructed, unprocessed instrument data at full resolution, time-referenced, and annotated with ancillary information, including radiometric and geometric calibration coefficients and georeferencing parameters (e.g., platform ephemeris) computed and appended but not applied to Level 0 data.
Level 1B Level 1A data that have been processed to sensor units (not all instruments have Level 1B source data).
Level 2 Derived geophysical variables at the same resolution and location as Level 1 source data.
Level 3 Variables mapped on uniform space-time grid scales, usually with some completeness and consistency.
Level 4 Model output or results from analyses of lower-level data (e.g., variables derived from multiple measurements).

 

Je ne sais pas ce que vous en pensez, mais je trouve cette description assez floue, la notion de "sensor units" n'est pas claire, et surtout, il faut attendre le produit de niveau 3 pour que les données soient rééchantillonnées sur une grille cartographique. Si l'utilisateur ne veut pas avoir à se soucier de rééchantillonnage géométrique, il doit utiliser le produit de Niveau 3.

 

La norme du CEOS (ci dessous), clairement inspirée de celle de la NASA, permet de rééchantillonner les données dès le Niveau 1 et de les exprimer en grandeur physiques et non pas pas en "sensor units". La norme du CEOS ne détaille pas les sous niveaux (1A, 1B). Il me semble que cette norme ne détaille cependant pas bien la différence entre les grandeurs physiques et variables géophysiques (par exemple, pourquoi une réflectance au sommet de l'atmosphère serait -elle une grandeur physique et une réflectance de surface une variable biophysique), et laisse beaucoup de marge d’interprétation.

 

Data Level CEOS Definition 

http://www.ceos.org/images/WGISS/Documents/Handbook.pdf

Level 0 Reconstructed unprocessed instrument data at full space time resolution with all available supplemental information to be used in subsequent processing (e.g., ephemeris, health and safety) appended.
Level 1 Unpacked, reformatted level 0 data, with all supplemental information to be used in subsequent processing appended. Optional radiometric and geometric correction applied to produce parameters in physical units. Data generally presented as full time/space resolution. A wide variety of sub level products are possible.
Level 2 Retrieved environmental variables (e.g., ocean wave height, soil moisture, ice concentration) at the same resolution and location as the level 1 source data.
Level 3 Data or retrieved environmental variables which have been spatially and/or temporally re-sampled (i.e., derived from level 1 or 2 products). Such re-sampling may include averaging and compositing.
Level 4 Model output or results from analyses of lower level data (i.e., variables that are not directly measured by the instruments, but are derived from these measurements).

Ayant eu bien du mal à trouver ces fameuses normes du CEOS, je m'en étais fait ma propre idée, probablement à partir de discussions avec les collègues qui travaillaient avec moi sur le projet POLDER. Voici ma version personnelle de la norme (sachant qu'une norme personnelle ne sert à rien bien sûr...)

 

Data Level La nomenclature des produits selon OH
Level 0 Données reconstruites mais non traitées, fournies à pleine résolution, accompagnées de toutes les informations nécessaires pour les traitements de niveaux supérieurs.
Level 1 Le produit de Niveau 1 est un produit dont tous les pixels ont été acquis à la même date (en quelques instants, au cours d'un passage du satellite), et dont le traitement ne fait pas d'hypothèses sur la nature du paysage observé. Chaque pixel de l'image est traité de la même manière, quelle que soit sa nature (nuage, forêt, mer...). Le produit exprime les données en grandeur physique ou fournit toutes les informations nécessaires pour les convertir. Il peut être rééchantillonné sur une grille cartographique ou doit fournir toutes les informations nécessaires à cette conversion.
Level 2 Le produit de Niveau 2 doit être lui aussi acquis en quelques instants, mais cette fois, des traitements différenciés par type de pixel sont autorisés, et l'on peut faire des hypothèses sur l'atmosphère, l'état de la végétation ou de la mer, et traiter les différentes classes de pixels d'une manière différente.
Level 3 Le produit de Niveau 3 est constitué de données acquises à des dates différentes, souvent avec des emprises différentes, et, comme sur le Niveau 2, les traitements peuvent faire des hypothèses sur ce qui est observé. Les produits de niveau 3 sont en général des synthèses périodiques (hebdomadaires, décadaires, mensuelles) des produits de Niveau 2.

 

 

La norme du CEOS ne définit les sous-niveaux de produits, mais dans ce domaine, la norme de la NASA a une certaine influence. Pour Sentinel-2, les produits de niveau 1A et 1B sont des produits internes assez proche de la norme de la NASA. mais le produit de niveau 1C a fournit des données ortho-rectifiées dans une projection cartographique. Seul le niveau 1C devrait être distribué aux utilisateurs normaux.

 

 

La spécification de mission de Sentinel-2 définit également un produit de Niveau 2A, exprimé en réflectance de surface après correction atmosphérique, et un produit de niveau 2B fournissant des variables biophysiques (LAI, FAPAR...). Aucun de ces produits ne sera cependant fourni par le segment sol de Sentinel-2. Ces produits existeront en revanche dans le centre de traitement de THEIA, et nous les avons déja produits pour SPOT4 (Take5).

 

Enfin, notons que de nombreux produits d'observation de la terre ne respectent pas ces normes, souvent parce que la nomenclature a été définie avant l'adoption de la norme : c'est le cas de SPOT et de ses successeurs, y compris les plus récents (Pleiades, Rapid Eye).

 

Production of LANDSAT L2A data at THEIA to begin shortly.

At CNES, the prototype MUSCATE production facility of THEIA land data centre will soon start the production and distribution of Level 2A Landsat 5 and 7 data, and shortly after of LANDSAT 8 data covering the entire surface of France.

 

Mosaic of LANDSAT 5 & 7 data produced at CESBIO, from both ESA and USGS data. These data are cut in 110 x 110 km² tiles. For each tile, each LANDSAT acquisition with at least a little clear sky corner is provided.

 

For Landsat 5 and 7, we use data from both USGS and ESA : indeed, up to now only ESA has the LANDSAT 5 data that were acquired over the receiving stations of Mas Palomas (Canary Islands), Matera (Italy), and Svalbard (Norway). A transfer to USGS of ESA's data is expected, it may have started in Svalbard, but it has not yet begun for the Matera station, which covers France.

Level 1C

The USGS data are orthorectified, but those from ESA are not, so, as for SPOT4 (Take5), we set up an ortho-rectification processing using the SIGMA tool provided by CNES.  The ESA's products we received 2 years ago also have some flaws (which may have been corrected by now, but given it took months to obtain the data we did not ask for a reprocessing): the thermal band is unusable and you will find here and there colourful bright spots, such as those produced by your neighbour moped on your TV when you were a child. Nevertheless, we can produce correct Level 1 products, although we look forward to the reprocessing of these products by USGS. ESA has now it own processing of LANDSAT data, but it stops at level 1C.

For Landsat 7, this processing is not necessary because the data are already ortho-rectified. We interpolate only a small portion of the missing data due to LANDSAT 7 SLC breakdown, and then we discard the parts of the image where the gaps are too large. For LANDSAT 8, none of these processings are needed.

 

Level 2A

The Level 2A products (Cloud Mask, Atmospheric correction) will be produced by the prototype of MACCS software developed and maintained by Mireille Huc (CESBIO, CNRS). Two years ago, I had already produced such a data set on the most Southern part of France, at CESBIO. These products are already distributed on THEIA web site and are also used to illustrate this post.

 

LANDSAT 5 and 7 :

Starting in April, we will process the LANDSAT 5 & 7 data acquired above France from 2009 to 2011.

 

LANDSAT 8 :

From April or May, we will process the LANDSAT 8 data acquired since april 2013, and we will try to keep the pace so as to produce the incoming new LANDSAT 8 acquisitions with a short delay.

 

Data Format :

We will reuse the data format of SPOT4 (Take5). France will be split into 110*110 km² tiles with a 10 km overlap with their neighbours. (See the image mosaic obtained for the South of France).

Depending on the success of the distribution of these data, we will decide if it is worth producing older time periods or other regions. Please tell us if you need such data.

Exemple : available LANDSAT images from July to October 2009 for the tile centered on Toulouse. For each date, we provide the level 1C image tTOA reflectance), on the left, and the level 2A image on the right (surface reflectance). The detected clouds are circled in red.

Bientôt, des séries LANDSAT de Niveau 2A au pôle THEIA

=>

Le centre de production MUSCATE du pôle THEIA au CNES va bientôt lancer la production puis la distribution de données de niveau 2A acquises par LANDSAT 5 et 7, puis LANDSAT 8 couvrant toute la surface de la France (Métropole pour LANDSAT 5 et 7, Métropole + ROM COM pour LANDSAT 8).

 

Mosaique de données LANDSAT 5 et 7 produite au CESBIO, à partir de données de l'ESA et de l'USGS. Les données sont découpées en tuiles de 110 x 110 km². Pour chaque tuile, toutes les dates ayant un petit coin de ciel clair sont fournies.

 

Pour LANDSAT 5 et 7, nous utilisons des données provenant à la fois de l'USGS et de l'ESA : en effet pour le moment, seule l'ESA dispose des données LANDSAT 5 acquises au dessus des stations de Mas Palomas (Canaries), Matera (Italie) et Svalbard (Norvège). Un transfert des données de l'ESA vers l'USGS est prévu, il a peut-être débuté pour Svalbard, mais il n'est pas encore commencé pour la station Matera, qui couvre la France.

 

Niveau 1C :

Les données de l'USGS sont bien ortho-rectifiées, mais celles de l'ESA ne le sont pas, nous avons donc mis en place, comme pour SPOT4(Take5), une chaîne d'ortho-rectification des images à partir de l'outil SIGMA du CNES. Les produits de l'ESA dont nous disposons présentent aussi quelques défauts : la bande thermique est inutilisable et vous trouverez, par ci par la, des points brillants colorés, comme ceux que la mobylette du voisin faisait apparaître sur notre télé quand nous étions petits. Malgré tout, nous arrivons à produire des produits de Niveau 1C corrects, même si nous attendons avec impatience le retraitement des données par l'USGS. Depuis peu, l'ESA a sa propre chaîne de traitement de données LANDSAT 5, mais celle-ci s'arrête au niveau 1C.

 

Pour LANDSAT 7, ce traitement n'est pas nécessaire car les données sont déjà ortho-rectifiées. Nous interpolons seulement une petite partie des données manquantes (les stries sur les images), puis nous rognons une grande partie de l'image. Pour LANDSAT 8, aucun de ces traitements n'est nécessaire.

 

Niveau 2A :

Les produits de Niveau 2A (Masque de Nuages, Corrections atmosphériques) seront produits à partir de la chaîne prototype développée et maintenue par Mireille Huc (CESBIO, CNRS). J'avais réalisé au CESBIO, il y a quelques années une production de ces mêmes données sur l'extrême Sud de la France, de Bordeaux à Marseille en passant par les Pyrénées. Cette production est d'ores et déjà disponible sur le site du pôle THEIA. Les illustrations ci-jointes en proviennent.

 

LANDSAT 5 et 7 :

Nous traiterons, dans un premier temps, probablement à partir du mois d'Avril, les données LANDSAT 5 et 7 acquises de 2009 à 2011.

LANDSAT 8 :

A partir d'Avril ou Mai 2014, nous traiterons les données LANDSAT 8 acquises depuis avril 2013, puis nous traiterons les données arrivant au fur et à mesure.

Format des données :

Le format des données sera identique à celui utilisé pour SPOT4 (Take5). La France sera découpée en tuiles de 110*110 kilomètres se recouvrant avec leurs voisines sur 10 kilomètres. (Cf la mosaique d'images de 2010 sur le sud de la France).

 

En fonction du succès de la mise à disposition de ces données, nous déciderons s'il y a lieu de produire d'autres années, ou d'étendre la zone couverte à d'autres produits. N'hésitez donc pas à nous faire part de votre intérêt pour ces données.

Exemple des images disponibles pour les de juillet à octobre 2009 pour la tuile centrée sur Toulouse. Pour chaque date, nous fournissons à gauche l'image de niveau 1C (en réflectances TOA), et à droite l'image de niveau 2A (en réflectances de surface). Les nuages détectés sont entourés en rouge