THEIA distribue aussi les données LANDSAT8 L2A sur les régions d'outre mer.


Depuis deux ans déjà, le centre de données THEIA distribue des produits de niveau 2A issus des données LANDSAT 8 acquises au dessus de la France (métropole et Corse), mais il manquait encore les territoires et régions d'outre mer. Ce manque vient d'être comblé, le retard a été rattrapé, et depuis hier, sur toute la France y compris l'outre mer, 3 ans de données sont disponibles,du 15 avril 2013 au 15 avril 2016. Comme pour la métropole, les données peuvent être téléchargées gratuitement sur le serveur de distribution THEIA :

http://theia.cnes.fr/

 

Les données de niveau 2A sont ortho-rectifiées, exprimées en réflectance, et corrigées des effets atmosphériques. Elles disposent aussi d'un bon masque de nuages et d'ombres de nuages. Celui-ci est cependant mis à rude épreuve sur ces territoires, du fait de la très importante couverture  nuageuse qu'on observe sur tous la plupart des sites que nous avons rajoutés.

Les données sont traitées au CNES, dans le centre MUSCATE prototype, et avec le prototype de la chaîne MACCS, développé au CESBIO : http://www.cesbio.ups-tlse.fr/multitemp/?p=6050

Le format des données est décrit ici  : http://www.cesbio.ups-tlse.fr/multitemp/?page_id=3916

D'autres informations sont disponibles ici : http://www.cesbio.ups-tlse.fr/multitemp/?page_id=3487

 

Vous disposez donc de trois ans de données, depuis le 15 avril 2013. Les données récentes sont ajoutées au fur et à mesure, par lots de 15 jours, avec en général un retard de 15 jours à un mois. N'hésitez pas à faire circuler l'information si vous connaissez des personnes intéressés, pour ma part, je ne connais pas encore beaucoup d'utilisateurs dans tous ces territoires.

Voici par exemple la dernière donnée acquise sur la Réunion :
https://theia.cnes.fr/rocket/#/collections/Landsat/e19f3670-44ac-5639-a32f-75881cfddca2

La dernière sur Mayotte
https://theia.cnes.fr/rocket/#/collections/Landsat/ecbd2946-acaf-50a7-8770-f24991f186d6

Saint Pierre et Miquelon
https://theia.cnes.fr/rocket/#/collections/Landsat/0a302ab8-fd9b-5e40-9f05-975054f3439e

Guadeloupe
https://theia.cnes.fr/rocket/#/collections/Landsat/89eaa20a-4151-5d2f-a431-3c84720519fa

Martinique
https://theia.cnes.fr/rocket/#/collections/Landsat/0f4ff8b1-da3e-5fd7-bab5-96b2c0b4a6bc

Tahiti
https://theia.cnes.fr/rocket/#/collections/Landsat/39e58a58-320f-5c06-a370-810e4bf1fb68

Nouvelle Calédonie
https://theia.cnes.fr/rocket/#/collections/Landsat/14ec60b8-4775-57a6-9ec0-419aaa582337

Guyane
https://theia.cnes.fr/rocket/#/collections/Landsat/1dc79ed5-edad-5df6-b733-5a2ec605caba

 

L'illustration ci dessous montre les différentes étapes de la correction, en haut à gauche, l'image sans correction atmosphérique, à droite deux étapes de la correction, en bas à gauche, la quantité d'aérosols retrouvée et les masques d'eau et de nuages.

3 years of Landsat L2A data above France available at THEIA

The MUSCATE processing centre at CNES, which belongs to French THEIA land data centre, produces and distributes all the Landsat 8 data acquired above France at Level 2A. Level 2A products contain surface reflectances after atmospheric correction, and a very good cloud mask.  LANDSAT 8 first routine data had been acquired on April 13th 2013, and THEIA released the data acquired from the first fortnight of April 2015, a few days ago. Three full years of data are therefore now available, and even 6 years if we account for the LANDSAT 5 and 7 data acquired from 2009 to 2011. And very soon, we will start delivering data above the French oversea regions and communities


The atmospheric correction and the cloud detection are processed using the MACCS processor, developped at CESBIO. You have probably already seen several examples of cloud masks in this blog. Regarding atmospheric correction, Camille Desjardins, from CNES, did a validation of the Aerosol optical thicknesses (AOT) over all the Aeronet sites in France, over the 3 last years.   The results are summarized in the plot on the right. For the non-specialists, it is a very good resuls, similar to the state of the art. And as the estimates of AOT condition the quality of atmospheric correction, you may be confident on its quality

 

The diversity of the users of this product shows that they can be used for a large diversitu of themes and applications. Here is a good example of whan can be done automatically with this data set (here all the data from 2014). Please click on the image for more details.

 

This land cover map, still in validation, was created by the iota2 software, whose development is led by Jordi Inglada at CESBIO.  For more details, see Jordi's presentaion at the Living Planet Symposium.

 

The LANDSAT 8  L2A products have been used by 127 different users so far since July last year, when the new distribution server was put on line.  And before that, 98 other users were already using the previous version, probably some users belong to both lists, but I did not count them.

Number of downloaded products since July 2015 13074
Number of users 127

 

As already observed with SPOT (Take5), few users tell us what they do with the data, which indeed is a good sign, because in case of an issue, we receive questions very quickly. But if you are one of the users, please let you know about how you use the data and the results you get. Your results would even be welcome on this blog !

3 ans de données LANDSAT8 N2A sur la France mises à disposition par Theia

=>

Le centre de traitement prototype MUSCATE du CNES, pour le compte de THEIA, continue à produire au niveau 2A et a distribuer les données LANDSAT 8 acquises au dessus de la France. Les produits de niveau 2A fournissent des réflectances de surface, après correction des effets atmosphériques, accompagnées d'un très bon masque de nuages.  Les premières données de Landsat 8 avaient été acquises le 13 avril 2013, et THEIA vient juste de distribuer les données jusqu'au 15 avril 2016. THEIA met donc à disposition 3 ans de données LANDSAT 8, auxquelles s'ajoutent 3 ans de données LANDSAT 5 et 7 acquises entre 2009 et 2011. Enfin, nous allons bientôt mettre à disposition les données sur les régions et communautés d'outre mer, acquises depuis les débuts de LANDSAT 8.

 

La correction atmosphérique et la détection des nuages sont faites avec la chaîne MACCS développée au CESBIO. Camille Desjardins, du CNES (Service Physique de la Mesure Optique) a fait une validation des épaisseurs optiques des aérosols sur tous les sites disponibles en France et sur 3 ans. Les résultats sont résumés dans la courbe ci-dessous. Pour les non spécialistes, c'est un excellent résultat, largement au niveau de l'état de l'art, et comme la détermination de l'épaisseur optique des aérosols conditionne fortement la qualité de la correction atmosphérique, on peut être rassuré sur celle-ci.

 

La diversité des utilisateurs de ces données montre qu'elles peuvent être appliquées à de nombreuses thématiques. Voici un exemple de ce qu'il est possible de faire automatiquement avec ces données (ici, celles de 2014). N'hesitez pas à cliquer sur la carte pour plus de détails.

Cette carte d'occupation des sols, encore à l'état préliminaire, a été générée par la chaîne iota2 dont le développement est coordonné par Jordi Inglada au CESBIO. Cette chaîne a récemment été présentée au Living Planet Symposium.

 

Les produits LANDSAT8 distribués par THEIA ont été téléchargés par 127 utilisateurs différents depuis juillet 2015 et la mise en place du nouveau serveur de distribution. Auparavant, nous avions déjà eu 98 utilisateurs, mais je n'ai pas fait l'exercice de savoir s'il s'agit des mêmes personnes.

Nombre de produits téléchargés depuis juillet 2015 13074
Nombre d'utilisateurs depuis juillet 2015 127

Comme d'habitude, nous avons peu de retours sur l’utilisation de ces données, ce qui est bon signe, car en cas de problème, les questions arrivent vite : si vous êtes un des utilisateurs, nous serions très intéressés d'avoir votre avis sur ces données et éventuellement de voir vos résultats. Nous pouvons même les afficher sur ce blog.

New game : spot the artefacts in S2A L2A mosaics

The validation of MUSCATE, CNES ground segment to process Sentinel-2 data,  and MACCS (our L2A software) is going on, in order to start processing Sentinel-2A data at level 2A soon (in a few weeks...). A previous post compared MACCS cloud masks with those of Sen2cor. For this one, time series have been generated for 4 sites, and on each site, 4 sentinel-2 tiles were processed.

 

As MACCS processes tiles independently, there is a risk of having discrepancies when merging the tiles in one image. However, this risk is low, as MACCS does not estimate a constant aerosol optical thickness (AOT) per tile but produces AOT images for each tile. Since it uses the same data in the overlap region of each tile, the results should be quite alike in each tile. However, because the AOT is smoothed on each tile, some differences may still exist.

 

So, we decided to check, and produced some of mosaics which are shown below. Each image of 210x210 km2 is made from 4 tiles of 110*110km2 which overlap by 10 km. They have been subsampled for a quicker display.  I let you find the artifacts, as I didn't find them... These artifacts would appear as vertical or horizontal lines in the middle of the images. Should you like to repeat the same experiment with a different atmospheric correction, my code snippet (using gdal and imagemagick) is available here.

Provence, France, 2016/03/26 (Copernicus/ESA/CNES/CESBIO)

 

Middle East, Jourdain Valley, Sinai, 2016/04/06
(Copernicus/ESA/CNES/CESBIO)

On this image, the diagonal, highly visible in the North West corner, is not an artefact of MACCS, it is the border between Egypt and Israel.

 

Pretoria, South Africa, 2016/04/17(Copernicus/ESA/CNES/CESBIO)

Atlas Mountains, Morocco, 2016/04/07(Copernicus/ESA/CNES/CESBIO)

If the Atlas mountains look strangely flat on this image, it is because MACCS corrects for the illumination differences due to terrain. But if you plan to climb the Toubkal (4167m), be sure it is not flat and that MACCS will not help you.

(Wikipedia photograph, not mine...)

 

 

And finally, maybe did you see the African "cloudless mosaic" released by ESA from Sentinel-2 images. Well indeed, it shows very well the acquisition potential of Sentinel-2 but if you dislike artefacts... don't zoom !

It is only level 1C, not corrected from atmospheric effects, without any cloud detection, remaining clouds are not flagged, it is just a NDVI maximum composite. Not very useful... except for press releases.

(Copernicus/ESA/Brockmann/UCL)

Nouveau jeu, cherchez l'artefact dans les mosaiques de Niveau 2A de Sentinel-2

=>

La validation de MUSCATE et MACCS se poursuit, dans le but de démarrer prochainement le traitement des données de niveau 2A (dans quelques semaines). Un post précédent comparait les masques de nuages issus de MACCS avec ceux de Sen2cor, la chaîne de l'ESA. Des séries temporelles ont récemment été traitées sur 4 sites, et sur chaque site, 4 tuiles ont été traitées.

 

Comme MACCS traite les tuiles indépendamment les unes des autres, il y a un risque que des différences apparaissent lorsqu'on fusionne les tuiles adjacentes d'un même produit. C'est la mauvaise connaissance des aérosols qui peut introduire des erreurs de correction atmosphérique, et des différences peuvent apparaître d'une tuile à l'autre si on utilise des propriétés optiques des aérosols constantes par tuile. Ce n'est pas le cas avec MACCS, qui estime des images d'aérosols. La région où les tuiles se superposent contient les mêmes données dans chaque tuile et doit fournir la même quantité d'aérosols. Le risque d'ecart entre tuiles est donc faible. Cependant, comme on effectue des lissages par tuiles, de petites différences peuvent exister..

 

Nous avons donc décidé de vérifier, et nous avons produit des mosaïques de 4 tuiles qui sont affichées ci-dessous. Chaque image de  210x210 km2 est composée de 4 images de 110*110km2 qui se superposent de 10 km. Je vous laisse donc chercher les artefacts, pour ma part, je n'en ai pas trouvé. Ces artefacts pourraient apparaître sous la forme de lignes verticales ou horizontales, au milieur de l'image.  Si vous souhaitez répéter cette expérience avec un autre logiciel de correction atmosphérique, je vous laisse utiliser mon petit code (basé sur gdal et imagemagick) : il est disponible ici.

Provence, France, 2016/03/26(Copernicus/ESA/CNES/CESBIO)

Moyen orient, vallée du Jourdain, Sinai, 2016/04/06
(Copernicus/ESA/CNES/CESBIO)

Sur cette image, la diagonale nettement visible dans le coin Nord Ouest n'est pas un artefact de MACCS, c'est la frontière entre Israël et Égypte.

 

Pretoria, Afrique du Sud, 2016/04/17(Copernicus/ESA/CNES/CESBIO)

Montagnes de l'Atlas, Maroc, 2016/04/07(Copernicus/ESA/CNES/CESBIO)

Si les montagnes de l'Atlas vous paraissent bizarrement aplaties sur cette image,c'est parce que MACCS corrige les  variations d'éclairement dues au relief. Mais si vous avez l'intention de gravir le Toubkal (4167m), soyez bien sûrs que ce n'est pas plat, et que MACCS ne vous aidera pas..

(La photo n'est pas de moi, elle vient de Wikipedia)

 

Enfin, peut-être avez vous vu la mosaïque Africaine "sans nuages" publiée par l'ESA à partie de Sentinel-2, et dont on fait tout un plat. Certes, elle met bien en valeur le potentiel d'acquisition de la mission Sentinel-2. Mais si vous n'aimez pas les artefacts... ne zoomez pas !

C'est du Niveau 1, sans correction atmosphérique, et sans détection de nuage, les nuages résiduels ne sont pas identifiés, la méthode utilisée cherche juste le maximum de NDVI. Bref,  pas très utile... sauf pour les communiqués de presse.

(Copernicus/ESA/Brockmann/UCL)

Premier test de Sen2cor V2.2.1 (et comparaison avec MACCS)

=>

 

Deux ou trois jours avant le symposium Living Planet, l'ESA a mis en ligne la nouvelle version de Sen2cor (V2.2.1), le logiciel de correction atmosphérique de Sentinel-2. J'avais déjà publié une comparaison basée sur la version V2.0.6, dans laquelle je concluais que la détection des nuages et des ombres était très mauvaise, mais que c'était probablement dû à des bugs et à un manque de validation. Je recommandais donc d'attendre la nouvelle version.

 

Pour commencer, j'ai trouvé l’installation de Sen2cor extrêmement facile, au moins sur une machine linux Ubuntu 14.04. Il suffit de lire la doc et de suivre les conseils. La syntaxe de la ligne de commande est aussi très simple, et le temps de calcul est très raisonnable (30 mn pour une tuile, sans l'utilisation d'un MNT), c'est un peu plus court que MACCS, même, mais MACCS fait beaucoup plus de choses. Félicitations donc à l'équipe de développement, c'est une performance de réussir cela sur tous les types de systèmes.

 

J'ai fait mes premiers tests sur une tuile du Maroc (Tuile n°29RNQ), que j'avais déjà utilisée pour présenter les premiers résultats de MACCS intégré dans MUSCATE. Si vous regardez les images ci-dessous, vous verrez que l'affirmation des auteurs d'une forte amélioration de la qualité des masques est vraie.  Les résultats obtenus sont maintenant logiques, vis-a-vis des informations disponibles pour détecter les nuages : des seuils sur les réflectances ou sur des rapports de réflectance, mais pas de critères multi-temporels.

 

Sur la figure ci-dessous, j'ai tracé les contours des nuages en vert, les contours de la neige en rose  et les contours de l'eau en bleu. Pour Sen2cor, j'ai sélectionné les nuages moyennement probables ou très probables, ainsi que les nuages hauts. Je commenterai les images plus bas.

 

 

Sen2cor MACCS
2016-03-18 2016-03-18
2016-04-07 2016-04-07
2016-04-17 2016-04-17

La différence qui saute aux yeux est liée à l'épaisseur des contours. Cöté Sen2cor, la détection des nuages se fait à pleine résolution, alors qu'elle se fait à 240m de résolution pour MACCS avant d'être interpolée. Dans Sen2cor, la bordure des nuages est donc un patchwork de pixels nuageux et non nuageux, ce qui donne plus d'épaisseur aux contours. Par ailleurs, même si c'est un peu subjectif, il me semble que Sen2cor détecte trop de nuages, notamment dans le coin Nord-Ouest de l'image de mars.

 

Sur la seconde image, Sen2cor trouve toujours un peu trop de nuages et confond nuages et neige, encore plus que MACCS qui a pourtant bien du mal quand la couverture neigeuse est partielle.

 

Enfin, sur la troisième image, Sen2cor manque quelques nuages (des petits, mais aussi de gros nuages bas très brillants, ce qui est étrange). De son côté, MACCS dilate les nuages de 400m pour le cas où les bords de nuages seraient flous. C'est vrai et donc utile pour la plupart des types de nuages, sauf pour les cumulus, par exemple ceux qui envahissent le coin Nord-Est. Mais pour pouvoir faire varier la dilatation, il faudrait reconnaîte les types de nuages, et ce n'est pas simple.

 

On peut aussi remarquer que les teintes des images produites par MACCS et Sen2Cor sont très proches, ce qui signifie que les corrections atmosphériques sont proches, et par ailleurs, la stabilité de ces teintes indique que ces corrections doivent bien marcher. Il faudra valider tout cela plus rigoureusement.

 

 

Il faudrait traiter plus de données pour confirmer ces premières impressions, mais on peut conclure que Sen2Cor a vraiment fait des progrès. Certes, MACCS reste plus précis en termes de détection des nuages grâce à l'utilisation de critères muti-temporels, mais ceux-ci rendent l'utilisation de MACCS plus délicate que celle de Sen2Cor.

 

D'ici quelques semaines, vous devriez pouvoir accéder aux données traitées par MACCS, soit par l'intermédiaire du centre de données THEIA, ou grâce au système Sen2Agri.

 

 

 

 

 

First test of Sen2cor 2.2.1 (and comparison with MACCS)

A couple of days before the living planet symposium, ESA issued a new version of Sen2cor (V2.2.1), the Sentinel-2 atmospheric correction toolbox. I had made a first comparison of MACCS and Sen2cor results using V2.0.6, regarding the cloud masks mainly, in which I concluded the scene classification was really bad, but probably due to bugs and lack of validation, and that we should wait for next version.

 

First of all, I found the installation of Sen2cor straightforward, at least on an Ubuntu 14.04 linux platform. You just have to read the doc and do as advised. The command line is also very simple and processing time correct, 30 minutes per tile (when processing without MNT), which is a little faster than MACCS (which does much more things). And just bravo ! to the team for being able to do that on all kinds of platforms.

 

I have made my first tests on a scene in Morocco (tile n°29RNQ), which I had already analysed with MACCS runs. If you look at the figures below, you will see that the claim of a large improvement of the scene classification is perfectly true. The obtained results are logical given the information used to detect the clouds, ie thresholds on reflectances and reflectances ratio, but no multi-temporal stuff. I have drown the contours of cloud masks in green, the contours of snow masks in pink and the contours of water in blue. For Sen2cor, I selected the clouds with medium or high probability, plus the high clouds. Here are the images, I will comment them below.

 

 

Sen2cor MACCS
2016-03-18 2016-03-18
2016-04-07 2016-04-07
2016-04-17 2016-04-17

What first strikes is the thickness of the contours in Sen2cor, which is due to the fact that scene classification is done at full resolution with Sen2cor, and at a lower resolution with MACCS and then interpolated. The edges of the clouds in sen2cor are made of a patchwork of cloud/no cloud pixels, which give a greater thickness to the contours. I know that's subjective but it seems that sen2cor finds too many clouds, for instance in the March image, at the North West of the scene.

 

On the second image, Sen2cor still detects too many clouds, and confuses snow and clouds even more than MACCS (which is far from perfect with partial snow cover).

 

Finally, on the third image, Sen2cor also misses a few clouds (small ones, but also some very bright low clouds, this is strange and I do not know how it happens. MACCS uses a 400m buffer around each cloud, in case it has fuzzy edges. This is very useful for all types of clouds except for the small cumulus clouds, which invade the north-eastern part of the image, where some clear pixels are lost. But to reduce the buffer only on cumulus clouds, it would be necessary to identify the type of cloud, which is not that easy.

 

One may also note that the tints of the images are very similar, which shows that the atmospheric corrections are equivalent. and the stability with time of these colours also show that they are good !

 

More data should be processed to confirm this first impression, but we may conclude that Sen2cor was indeed improved, and even if some classification errors can be found, the available information seems to be well used. As already said, MACCS seems more accurate in terms of cloud detection  thanks to the use of multi-temporal criteria, but because of that, it is less easy to use.

 

In a few weeks, you should have access to Sentinel-2 data processed with MACCS, either within THEIA ground segment, or through the Sen2Agri package.

 

 

 

 

 

Sex ratio at LPS16

I did not have the chance to attend the latest ESA's Living Planet Symposium so I was curious to read Olivier's report. The picture in his post shows a crowded room... but what stroke me most is that it looks like 90% of the people in the room are middle-age men. There is no public data on the age or the sex of the participants to the LPS16. But there is a page on the LPS16 website listing all the authors.

A room at LPS16

A room at LPS16

Continue reading

Some news about Sentinel-2 from Living Planet Symposium

 

If I haven't posted for more than a week, it is because I have been participating to the Living Planet Symposium 2016 in Prague. With the preparation, travel, and participation to this crazy symposium. I say crazy because it is packed with about 3000 people, of which I know only about 300. When you want to go from a room to another, it takes as much as 20 minutes as you meet at least 3 or 4 of your colleagues and have a chat. But I do not need to tell you, as very likely, you were there too !

One of the 6 to 8 rooms, packed with people at the same time

 

The good news is that I have had access to a lot of information. I will start by some news about Sentinel-2 of course. Some of these news are not good.

  • The launch of Sentinel-2B has been postponed by to 2017, probably between March and June, due to a delay with the Rockot launcher. This is very annoying as accounting with the time needed for the commissioning phase, it means we will only rely on a 10 days repetitivity during modt of 2017.
  • The availability of Sentinel-2 ortho-rectified data with ground control points has also been postponed to the end of 2016, while initially it was planned in June. ESA says it is due to the fact that the global reference images (GRI) are not ready yet worldwide. We thus will have to cope with registration errors of about 1 pixel within the same orbit and 2 pixels when comparing data from 2 orbits. ESA had announced last year that they would introduce the reference data per continents starting by Europe, but it seems they changed their minds. Still I was told that the GRI for Europe and Australia are available or will be very soon, so why not starting a prodution of ortho-rectified data on those continents ?
  • ESA is also going to change and shorten the very long names of their products and start to distribute data tile wise. Of course, this is good news as the choices made before were not convenient, and it is better correcting it now, as the data backlog is short, but it means everyone will have to change his software. This might delay several productions downstream ESA ground segment.
  • ESA has published a new version of Sen2cor, which is said to seriously enhance the scene classification which was really bad in the previous version, especially for its cloud and cloud shadows mask. I will test it of course, as soon as I find some time.

 

This image background image is a monthly synthesis of Sentinel-2 images of august 2016, covering the whole Czech Republic. It was processed by MACCS to level 2A  and then to level 3A by the synthesis method we developed at CESBIO and implemented within Sen2Agri package. The overlayed landcover map itself was generated by GISAT in the Czech Republic based mainly on Sentinel-1 data, as Sentinel-2 data last summer were still quite scarce. This poster was shown on the 10x10m advert on the congress centre, alternating with a nice bikini (sorry, I only have the Sentinel image !)

 

I have been very positively surprised by how our user community has started using the time series, instead of using images only. It is clear we have entered a new chapter of remote sensing history on the application side, with much more robust results. The case studies based on one image have completely disappeared on the presentations, even if they are still present on the posters. Sentinel-1 examples were impressive and joint uses of both Sentinels 1 & 2 are rising. As the recently launched Sentinel-3A seems to be working well, it is clear ESA has set up a great system Europe can be proud of. And on top of that, ESA really know how to organise a symposium !

 

Série temporelle de chats

=>

La télédétection satellite optique est un outil formidable pour suivre l'étendue du manteau neigeux en montagne... sauf quand il y a des nuages ! La télédétection radar du manteau neigeux (indifférente aux nuages) n'est pas encore opérationnelle en zone de montagne, notamment en raison du fait que le signal rétro-diffusé par le manteau neigeux varie très fortement avec son contenu en eau liquide. Sur le plancher des vaches, en revanche, de nombreuses personnes observent le manteau neigeux, même sous un ciel couvert. Certains sont même assez gentils pour prendre des photos, les télécharger sur un site web de partage, et les mettre à disposition sous licence publique. Une bonne partie des photos est géolocalisée, soit parce que l'appareil photo est équipé d'une puce GPS, soit parce que le photographe a lui-même ajouté les coordonnées de la prise de vue lors de la publication de son album.
Continue reading