La première carte d'occupation des sols 2016 de la France avec Sentinel-2

(article copié depuis le blog OSO)

La carte d'occupation des sols 2016 est là

Poster_OSO_V4.png

Une fois n'est pas coutume, nous sommes en avance. Enfin, presque. Nous avions promis une carte d'occupation des sols 2016 de la France métropolitaine avant la fin du premier trimestre 2017. Elle existe et est disponible ici. Il s'agit d'une carte à 10 m de résolution, avec la même nomenclature que celle utilisée pour les derniers produits prototypes Landsat à 17 classes.

La carte est principalement basée sur des données Sentinel-2 allant de fin 2015 à fin 2016, mais nous avons aussi utilisé des données Landsat-8. Nous vous donnons les détails de la procédure de production plus bas.

Continue reading

THEIA diffuse un an de données Sentinel-2 L2A sur le Maroc

=>

Après la France, la Belgique, le Nord de l'Espagne, la Tunisie, un transect du Burkina Faso au Mali et quelques tuiles en Ethiopie, Theia vient de diffuser un an de données Sentinel-2 au niveau 2A au dessus d'une grande portion du Maroc, de Casablanca à Ouarzazate. Les produits de Niveau 2A fournissent des réfectances de surfaces corrigées des effets atmosphériques et accompagnées d'un masque de nuages de grande qualité.

 

Les données de niveau 2A sont, comme d'habitude, téléchargeables depuis https://theia.cnes.fr. Reportez vous à la page d'aide pour trouver la description du format. Pour télécharger les données sans cliquer, vous pouvez utiliser notre outil de téléchargement en python (après vous être inscrits sur le site de Theia).

Continue reading

Quantitative validation of MACCS cloud masks

=> 

At the annual review  of PEPS project (CNES Sentinel global mirror site), the GEOSYS company showed its operational activities centered on the use of Sentinel-2 data to provide advise on agriculture on many regions of the world. On this occasion, GEOSYS showed their cloud detection process for Sentinel-2 images. The Sen2cor solution was not considered reliable enough y GEOSYS, and the regions processed by MACCS within MUSCATE are far from covering all the regions of interest of the company. GEOSYS decided to rely on human operators to improve the cloud masking. For each processed Sentinel-2 image, a man made valid pixel mask is build ("valid" means without clouds and cloud shadows).

 

Continue reading

Theia releases Sentinel-2A L2A data over Morocco

=> 

After France, Belgium, North of Spain, Tunisia, a transect from Burkina Faso to Mali and some tiles in Ethiopia, Theia just released the production of one year of Sentinel-2A data at Level 2A above a large region of Morocco, from Ouarzazate to Casablanca. Level 2A products provide surface reflectances corrected from atmospheric effects, with a high quality cloud mask.

 

The L2A data are, as always, available from https://theia.cnes.fr. Please refer to the help page to find the data format description. To download the data without a click, you may use our python download tool (after having registered on Theia's site).

Continue reading

Validation des masques de nuages de MACCS

=>

Lors du bilan annuel de l'exploitation du projet PEPS (le site miroir des données Sentinel au CNES), la société GEOSYS a présenté ses activités opérationnelles d'utilisation des données Sentinel-2 pour fournir du conseil en agriculture sur de nombreuses zones dans le monde. A cette occasion, GEOSYS nous a présenté sa procédure de détection des nuages sur Sentinel-2. La solution Sen2cor n'a pas été jugée suffisamment fiable par GEOSYS, et les zones traitées par MACCS ne couvrent pas, loin de là, toutes les zones d'intérêt de la société. GEOSYS a donc décidé de faire intervenir des opérateurs pour affiner la notation nuageuse des images. Pour chaque image traitée, les opérateurs fournissent un masque de pixels valides (clairs, sans nuages ni ombres).

Continue reading

MUSCATE S2 product versions

V1_0 was a preliminary processing performed with early version of MACCS adapted to Sentinel-2. It was plagued with a bug in the cloud shadow mask : when more than 255 clouds were present in one image, shadow detection went completely wrong and shadows were detected anywhere. V1_0 was not produced in MUSCATE operationnal context, but in an earlier validation context. Production was available over France only.

 

V1_1 replaces V1_0 over France, Production started mid November, but was only released in February because of many difficulties encountered by MUSCATE. It corrects for the bug related to cloud shadows observed with V1_0, and  was fully processed by the operational MUSCATE center.

 

V1_2 was used in another context not related to MUSCATE, you will not find any product with this version number within MUSCATE server.

 

V1_3 was applied starting from February 2017, to data sets produced above Reunion, Burkina, Senegal, Tunisia, Morocco.The aerosol estimate is improved compared to V1_1. Together with Bastien Rouquié, from CESBIO, we worked on the tuning of the blue-red ratio which is used in the multi-spectral method to estimate aerosols (which is combined with a multi-temporal method). Initially, we used bands B2 (Blue) and B4 (Red), with a ratio of 0.45. We found out that better results were obtained with B1 (Blue) and B4 (Red), still with a ratio of 0.45. More accurate studies tend to recommend a higher value, closer to 0.5

 

As can be seen in the figure below, the estimates obtained with V1_3 are not biased anymore, and have a reduced standard deviation. As a consequence of getting a lower aerosol optical thickness, the surface reflectances of V1_3 products are 2% higher than those of the earlier versions (some user feedbacks from V1_0 said reflectances were sometimes too low).

 

Using B2/B4 ratio

Using B1/B4 ratio

 

V1_4 will be provided with a better shadows mask, as it has been found that the shadows masks are too severe and contain too many commission errors. It is in its final stages of validation.

 

 

5000+ L2A Sentinel-2A products released on Theia server

=> 

:) :) :) After having repeated month after month " sorry, our L2A product production is late again for  this ou that reason" in this blog, on the phone, during meetings, via email or on social networks, you can't imagine my pleasure to announce that CNES just released large time series of Sentinel-2A L2A data, over France, Reunion Island, North of Spain, Belgium, Luxembourg, and on some large sites in Burkina Faso, Mali, Ethiopia, and Tunisia. We process one whole year of data from December 1st 2015 to December 1st 2016. More than 5000 tiles where just released.  Processing over Tunisia goes on and Morocco and Senegal are next on the list. Then, we will process Madagascar, and the  all the zones displayed here. The data were processed using the MACCS processor.

Data are available here :

https://theia.cnes.fr/

Please have a look at the help page to access the product format documentation and install the download tool.

 


Continue reading

5000 produits L2A Sentinel-2A ajoutés sur le serveur Theia

=>

:) :) :) Après avoir répété pendant des mois, "désolé, notre production a pris du retard pour telle ou telle raison", dans des articles de blog, au téléphone, en réunion, par email, sur twitter, vous ne pouvez pas imaginer le plaisir que j'éprouve à annoncer que le CNES vient de mettre en ligne de grandes séries de données Sentinel-2A, au niveau 2A, sur la France, la Réunion, le Nord de l'Espagne, le et des sites au Burkina Faso, en Ethiopie, et  en Tunisie (partiellement encore).  La période traitée s'étend sur un an, du 1er décembre 2015 au 30 novembre 2016. Au total, plus de 5000 tuiles sont disponibles. Les traitements sur les zones du Mali, du Maroc et du Sénegal vont commencer, puis ce sera le tour de Madagascar et des différentes zones affichées ici. Les données ont été traitées avec la chaîne MACCS.

Les données sont disponibles ici :

https://theia.cnes.fr/

N'oubliez pas de de consulter la page d'aide du site, nottamment pour accéder à la documentation du format du produit et pour installer l'outil de téléchargement.

Continue reading

Nouvelles de MUSCATE / MUSCATE news

Depuis que le nouveau cluster du CNES a été installé, le centre de production MUSCATE a fonctionné de manière régulière, avec un rythme de production de 100 tuiles Sentinel-2 traitées au Niveau 2 par jour. Nous sommes encore loin de la pleine vitesse :, il faudra d'une part encore quelques mises à jours pour que le système soit plus robuste, et d'autre part que le nouveau centre de calcul du CNES termine sa phase de rodage car il tourne tourne encore assez lentement. Cependant, la production des données sur la France, la Belgique, les Pyrénées, le bassin de l'Ebre et la Catalogne en Espagne devrait se terminer ce week-end et les données seront ensuite poussées verts le serveur de distribution dans le courant de la semaine prochaine. Les nouvelles données porteront la version V1_1.

 

Nous démarrerons par la suite la production des données de trois nouvelles zones, au Maroc, en Tunisie et au Burkina Faso. Quant au traitement en temps réel, il nous faut attendre la validation de la modification qui permet de gérer le nouveau format de données Sentinel-2, mis en place le 4 décembre. C'est pour très bientôt !

 

Since the new CNES cluster has been installed, the MUSCATE production rate has been steady, around 100 products per day. This is not full speed, as MUSCATE still needs a few updates to be more robust and can't still be used at full capacity, and as the CNES cluster is in its tuning phase and is often running quite slow. However, the production of all data above France, Belgium, and North of Spain (Pyrenees, Ebro basin, Catalonia) should be completed this week-end and pushed to the distribution server next week. The new products will have version number V1_1. This version brings mainly a few bug corrections, regarding the cloud shadows for instance.

 

Then we will proceed with 3 other zones ; Burkina, Morocco and Tunisia. To start real time production, we are waiting for the end of validation of the adaptation to the new format of Sentinel-2 data, which started to be used of the 4th of December 2017. It's nearly ready !

Mise en place du nouveau cluster du CNES

L'installation du nouveau cluster de calcul du CNES est en voie de finalisation, et le transfert des données depuis l'ancien cluster, qui nécessitait un arrêt des machines (la nouvelle et l'ancienne) pendant une petite semaine, s'est bien passé. Nous aurons bientôt à notre disposition environ 8000 cœurs et une puissance de calcul de 2.5 TFlops, à partager bien sûr avec les autres projets du CNES.

L'exploitation de MUSCATE a déjà repris, mais toujours sur l'ancien cluster, et avec des performances temporairement réduites par rapport à la situation antérieure. L'accès au nouveau cluster est prévu pour bientôt, mais les premiers tests ont mis en évidence des difficultés de configuration sur lesquelles les équipes techniques travaillent.

 

Vue l'instabilité de notre système ces dernières semaines, l'exploitation redémarre doucement, mais avec une cadence qui augmente tous les jours. Nous en sommes à produire 80 tuiles par jour, soit la moitié du rythme de croisière. Nous devrions donc bientôt commencer à rattraper notre retard.