Sentinel-2 captures new data centers in Iceland

In a remote sensing study published in Nature, the authors claimed that they used "101 CPU-core years of computation (..) within the Google data centres". This made me wonder what could be the carbon footprint of such a study?. I estimated that it should be 65 tonnes of carbon dioxide, but a Google engineer replied:

Google purchases enough renewable energy to offset 100% of its energy use for its offices and data centers.

In just a few years, the company has made an impressive move to renewables, true to its famous motto "don't be evil". Google is the largest corporate purchaser of renewable energy on the planet. However, it's better to save energy than to buy renewable energy, as explained by Forbes:

It is true that Google is buying all its electricity from renewable sources, but it is unlikely that all the electricity it is using comes from renewable sources. This is because solar and wind, Google’s choices for renewable sources, are both variable, while Google’s electricity demand is not. In other words, there are times and locations when Google must use electricity that comes from traditional sources, while simultaneously the electricity generated from the renewable projects funded via Google’s PPAs is curtailed and lost.

To save energy (and cost), large tech companies are moving data centers in Nordic countries like Iceland to take advantage of the "free air cooling". Moreover in Iceland the electricity production relies primarily on hydropower and geothermal heat.

Sentinel-2 images of data centers in Reykjanesskagi, Iceland


Continue reading

Detecting geolocation errors in glacier outlines with Sentinel-2 snow cover duration maps

Two years ago I posted an animation of the snow cover area evolution near Zermatt, Switzerland from Sentinel-2 L2A data processed by LIS.

From this time series of snow maps I generated a snow cover duration map and
added the glacier outlines from the Randolph Glacier Inventory 5.0.

Colors: Snow cover duration between 01 Sep 2016 to 31 Aug 2017 (in days). Black line: Glacier outline from RGI.



I was satisfied by the overall good agreement between the areas with a high snow cover duration and the glacier outlines. However by looking more closely at the small isolated glacier in the eastern part I noticed a mismatch between both datasets..
Continue reading

THEIA's Sentinel-2 L2A processing on Sahel is progressing

=>

As we had announced in November, the MUSCATE production centre in Theia is gradually adding areas in the Sahel, which are shown in the image below. The data are processed from December 2016 onwards, which means that we have a large amount of data to process. So we started with the most westerly tiles, in Senegal on the UTM28 zone, then progressed from one zone to another towards the East.


Theia Sentinel-2 processing area on the Sahel

 

In red, the tiles available from Dec 2016 to NRT, in blue , the remaining tiles to be added.

In recent days, Theia has completed the processing of tiles in the UTM29 area, which mainly covers northern Guinea and western Mali, but also partially covers southern Mauritania and Sierra Leone and north-western Côte d'Ivoire. The treatment of the UTM 30 zone, which covers Burkina Faso and Mali, is also well advanced. The east of this area is finished, and the west is progressing well, as shown in the animation below. The UTM31 zone has also been brought into production. Feel free to take a look from time to time at the map of areas covered by MUSCATE. The blue tiles turn red as soon as we switch to run-of-river processing.

 

The data can be downloaded from here:

https://theia.cnes.fr

 

Animation in the region of the city of Mopti, Mali, with about one image per month in 2017. The displayed time series extends between two rainy seasons and covers the dry season. Many fire scars are visible during the dry season. Some shadows appear, which actually correspond to the shadows of cirrus clouds corrected by MAJA. Shadows and cirrus are marked in the products.

Le traitement des données Sentinel-2 L2A au Sahel progresse

=>

Comme nous l'avions annoncé en Novembre, le centre de production MUSCATE de Theia rajoute progressivement des zones au Sahel, qui sont affichées sur l'image ci-dessous. Les données sont traitées à partir de décembre 2016, ce qui nous fait une grande quantité de données à traiter. Nous avons donc commencé avec les tuiles les plus à l'ouest, au Sénegal sur la zone UTM28, puis de proche en proche vers l''Est.


Zone de traitement Sentinel-2 sur le Sahel proposée à Theia. En vert foncées les tuiles qui déjà traitées par Theia, en teintes claires, les tuiles que nous ajoutons progressivement.

 

Depuis quelques jours, Theia a terminé le traitement des tuiles de la zone UTM29 qui

En rouge, les zones déjà disponibles en temps réel et depuis fin 2016, en bleu, les zones qui le seront bientôt.

couvre principalement le Nord de la Guinée et l'Ouest du Mali, mais aussi partiellement le sud de la Mauritanie et la Sierra Leone et le Nord Ouest de la Côte d'Ivoire. Le traitement de la zone UTM 30 qui couvre le Burkina Faso et le Mali, est lui aussi bien avancé. L'est de cette zone est terminé, et l'ouest avance bien, comme le montre l'animation ci-dessous. La zone UTM31 a elle aussi été mise en production. N'hésitez pas à jeter un coup d’œil de temps en temps à la carte des zones couvertes de MUSCATE. Les tuiles en bleu deviennent rouges dès que l'on passe au traitement au fil de l'eau.

 

Les données peuvent être téléchargées ici :

https://theia.cnes.fr

 

Animation sur la région de la ville de Mopti, au Mali, avec environ une image par mois en 2017. La série temporelle s'étend entre deux saisons des pluies et couvre la saison sèche. De nombreuses cicatrices d'incendies sont visibles pendant la saison sèche. Quelques ombres apparaissent, qui correspondent en fait aux ombres des cirrus corrigées par MAJA. Les ombres sont marquées dans les produits.

Plus de 1000 téléchargements en deux ans pour le code de correction atmosphérique MAJA

=>

Nous avons commencé à distribuer MAJA gratuitement en juillet 2017, il y a moins de deux ans, et le logiciel a déjà été téléchargé plus de 1000 fois (1068 précisément aujourd'hui). Celà représente en moyenne plus de deux téléchargements par jour de semaine, et ces dernières semaines, nous avons atteint environ 4 téléchargements par jour. Bien sûr, c'est probablement beaucoup moins que Sen2cor, qui dispose d'un financement confortable pour le rendre facile à installer et à utiliser sur un ordinateur personnel, sous Windows, IOS ou Linux. Mais les deux logiciels ne jouent pas dans la même catégorie: Sen2cor a été conçu pour fonctionner du côté client, tandis que MAJA a été conçu pour être robuste et efficace dans les environnements de production.

 

MAJA ne fonctionne que sur linux, et ses algorithmes multi-temporels le rendent moins facile à utiliser. MAJA fait des calculs beaucoup plus complexes que Sen2cor, en deux fois moins de temps que Sen2cor grâce à une bonne parallélisation utilisant la bibliothèque Orfeo Toolbox C++ Library. Malgré cette complexité, beaucoup d'utilisateurs semblent avoir réussi à le faire fonctionner.


Comparaison de séries temporelles d'images de MAJA (Gauche) and Sen2cor (droite) sur la région de Naples. Les masques de nuages sont soulignés en vert, et les ombres en jaune. Cliquez sur l'image pour l'agrandir.

La version de MAJA que nous recommandons actuellement est la version 3.3 qui apporte de nombreuses améliorations.

Deux outils permettent de faire tourner MAJA efficacement :
- Sen2Agri, pour lequel MAJA (et son ancienne version MACCS) a été téléchargé environs 700 fois
- Start-MAJA, qui est un petit orchestrateur que j'ai d'abord développé pour mon usage personnel, puis publié en open source sur github. Il a été téléchargé 450 fois et a reçu 18 étoiles sur la plateforme github du CNES , et 45 sur mon dépôt github personnel, où il était disponible avant de basculer vers celui du CNES.

Les téléchargements de STart-MAJA sur github pendant la dernière quinzaine

 

Cependant, il n'est pas facile de savoir combien d'utilisateurs ont réussi à l'installer correctement, et combien ont échoué. Nous savons que certains utilisateurs parviennent à l'installer facilement. Nous recevons souvent des commentaires et des questions lorsque les utilisateurs ne réussissent pas immédiatement, et nous ne connaissons pas la proportion de ceux qui abandonnent. Nous serions heureux de recevoir plus de retours sur les difficultés rencontrées et sur le taux de succès. N'hésitez pas à nous informer !

MAJA est un logiciel développé par la société CS-SI pour le compte du CNES (service DNO/OT/IS, Imagerie Spatiale). Les méthodes ont été définies par le CESBIO avec des apports du DLR. D'autres services du CNES (DSO/SI/MO, physique de la mesure optique) et compagnies (Magellium, Cap Gemini, Thales-IS) on apporté leur concours à son développement et sa validation.

 

Les dépôts d'avalanche sur le glacier du Miage vus par le produit neige Theia

Récemment j'ai extrait la carte de la durée de l'enneigement faite à partir des produits neige Theia pour la Direction Départementale des Territoires de Haute-Savoie (DDT 74). Pour cela j'ai traité quatre tuiles Sentinel-2 ce qui couvre une bonne partie des Alpes du Nord.

Durée de l'enneigement du 01 septembre 2017 au 31 aout 2018 calculée à partir des produits Theai

.

En inspectant cette image mon œil a été attiré par des anomalies positives sur la langue rocheuse du glacier du Miage au sud du Mont-Blanc (cliquer sur l'image pour agrandir).

Ces surfaces qui restent enneigées plus longtemps que leur voisinage sont des dépôts d'avalanche bien visibles sur Google Earth. Je n'ai pas trouvé la date de l'image utilisée par Google Earth mais on remarque la bonne correspondance entre les dépôts de cette photo instantanée et le produit de durée d'enneigement (un peu comme dans ce post historique) !


Note

Comme pour les Rocheuses Canadiennes, j'ai d'abord cherché la limite haute de l'altitude des zones de forêts pour ne garder que les zones ouvertes d'altitude où le produit Theia est le plus robuste. Ce qui m'a permis de conclure qu'en première approximation on peut conserver les zones situées au-dessus de 2000 m.

Densité du couvert forestier dans les tuiles T31TGL, T31TGM, T32TLR et T32TLS par tranche d'altitude d'après le produit Copernicus Tree Cover Density 2015 à 100 m de résolution. Pour chaque case, le trait rouge central indique la médiane, et les bords inférieur et supérieur indiquent respectivement les 25ème et 75ème percentiles. Les boites à moustaches s'étendent jusqu'aux points de données les plus extrêmes non considérés comme des valeurs aberrantes, et les valeurs aberrantes sont tracées individuellement à l'aide du symbole «+».

More than 1000 downloads of MAJA atmospheric correction software

=>

We started distributing MAJA as a free software in July 2017, less than 2 years ago, and it already reached 1000 downloads (1043, as a mater of fact).  MAJA was in fact downloaded twice per working day, and in the very last weeks, we had about 4 downloads a day ! Of course it is probably much less than Sen2cor, which is a software with a comfortable  funding to make it easy to install and use on a personal computer, under Windows, IOS or Linux systems. But both software are not in the same category, Sen2cor was designed to run on client side,  while MAJA was designed  to be robust and efficient in production environments.

 

MAJA only works on linux systems, and its multi-temporal features make it less easy to use. MAJA does much more complex computations than Sen2cor, about twice faster thanks to a good parallelization using the Orfeo Toolbox C++ Library. Still, despite this complexity, a lot of users seem to have managed to make it work and seem to be happy with it.

Comparison of MAJA (left) and Sen2cor (right) time series over Naples, Italy. Cloud masks are outlined in green, shadows in yellow. click on the image to enlarge.


We recommend the use of the latest version 3.3 which brings a lot of improvements.

 

Users can run MAJA through 2 main launchers:

  • Sen2Agri, for which MAJA (or its former MACCS version) was downloaded almost 700 times
  • Start-MAJA, which is a little scheduler I developed first for my own usage and then released as open source on github. It has been downloaded 450 times and has received 18 stars on the CNES github platform, and 45 on my github repository, where it was available before moving to CNES's.

Last fortnight clones of Start-MAJA scheduler

However, it is not easy to know how many users managed to install it properly, and how many failed. We know some users manage to install it easily. We often receive feedback and questions when users do not succeed at once, and we do not know the proportion who give-up. We would be happy to receive feedback emails and know if you succeeded, and if you are happy with the results.

 

 

Les séries temporelles de niveau 3A de Sentinel-2

=>

Le mois d'avril, malgré un ennuagement certain, nous a de nouveau offert une belle synthèse sans nuages. En fait, les produits de Niveau 3A de Theia utilisent 46 jours centrés sur le 15 du mois, nous avons donc bénéficié du beau temps des derniers jours de mars ou des premiers jours de mai. Comme chaque mois, Peter Kettig du CNES a produit les synthèses de niveau 3A à partir des données Sentinel-2 du mois précédent. Une colonne de tuiles est dégradée sur l'Ouest de la France. Il s'agit d'un problème dû à la récupération des données Sentinel par PEPS. Nous allons la retraiter.
Les données à pleine résolution, avec leurs masques de qualité, peuvent être téléchargées depuis le serveur de distribution Theia au CNES.

Si vous n'avez pas peur d'y passer trop de temps, alors que de nombreuses urgences vous attendent, vous pouvez jeter un œil aux mosaïques de ces produits disponibles sur la France depuis Juillet. Chaque mosaïque est accessible à partir des liens ci-dessous :

Une chouette interface de visualisation (merci à Michel Lepage !), est aussi disponible ci-dessous, pour comparer la synthèse d'octobre avec celle des mois précédents.

voir en plein écran

Continue reading

Sen2Agri final version was just published

The Sen2Agri system was just released in version 2.0. As the project is now terminated and will not receive more funding from ESA, V2_0 is the final version, apart maybe for a few bug fixes.

 

Sen2Agri is a very complete ground segment that automates download and processing of Sentinel-2 data to obtain multi-temporal syntheses, crop/non crop, and crop type masks as well as biophysical variables and phenological indicators. It was designed to be able to process the Sentinel-2 data over whole countries.

 

The Sen2AGri system has been a huge success. I receive an email each time MACCS/MAJA is downloaded, and I just counted 651 downloads after sorting them out the double download,

The new version includes the most recent version of MAJA (3.3) for atmospheric correction and cloud detection (but without using the CAMS data, which are not always easy to access), an early version of WASP to make the composites, an early version of Iota2 to obtain crop types, a processor to obtain the crop/non Crop mask, and a processor to compute biophysical variables inspired by the works of F.Baret and M.Weiss at INRA.

 

The consortium, funded by ESA, was lead by Sophie Bontemps et Pierre Defourny at the Université Catholique de Louvain. The system was developed by CS-SI France and Romania, and most of the methods were designed in CESBIO.

 

 

 

Combined exploitation of VENμS, Sentinel-2 and Landsat-8: the spectral bands

=>

The combined use of VENμS, Sentinel-2 and Landsat-8 data can increase the likelihood of obtaining cloud-free images or may allow detailed tracking of rapidly evolving phenomena.

In order to facilitate this combination, the table below summarizes the correspondences between the spectral bands of the instruments. VENμS does not have a spectral band in the middle infrared.

The figure below shows the spectral bands of VENμS and Sentinel-2 in the 400 to 1000 nm range. The SWIR bands of Sentinel-2 are not included.The table below shows the usual band combinations


The figure below makes it possible to assess the degree of similarity of the spectral responses of these usual bands.

The detailed spectral responses of each instrument are available via the following web pages:

VENµS

http://www.cesbio.ups-tlse.fr/multitemp/?page_id=14229

SENTINEL-2

https://earth.esa.int/web/sentinel/user-guides/sentinel-2-msi/document-library/-/asset_publisher/Wk0TKajiISaR/content/sentinel-2a-spectral-responses

LANDSAT

https://landsat.usgs.gov/spectral-characteristics-viewer

https://landsat.usgs.gov/landsat/spectral_viewer/bands/Ball_BA_RSR.xlsx