Just back from Living Planet Symposium

I had the opportunity to participate to the ESA Living Planet Symposium, in Edinburgh, last week, together with 1800 other remote sensing data user, mostly from Europe. It is incredible to see that after more than 20 years in this domain, I know less than 10% of the audience !

There were 10 parallel sessions each day, and in the biggest room, 2 sessions were organised for each Sentinel mission, and these sessions have been filmed. These films are on the web, accessible from this page. As a reader of this blog, you might be interested by the sessions about Sentinel-2, available here :

  • Sentinel-2 mission, to have a complete update about the mission and its ground segment (official launch dates : 09/2014 (S2-A) and 09/2015 (S2-B)).
  • Sentinel-2 potential applications and services, in which I presented the SPOT(Take5) experiment (the third presentation, from 46' to 1h06'). Please be lenient, I was a little nervous in front of 150-200 people !

I also wrote (quickly) a seven page paper about the SPOT4 (Take5) experiment.

Feedback on the irrigation scheduling experiment using remote sensing images

=>

CESBIO contributes to an international joint laboratory in Morocco, called TREMA, "Télédétection et Ressources en Eau en Méditerranée semi-Aride", which means "Remote Sensing and Water Resources in Semi-Arid Mediterranean". This year, this laboratory has embarked on an ambitious experiment of irrigation scheduling by satellite imagery, on a wheat plot near Marrakech. This experiment was already described in March, and it gave very promising results.


The main objective of the experiment was to see if  the logistics of irrigation scheduling by water balance model were feasible in real conditions. For this, a farmer accepted to play our game on two four hectares plots of wheat: Irrigation of the reference plot was driven by the farmer in the usual way. The test plot irrigations was driven by our tool SAMIR (FAO-56 model forced by satellite imagery).

 

Since the sowing late December to the harvest in early June, a weather station installed on a reference culture has given us the daily reference evapo-transpiration measurements. On the other hand, to control a posteriori the quality of our estimates of water requirements for irrigation, two flux measuring stations were set up. We also acquired a series of images SPOT5 early in the season to compensate for the slightly late start of SPOT4 experience (TAKE5) which began in February.

 

In addition to a clear weather throughout the season, we were able to benefit from the excellent work of the SPOT4 (TAKE5) team which provided us with the georeferenced images very quickly. The NDVI evolutions were thus available in a relatively short time. As an end user, the Office of Agricultural Haouz allowed us to perform the irrigation of the test plot in the best conditions while being subjected to the constraints of the canal system.

On the ground, everything did not work as well as we planned. Following a misunderstanding with the farmer, we completely missed the second irrigation and the fertilizer application was not timely. Indeed, the study plot is installed on a heavy clay soil that forms a crust. We were not aware that, a few days after sowing, a specific irrigation is needed to ease the emergence of plants. On the other hand, the farmer applied nitrogen fertilizer on two plots just after irrigation of the reference parcel and relatively far from the irrigation of the test plot. Under these conditions the nitrogen is relatively less soluble, and our test plot lacked fertilizers.

Our experiment has been seriously hampered by the misunderstandings with the farmer. But despite the bad start, the experiment was pursued to its end.

 

This plot shows the changes throughout the course of the experiment of the water supply from rainfall and irrigation, the evapo-transpiration ETobs measured in the field and the Evapo-Transpiration ET estimated by SAMIR model, using the vegetation status from SPOT4 (Take5) images. On this plot, the dates of irrigation were suggested by the model.

 

To our surprise, the results are extremely promising. Indeed, despite a 20% lower biomass compared to the plot driven by the farmer, we got a equivalent performance in grain yield. This can be explained by the fact that, although the average number of wheat blades was much lower on the test plot, it is very likely that the reference plot, irrigated by the traditional method, has suffered water stress in late March limiting the filling of grain.

 

 

This full-scale experiment finally turned out to be very instructive. First,  imaging/weather/irrigation logistics worked great : the weather data transmission, the reception and the geometric and radiometric correction of images, the model runs and  irrigation decision were largely automated. The SPOT4 (Take5) data, that prefigure those of Sentinel-2, proved perfectly suited to this application. Unfortunately, the clay crust has severely limited the emergence of culture. Yet this phenomenon, well-known to our farmer, taught us to cultivate humility ;-) , and we will consider the introduction of the risk in a decision support system. Finally, the functional constraints of the gravity irrigation system have taught us that our tool should be more flexible to recommend an irrigation period instead of a single date, and that we should link the service to weather forecasts.

 

Following this experiment, we started developing a Web service (SAT-IRR) that should shortly provide the essential functions of an irrigation decision support with a simplified interface.

 

Retour sur le pilotage en temps réel de l'irrigation d'une parcelle par télédétection

=>

Le CESBIO contribue à un laboratoire mixte international au Maroc, baptisé TREMA, "Télédétection et Ressources en Eau en Méditerranée semi-Aride". Cette année, ce laboratoire s'est lancé dans une expérience ambitieuse de pilotage de l’irrigation par imagerie satellitaire, sur une parcelle de blé dur près de Marrakech. Nous vous en parlions au mois de mars. Cette expérience s'est révélée très encourageante.

 

L’objectif principal de l’expérience était de vérifier si nous pouvions assumer la logistique de pilotage de l’irrigation par un modèle de bilan hydrique dans des conditions réelles. Pour cela, un agriculteur s’est prêté à notre jeu en proposant deux parcelles de blé dur de quatre hectares : L'irrigation de la parcelle de référence était pilotée par l’agriculteur selon sa méthode habituelle. La parcelle d’essai était pilotée par l’outil SAMIR (modèle FAO-56 forcé par l’imagerie satellitaire).

Depuis la date de semis fin décembre jusqu’à la récolte en début juin, une station météo installée sur une culture de référence nous a transmis quotidiennement les mesures d’Evapotranspiration de Référence. D’autre part, pour contrôler à posteriori la qualité de nos estimations des besoins en eau d'irrigation, deux stations de flux ont été mises en place. Nous avons également acquis une série d’image SPOT5 en début de saison pour pallier au démarrage un peu tardif de l’expérience SPOT4(TAKE5) qui commençait en février.

 

En plus d’une météo très claire tout au long de la saison, nous avons pu bénéficier de l’excellent travail de l’équipe SPOT4(TAKE5) qui nous a délivré les images géoréférencées très rapidement. Les trajectoires de NDVI ont ainsi pu être corrigées dans un délai relativement court. En fin de chaîne, la relation avec l’Office Agricole du Haouz nous a permis d’effectuer les irrigations de la parcelle d'essai dans les meilleures conditions tout en étant soumis aux contraintes du système de canaux.

 

Sur le terrain, cela n’a pas fonctionné aussi bien que nous le souhaitions. Suite à un malentendu avec l’agriculteur, nous avons complètement raté la seconde irrigation et l'application des engrais n’a pas été opportune. En effet, la parcelle étudiée est installée sur un sol très argileux qui forme une croûte de battance. Une irrigation spécifique, quelques jours après le semis, est nécessaire pour faciliter l’émergence des plantes. D’autre part, l'agriculteur a appliqué l'engrais azoté sur les deux parcelles juste après l'irrigation de la parcelle de référence et relativement loin de l'irrigation de la parcelle d'essai. Sous ces conditions l'azote est relativement moins soluble sur la parcelle étudiée.

 

Notre expérience a donc été sérieusement handicapée par ces malentendus avec l'agriculteur. En dépit de cela, nous avons mené l’expérience jusqu’à sa fin.

Ce graphe fournit les variations tout au long de long de l'expérience des apports d'eau par les précipitations et les irrigations, ainsi que de l'évapo-transpiration ETobs mesurée sur le terrain et de l'observation ET modélisée par le modèle SAMIR, à partir de l'état de la végétation observé par SPOT4 (Take5). Sur cette parcelle, les dates des irrigations ont été préconisées par le modèle.

 

A notre grand étonnement, les résultats sont extrêmement prometteurs. En effet, malgré une biomasse inférieure de 20% par rapport à la parcelle pilotée par l’agriculteur, nous avons obtenu un rendement en grain équivalent. Ceci peut s’expliquer par le fait que, bien que le nombre moyen de talles (les "brins" de blés) fusse très inférieur sur la parcelle d’essai, il est très probable que la parcelle de référence, irriguée, selon la méthode traditionnelle, ait subit un stress hydrique en fin mars limitant ainsi le remplissage des grains.

 

Cette expérience grandeur nature est riche d’enseignements. Tout d’abord, la logistique imagerie-météo-irrigation a très bien fonctionné (télétransmission de la météo, réception et corrections géométriques et radiométriques des images, run du modèle, lancement des irrigations) et peut-être largement automatisée. Les données SPOT4(Take5) qui préfigurent celles de Sentinel-2, avec la météo de cette année, se sont révélées parfaitement adaptées.  Malheureusement, la croûte de battance a fortement limité l’émergence de la culture. Ce phénomène pourtant bien connu de notre agriculteur nous a appris à cultiver l’humilité ;-) et nous devrons envisager l’introduction de ce risque dans un système d’aide à la décision. Enfin, les contraintes fonctionnelles de l’irrigation en système gravitaire nous ont appris que notre outil devra être plus flexible en proposant plutôt une fenêtre de dates plutôt qu’une seule meilleure date d’irrigation, et qu’il devra pouvoir être lié à un ou plusieurs pronostics météo.

 

Suite à cette expérience, nous avons commencé à mettre en place un outil Web (SAT-IRR) qui devrait à court terme offrir les fonctionnalités essentielles pour l’aide à la décision d’irrigation dans une interface simplifiée.

 

A SPOT4(Take5) meeting at CNES, on October the 2nd.

=>

CNES is organizing a one day meeting about SPOT4(Take5) on October the 2nd, in its premises in Toulouse.

 

This meeting is aimed at explaining how the experiment turned out and at presenting the available data set. These presentations wil take place during the morning and the afternoon will be dedicated to presentations of users projects and eventually their first results. Questions/answers sessions will also be organized.

 

Because of CNES security rules, this meeting is only open to persons having a passport from one of the European Union countries. Otherwise a 2 month delay is necessary, which is no possible here.If you are interested, you will need to send an email before September the 17th, to sylvia.sylvander @ cnes.fr (mentioning your name, nationality and affiliation). If you would like to present your project with SPOT4(Take5) data, please also mention the title of your presentation.

 

Une réunion SPOT4 (Take5) au CNES le 2 octobre

=>

Le CNES organise une réunion SPOT4(Take5) le 2 octobre, dans ses locaux à Toulouse.

 

Cette réunion aura pour but de faire le point sur le déroulement de l'expérience et de présenter le jeu de données acquis. Ces présentations devraient avoir lieu le matin, et l'après midi sera réservé à des présentations des projets d'utilisateurs, et éventuellement de leurs premiers résultats. Des sessions de questions/réponses seront aussi programmées pour répondre aux problèmes rencontrés par les utilisateurs.

 

En raison des règles de sécurité du CNES, cette réunion n'est ouverte qu'aux personnes ayant un passeport ou une carte d'identité d'un des pays de l'UE. Elle nécessite une inscription, avant le 17/09, auprès de sylvia.sylvander @ cnes.fr (en précisant votre nom, prénom, nationalité, organisme...). Si vous souhaitez présenter vos travaux, mentionnez le également en donnant le titre de la présentation que vous proposez.

 

 

 

 

Une nouvelle version des données SPOT4 (Take5) est disponible

Here are the thumbnails from the China(2) site, for which several dates were missing on the version 1.0. Please note that on the server, you may download all the dates at once by clicking on the 1C or 2A buttons.

Les équipes du CNES du pôle thématique surfaces continentales (récemment baptisé THEIA), viennent de retraiter les données  SPOT4 (Take5) dans le but de prendre en compte un certain nombre d'images qui manquaient lors du premier traitement, soit parce qu'elles n'avaient pas encore été reçues, soit parce que leur traitement avait échoué en raison de petits bugs.

 

Les traitements ont été traités par les mêmes méthodes et les paramètres, et la différence réside seulement dans le nombre de dates disponibles. Cependant, pour nos méthodes multi-temporelles et récurrentes du Niveau 2A, l'ajout d'une image a des répercussions sur les images suivantes. Nous vous conseillons donc de télécharger à nouveau la totalité des images des sites qui vous intéressent, à partir de l'adresse : http://spirit.cnes.fr/take5.

 

Sur notre segment sol prototype, la gestion des versions est très basique et ne tient compte que des versions des chaînes. Comme celles-ci n'ont pas évolué, les produits de la nouvelle version restent identifiés en version 1.0 dans les métadonnées (fichier xml). Nous comprenons que ce n'est pas très pratique et nous essaierons de l'améliorer pour les prochaines versions, en attendant, si vous aviez déjà téléchargé les données, vous allez devoir faire attention à ne pas mélanger ces deux versions.

 

A new version of the SPOT4(Take5) products is available.

Here are the thumbnails from the China(2) site, for which several dates were missing on the version 1.0. Please note that on the server, you may download all the dates at once by clicking on the 1C or 2A buttons.

=>

The CNES teams of the THEIA Land Data Center have reprocessed the SPOT4 (Take5) data, in order to take into account a large number of images that were not processed in the first place, because some data had not been yet received or because their processing had failed due to a few little bugs.

 

The same processors and parameters were used and the only difference is the increased number of available dates, but as the L2A methods are multi-temporal and recurrent, when we add an image, the results on the subsequent images are also changed. It is thus advisable that you download again all the products of the sites you are interested in, from the following address : http://spirit.cnes.fr/take5

 

On this prototype ground segment, our management of product versions is basic, and only takes the processors into account. As the processors are unchanged, the new version 1.1 products are still identified as level 1.0 products in the Metadata. We are sorry for this inconvenience, you will need to pay attention not to mix them with the older version.

 

A few missing images

=>

I just took a work break in the middle of my holidays, but as I was away, we received a few feedbacks from users, and CNES PTSC teams, with Mireille's help at CESBIO verified the data sets released on July the 16th, in quite a rush...

 

They found out that a few scenes were missing. For some of them, it was due to the late arrival of some images (just as for planes at the airport). These images have already been added to the server.

And there were a couple of bugs that mostly affected the sites made of several SPOT images (CNES and NASA sites), and ESA Chinese site. These glitches have been corrected and the reprocessing started. The whole data set will be updated before end of August, which will constitute the version 1.1 of the SPOT4(Take5) data set.

 

Keep posted on this blog, we will update it as soon as the data are available. Meanwhile, version 1 is still accessible here, and the format described there.

 

Quelques données manquantes

J'ai pris une petite semaine de travail de travail au milieu de mes vacances, mais pendant ce temps, nous avons reçu quelques retours d’utilisateurs, et les collègues de l'équipe d'exploitation et de l'équipe de développement du PTSC au CNES, avec l'appui de Mireille au CESBIO, ont vérifié les données qui avaient été mises à disposition le 16 juillet, un peu "à l'arrache", il faut le dire...

 

Ils se sont aperçus qu'il manquait un petit nombre de scènes, par-ci par là. Pour certaines d'entre elles, c'était dû à la réception tardive des données (comme ils disent quand les avions sont en retard). Ces données ont déjà été remises à disposition, discrètement, sur le serveur.

 

Et puis il y avait un petit bug, qui faisait que les sites composés de plusieurs images (les sites du CNES et de la NASA), perdaient quelques dates. Le site Chinois de l'ESA a aussi été victime d'un autre bug. Ces bugs ont été corrigés, et les traitements viennent d'être relancés. Nous mettrons les données à jour d'ici la fin du mois d'août. Ce sera bientôt la version 1.1 des données.

 

Nous vous informerons donc sur ce blog dès que ces informations seront disponibles.En attendant, les données de la version 1. sont toujours disponibles ici et le format des données, .

 

 

 

 

The adjacency effects, how they work.

As explained in the post about atmospheric effects, the scattering of light by molecules and aerosols in the atmosphere brings about several effects : scattering adds some haze on the images (the atmospheric reflectance), lessens the signal from the surface (the atmospheric transmission), and blurs the images (the adjacency effects). This post is about the adjacency effects, the other aspects have already been quickly explained in the above post.

 

The figure on the right shows the types of paths that light can follow before getting to the satellite. Path 1 corresponds to the atmospheric reflectance, path 2 is path that interacts with the target, it is the one which is useful to determine the surface reflectance, paths 3 and 4 contribute to the total reflectance but interact with the surface away from the target. These paths are thus the cause of adjacency effects and they blur the images.

 

 

If not corrected, adjacency effects may cause large errors. Let's take the case of a fully developed irrigated field surrounded by bare soil. For such a case, the second figure on the right shows the relative percentage of errors for reflectances and NDVI as a function of aerosol optical thickness, if adjacency effect is not corrected.

 

 

 

An approximate correction can be applied, but it thus requires to know the aerosol optical thickness. In our MACCS processor, here is how it works :

 

  1. We first correct the images under the assumption that the Landscape is uniform. We obtain a surface reflectance under uniform absorption which is noted  \rho_{s,unif} .
  2. We compute the neighbourhood reflectance (  \rho_{s,adj} ) using a convolution filter with a 2km radius, that computes the average neighborhood reflectance weighted by the distance to the target. To be fully rigorous, this filter should depend on the optical thickness and on the viewing and sun angle (The less aerosols, the larger radius), but as we did not work on an accurate model, we used a constant radius.
  3. We correct for the contribution of paths 3 and 4 using :

 \rho_{s}=\frac{\rho_{s,unif}.T^{\uparrow}.\frac{1-\rho_{s,unif}.s}{1-\rho_{s,adj}.s}-\rho_{s,adj}. T_{dif}^{\uparrow}}{T_{dir}^{\uparrow}}

  • where  T^{\uparrow}=T_{dif}^{\uparrow}+T_{dir}^{\uparrow} is the total upward transmission, sum of diffuse and direct upward transmissions, and s is the atmosphere spheric albedo. These quantities depend on the wavelength, on the aerosol model and on the AOT. They are computed using Look up Tables based on radiative transfer calculations.

 

As this processing uses convolution with a large radius, it takes quite a large part of the atmospheric processing time.

 

Result Exemples

The images below show 3 stages of the atmospheric processing, for 2 Formosat-2 images obtained over Montreal (Canada) with a 2 days interval. The first image was acquired on a hazy day (aerosol optical thickness (AOT) of 0.47 according to MACCS estimate); and the second one on a clear day (AOT=0.1).

  • The first line corresponds to the Top Of Atmosphere images, without atmospheric correction. The left image is obviously blurred compared to the right image.
  • The second line corresponds to the atmospheric correction under uniform landscape assumption (as in step 1). The left image is still obviously blurred compared to the right image.
  • the third line show the same images after adjacency effect correction. In that case, the left image is not blurred any more, it is even maybe a little over corrected as it seems somewhat sharper that the right image.

TOA Images (On the left, the hazy image)


Surface reflectance under uniform landscape assumption (on the left, the hazy image)

 

Surface reflectance after adjacency effect correction (on the left, the hazy image)

 

The pixel wise comparison of reflectances is also a way to show the enhancement due to the adjacency effect correction. The plot below compares the images of both dates corrected under the uniform landscape assumption (on the left), and after adjacency effect correction (on the right). You may observe that the dots are closer the the black diagonal on the right. On the hazy image (May 27th), the high reflectances are a little too low, while the low reflectances are a little too high, which is the symptom of a loss of contrast.