Louis R Parasid Colombia Ideam Oct 2009

Near-real time monitoring of habitat change using a neural network and

MODIS data: the PARASID approach

Louis Reymondin, Andy Jarvis, Jerry Touval

Tabla de contenidos Metodología Detalles de implementación Análisis de Colombia

Por departamentos Por áreas protegidas

Conclusión

Metodología

Enfoque Conceptual

Enfoque Conceptual La intensidad del verde de la vegetación es una función dependiente

de las precipitaciones de lluvia, del sitio y de las alteración Sitio = tipo de vegetación, características del suelo Alteración = cambios antropogénicas, en positivo y negativo

La intensidad del verde de la vegetación sigue un ciclo dependiente de factores climáticos como lluvia y temperatura...

Enfoque Conceptual Idea básica

Las actividades humanas cambian el ciclo de la intensidad del verde de la vegetación.

Vamos a crear un modelo capaz de predecir la evolución de la intensidad del verde de la vegetación, basándose en las medidas de verde anteriores (variables de sitio) y medidas climáticas actuales (lluvia, temperatura…) para detectar cambios significativos.

Bolivia 1984 Bolivia 2002

Enfoque Conceptual NDVI

Normalized Difference Vegetation Index Resolución de 250m Frecuencia de las medidas de 16 días

TRMM Tropical Rainfall Measuring Mission Resolución de 28km Frecuencia de las medidas de 3 horas

Serie de tiempo de un año de medidas NDVI por un píxel

0

0.2

0.4

0.6

0.8

1

1.2

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Tiempo

ND

VI

NDVI

Enfoque Conceptual

tiempo

Imagen NDVI al tiempo t

Para cada píxel de una imagen NDVI, extractamos un vector

de medidas

Metodología

Los modelos

Metodología – Los modelos Predicciones

Bayesian Neural Network (BNN)

Entrenamiento y aproximación del ruido Scaled Conjugate Gradient (SCG) Bayesian evidence function Gaussian noise

Selección de las entradas del modelo Automatic relevance determination (ARD)

Metodología – Los modelos Entradas

Las 5 medidas NDVI anterior al tiempo T Desde T-1 hasta T-5

1 entrada hecha de la suma de 16 días de medidas TRMM Desde T hasta T-15

Salidas La predicción de la medida NDVI al tiempo T

Metodología – Los modelos

NDVIt

Precipitación (t)

Temperatura (t)

…

…

w0

w1

w2

NDVI(t-1)

NDVI(t-2)

NDVI(t-n)

wp1

wp2

wp3

wo1

wo2

wo3

La estructura de la red neuronal.

α0

αc

αh

),( σtNDVIN

Metodología – Detección de cambios Para detectar los cambios, las redes neuronales bayesian nos

dan tres indicadores El valor predicho La desviación estándar de las predicciones del modelo sobre la

función real. El nivel de ruido (Gaussian) de la medida del satélite

El primer indicador nos permite detectar los cambios El segundo y tercero nos permite medir qué tan seguros

estamos de que la medida del satélite es anormal.

Metodología – Detección de cambios

Metodología – Detección de cambios Procedimiento de detección básico

NDVI Pasado

TRMM

…

NDVI Actual

Diferencia con la predicción

Esta en el intervalo de confianza ?

Cambio

Normal

No

Si


Evolución del NDVI

4500

5000

5500

6000

6500

7000

7500

8000

8500

9000

1 2 3 4 5 6 7 8 9

Time

ND

VI

Medidas

Predicciónes

Interval max

Interval min

Cambio

0 1NDVI

pm(x)


tvmβ

1+mβ

1−

tmp ,

Distribución de probabilidad calculada con la desviación estándar y la predicción del modelo

Ruido en las medidas aproximado por el modelo

Metodología

Data-mining

Metodología

Colombia con una resolución de 250m representa

Un mapa de 5822 por 8046 píxeles 21’843’310 valores NDVI en una mapa 502’396’130 valores NDVI a analizar por año

Datos con mucho ruido, muchas nubes

Metodología – Limpiar los datos Elimina todas las variaciones a corto plazo (< 3 meses) Ajuste iterativo de curvas limpias usando

Los datos de cualidad de MODIS Análisis de Fourier Ajuste de mínimos cuadrados con valores de alta calidad

Metodología Qué pasaría si queríamos entrenar diez

modelos por píxel ?

200 años de calculaciones

30 maquinas tendrían•240 procesadores•~1 TB de RAM

Nuestra solución : procesar un clustering !

X 10Actualmente tenemos 3 maquinas de procesamientoCada maquina tiene

•8 procesadores•32 GB de RAM

Metodología – El clustering Usamos el algoritmo K-Means modificado para ser

distribuido en muchos computadores Cantidad de clusters : 10 Duración del proceso : 6 horas 1 máquina con 8 procesadores

De cada uno de los clusters seleccionamos aleatoriamente 1000 pixeles con los cuales entrenamos 10 modelos. Duración del proceso : 1 hora 1 máquina con 8 procesadores

Reducimos el tiempo de calculación a 7 horas

Metodología

Detalles de la implementación

Detalles de la implementación Las máquinas de procesamiento

Servidor DELL 2 quadricores 8 procesadores 32 GB de RAM Conectados por una red a 1 Gb/s

Detalles de la implementación Implementación en Java

339 objetos 46 packages

Estructura de trabajo distribuido especialmente desarrollada para el proyecto con la tecnología RMI de Java

Detalles de la implementación La estructura básica del trabajado distribuido se

presenta de la maneja siguiente

Resumen de la metodología

Medidas del pasado Limpiar Clustering

Selección aleatoria de píxeles para

el entrenamiento

Entrenamiento de los modelos

Nuevas medidas

Proceso de detección

Mapas de las probabilidades

de cambio

Limpiar

Mapas de los cambios

detectados

Reglas

Resumen de la metodología Limpieza

O(n) Clustering

O(n^1/2) Entrenamientos de los modelos

O(m*k*i) Detecciones

O(n*m) Con

n : Número de pixeles m : Número de modelos por cluster k : Número de clusters i : El Número de puntos para entrenar los modelos

Finalmente la complejidad es polinómica

Resumen de la metodología

Metodología – El software

Metodología – Conclusión Tenemos una metodología eficiente usando

tecnologías bio-inspirada y estadísticas Bayesian Nuestra metodología es flexible y toda la creación de

modelos es automática. Nos permite

Ser flexible a los datos con mucho ruidos Manejar una grande cantidad de datos Ser rápidos en la implementación en nuevas partes del

mundo.

Resultados – Colombia

Departamentos y Áreas protegidas

Colombia

Proporción de pixeles rechazados 23.07%

Tasa de cambio 0.2%

Cumulative detections in hectares

0

50000

100000

150000

200000

250000

300000

01.0

1.20

04

01.0

4.2

004

01.0

7.20

04

01.1

0.2

004

01.0

1.20

05

01.0

4.2

005

01.

07.2

005

01.1

0.2

005

01.

01.2

006

01.0

4.20

06

01.

07.2

006

01.1

0.20

06

01.

01.2

007

01.0

4.20

07

01.0

7.2

007

01.1

0.20

07

01.0

1.2

008

01.0

4.20

08

01.0

7.2

008

01.1

0.20

08

01.0

1.2

009

01.

04.2

009

Time

Hec

tare

s

detections

Verde : Áreas rechazadas por las nubesAzul : Áreas protegidasRojo : Cambios detectados

Colombia

Verde : Áreas rechazadas por las nubesAzul : Áreas protegidas Rojo : Cambios detectados

Estadísticas de procesamiento Para Colombia completa

Un servidor Dell 16 [GB] of RAM 8 procesador Intel Xeon X5365, 3 [GHz]

Limpieza Limpieza de 214fechas 2 horas

Clustering 6 Clusters Desde 2000 hasta 2003 4 horas

Entrenamiento de los modelos 3 Modelos por clusters 2000 pixeles para el entrenamiento 5000 pixeles para la validación 3 horas

Detecciones desde 2004 hasta 2009 120 fechas de detecciones 6 horas

Total Solo 15 horas de procesamiento desde los datos brutos 60 GB usado

Análisis - Departamentos

Efecto de las nubes

Pixeles rechazados por departamentos

0102030405060708090

100

CHOCÓ

QUINDÍO

NARIÑO

VALLE D

EL CAUCA

CORDOBA

RISARALDA

CAUCA

HUILA

CUNDINAM

ARCA

TOLIM

A

ANTIOQUIA

ATLANTIC

O

BOYACÁ

GUAJIRA

CALDAS

Colombia

NORTE D

E SANTANDER

MAGDALE

NA

BOLIVAR

PUTUMAYO

ARAUCA

SANTANDER

SUCRE

META

CAQUETÁ

CESAR

CASANARE

AMAZONAS

VICHADA

GUAINÍA

VAUPÉS

GUAVIARE

Departamentos

% d

e p

ixe

les

re

ch

aza

do

s

Departamentos

Hectáreas con cambios

Hectareás con cambios por departamentos

05000

1000015000200002500030000350004000045000

SANTANDER

CAQUETÁ

BOLIVAR

META

ANTIOQUIA

GUAJIRA

CESAR

MAGDALE

NA

GUAVIARE

SUCRE

VICHADA

CASANARE

GUAINÍA

CORDOBA

CAUCA

PUTUMAYO

NORTE D

E SANTANDER

AMAZONAS

ARAUCA

TOLIM

A

CALDAS

BOYACÁ

CUNDINAM

ARCA

VALLE D

EL CAUCA

NARIÑO

VAUPÉS

RISARALDA

ATLANTIC

O

CHOCÓ

HUILA

QUINDÍO

Departamentos

Hec

táre

as

Departamentos

Colombia - Santander Proporción de pixeles rechazados

10.25% Tasa de cambio

1.13%


0

5000

10000

15000

20000

25000

30000

35000

40000

45000

01.0

1.20

04

01.0

4.20

04

01.0

7.20

04

01.1

0.20

04

01.0

1.20

05

01.0

4.20

05

01.0

7.20

05

01.1

0.20

05

01.0

1.20

06

01.0

4.20

06

01.0

7.20

06

01.1

0.20

06

01.0

1.20

07

01.0

4.20

07

01.0

7.20

07

01.1

0.20

07

01.0

1.20

08

01.0

4.20

08

01.0

7.20

08

01.1

0.20

08

01.0

1.20

09

01.0

4.20

09

Time

Hec

tare

s

detections

Colombia - Bolivar Proporción de pixeles rechazados

13.66% Tasa de cambio

1.3%


05000

1000015000200002500030000350004000045000

01.0

1.20

04

01.0

3.20

04

01.0

5.20

04

01.0

7.20

04

01.0

9.20

04

01.1

1.20

04

01.0

1.20

05

01.0

3.20

05

01.0

5.20

05

01.0

7.20

05

01.0

9.20

05

01.1

1.20

05

01.0

1.20

06

01.0

3.20

06

01.0

5.20

06

01.0

7.20

06

01.0

9.20

06

01.1

1.20

06

01.0

1.20

07

01.0

3.20

07

01.0

5.20

07

01.0

7.20

07

01.0

9.20

07

01.1

1.20

07

01.0

1.20

08

01.0

3.20

08

01.0

5.20

08

01.0

7.20

08

01.0

9.20

08

01.1

1.20

08

01.0

1.20

09

01.0

3.20

09

01.0

5.20

09Time

Hec

tare

s

detections

Análisis Santander y Bolivar

Landsat 2004 Landsat 2009

Análisis Santander y Bolivar

Eventos de deforestación en Santander

Imagen de google earth En rojo las detecciones

En rosado las áreas rechazadas por las nubes

Análisis Santander y Bolivar Inundaciones de gran tamaño

Muchas detecciones en estas área son debidas a las inundaciones

Una grande cuantidad de detecciones son eventos de deforestación también

Colombia - Caquetá


05000

1000015000200002500030000350004000045000

01.0

1.20

04

01.0

5.20

04

01.0

9.20

04

01.0

1.20

05

01.0

5.20

05

01.0

9.20

05

01.0

1.20

06

01.0

5.20

06

01.0

9.20

06

01.0

1.20

07

01.0

5.20

07

01.0

9.20

07

01.0

1.20

08

01.0

5.20

08

01.0

9.20

08

01.0

1.20

09

01.0

5.20

09

Time

Hec

tare

s

detections


Tasa de cambio 0.38%

Colombia - Meta


Tasa de cambio 0.25%


0

5000

10000

15000

20000

25000

30000

01.0

1.20

04

01.0

5.20

04

01.0

9.20

04

01.0

1.20

05

01.0

5.20

05

01.0

9.20

05

01.0

1.20

06

01.0

5.20

06

01.0

9.20

06

01.0

1.20

07

01.0

5.20

07

01.0

9.20

07

01.0

1.20

08

01.0

5.20

08

01.0

9.20

08

01.0

1.20

09

01.0

5.20

09

Time

Hec

tare

s

detections

Análisis Caquetá – Meta

Landsat 2004 Landsat 2009

Análisis Caquetá – Meta El área al rededor del río caquetá es el nicho

donde la mayoría de las detecciones de deforestación ocurren.

Áreas protegidas

Efecto de las nubesRojo

Área protegida demasiada nublada para el análisis

Verde Área protegida que se puede

analizar

28% de la superficie total protegida es demasiado nublada

Efecto de las nubes

31 áreas protegidas sobre 54 analizadas, 57.4%

Áreas protegidas con mas de 60% de pixeles rechazados

0

1020

30

4050

60

70

8090

100

Isla

de la

Cor

ota

Otun

Quimba

ya

Corales

del

Rosar

io y d

e San

Ber

nard

o

Tayro

na

Los F

lamen

cos

Cueva d

e los G

uách

aros

Galera

s

Filo d

el Tall

o

Isla

de S

alam

anca

Los N

evad

os

Alto F

ragu

a - I

ndi W

asi

Chingaz

a

Puracé

Sanqu

ianga

Nevado

del H

uila

Sumap

az

Las H

ermosa

sUtri

a

Tatam

á

El Coc

uy

Ensena

da d

e Utrí

a

Farall

ones

de

Cali

Las O

rquíde

as

Paramillo

Mun

chiqu

eTam

á

Darién

El Tam

á

Áreas protegidas

% d

e p

ixel

es r

ech

azad

os

Áreas protegidas

Efecto de las nubes

23 áreas protegidas sobre 54 analizadas, 42.6%

Áreas protegidas con menos de 60% de pixeles rechazados

0

10

20

30

40

50

60

70

80

90

100

Cordille

ra d

e los P

icach

os

Ciéna

ga G

rand

e de S

anta

Mar

ta

Guane

nta

Alto R

ío F

once

Perijá

Cofán B

ermejo

El Cor

chal

- El M

ono

Hernan

dez

Sierra

Nev

ada d

e San

ta M

arta

Catatum

bo-B

arí

Sierra

de l

a Mac

arena

Cahuina

rí

La P

aya

El Tup

arro

Puinaw

ai

Los E

stora

ques

Los C

olora

dos

Aguar

o-Guar

iquito

De Igua

que

Tiniga

Amac

ayacu

Nukak

Rio P

ure

Chiribiqu

ete

Áreas protegidas

% d

e p

ixel

es r

ech

azad

os

Área protegida

Efecto de las nubes - Conclusión 31 de las 54 áreas protegidas (57.4%) son

muy nubladas

Pero solo 28% de la superficie total protegida es nublada

Análisis de los cambios

Aproximadamente 7000 hectáreas detectadas por el periodo 2004 y 2009 en áreas protegidas

Hectareás con cambios por áeras protegidas

0200400600800

100012001400160018002000

Sierra

de l

a Mac

arena

Tiniga

Ciéna

ga G

rand

e de S

anta

Mar

ta

Puinaw

ai

Mac

uira

Nukak

Cordille

ra d

e los P

icach

os

Cahuina

rí

La P

aya

El Tam

á

El Tup

arro

Catatum

bo-B

arí

Chiribiqu

ete

Paramillo

Mun

chiqu

e

Rio P

ure

Farall

ones

de

Cali

Sierra

Nev

ada d

e San

ta M

arta

Amac

ayacu

Cofán B

ermejo

Tamá

El Cor

chal

- El M

ono

Hernan

dez

Áreas protegidas

He

ctá

rea

Áeras protegidas

Análisis – Sierra de la Macarena


0

200

400

600

800

1000

1200

1400

1600

1800

2000

01.0

1.20

04

01.0

5.20

04

01.0

9.20

04

01.0

1.20

05

01.0

5.20

05

01.0

9.20

05

01.0

1.20

06

01.0

5.20

06

01.0

9.20

06

01.0

1.20

07

01.0

5.20

07

01.0

9.20

07

01.0

1.20

08

01.0

5.20

08

01.0

9.20

08

01.0

1.20

09

01.0

5.20

09

Time

Hec

tare

s

Série1

1762.5 hectáreas deforestadas entro 2004 y 20090.24% del área total deforestada en 5 años6.25% de pixeles con demasiadas nubes

El NDVI muestra claramente un evento de deforestación

Análisis –Tinigua1312.5 hectáreas deforestadas entro 2004 y 20090.5% del área total deforestada en 5 años0.0% de pixeles con demasiadas nubes

El NDVI muestra claramente un evento de deforestación


0

200

400

600

800

1000

1200

1400

01.0

1.20

04

01.0

5.20

04

01.0

9.20

04

01.0

1.20

05

01.0

5.20

05

01.0

9.20

05

01.0

1.20

06

01.0

5.20

06

01.0

9.20

06

01.0

1.20

07

01.0

5.20

07

01.0

9.20

07

01.0

1.20

08

01.0

5.20

08

01.0

9.20

08

01.0

1.20

09

01.0

5.20

09

Time

Hec

tare

s

Série1

Análisis En esta imagen la resolución espacial

esta cambiada para mostrar las áreas con una tasa de deforestación alta.

Se puede observar un arco de deforestación en rojo en el área del río Caquetá

La deforestación actual amenaza las áreas Los Picachos Tinigua Macarena

Y se extiende en dirección de las áreas Nukak Chiribiquete

Análisis Ciénaga Grande de Santa Marta

1069 hectáreas reforestados entro 2004 y 20093.34% del área total deforestado en 5 años56.83% de pixeles con demasiadas nubes


0

200

400

600

800

1000

1200

01.0

1.20

04

01.0

5.20

04

01.0

9.20

04

01.0

1.20

05

01.0

5.20

05

01.0

9.20

05

01.0

1.20

06

01.0

5.20

06

01.0

9.20

06

01.0

1.20

07

01.0

5.20

07

01.0

9.20

07

01.0

1.20

08

01.0

5.20

08

01.0

9.20

08

01.0

1.20

09

01.0

5.20

09

Time

Hec

tare

s

Série1

El NDVI muestra claramente un evento de reforestación

Análisis Ciénaga Grande de Santa Marta

Histórico de Google Earth 2004 Histórico de Google Earth 2009

Conclusión

Análisis – Conclusión El modelo parece bien adaptado para detectar

eventos de deforestación en Colombia

Estimación representativa de la situación real Probablemente subestimada Un píxel se estima cambiado solamente si tiene 95% de

probabilidades tres veces consecutivas

Todavía unos problemas Para cada uno tenemos proposiciones de investigación

Análisis – Conclusión Las áreas con alta taza de nubes

Actualmente usamos el composit de 16 días de la NASA Proponemos usar los datos MODIS diarios para crear

nuestros propios composit Con este método esperemos tener una cobertura de 100%

de la superficie del país.

Subestimación de la taza de deforestación Usar datos de campo para validar y calibrar los modelos

Análisis – Conclusión Las inundaciones

El agua tiene una reflectancia fácil de reconocer Usar las otras bandas de MODIS para detectar pixeles con

agua

La reforestación Observando los errores de los modelos (si el modelo esta

mas alto o mas bajo que las medidas del satélites) podemos discriminar las detecciones debidas a reforestación y a deforestación

El futuro, cooperación con el IDEAM Uso de datos diarios de MODIS para reducir incertidumbre por

nubosidad, y lograr una medición 100% del territorio nacional

Corrida detallada de Colombia, con mayor profundidad de análisis: PARASID-Colombia

Validación de resultados con estudios detallados de LANDSAT, ASTER etc. en sitios previamente identificados por PARASID

Implementar sistema en tierra de confirmación de eventos

Análisis detallados de patrones de perdida de hábitat a nivel nacional, y producción de Policy Brief

Capacitación, y entrega de modelos a instituciones nacionales

GRACIAS!

Louis R Parasid Colombia Ideam Oct 2009

Travel

Transcript of Louis R Parasid Colombia Ideam Oct 2009