Evaluaci On

Capı́tulo 5EvaluaciónEn este capı́tulo, se muestran los detalles de una extensa evaluación delos resultados.5.1.SCIELABPara modelar los mecanismos de la visión en color [25], se propuso unconjunto de funciones de sensibilidad al contraste (CSFs) en los canalesoponentes. Estos canales, que están constituidos por uno de luminosidad(acromático) y dos canales cromáticos, fueron determinados a través deuna serie de experimentos psicofı́sicos. Dentro de estas medidas psicofı́sicas,Zhang y Wandell [26] construyeron el método S-CIELAB para determinarlas diferencias de color percibidas entre dos imágenes digitales. El métodolleva a cabo un preprocesamiento mediante un filtrado espacial realizadoen el espacio de colores oponentes. Estos filtros aproximan las CSFs delSistema Visual Humano.Estas funciones de sensibilidad al contraste expresan cómo el sistemavisual humano percibe el contraste en función de la frecuencia espacial conque se percibe el estı́mulo. Mediante experimentos psicofı́sicos se determinó el umbral de contraste en función de la frecuencia espacial, medida enciclos/o de ángulo de visión. Se observó que era de naturaleza paso banda,con una frecuencia de corte de 60 ciclos por grado para luminancia y pasobaja para los canales oponentes. La curva recibió el nombre de Función deSensibilidad al Contraste (FSC).El experimento lo hicieron con muchas frecuencias espaciales diferentes;es decir, cuando en la pantalla el enrejado constaba de un número de barrasdiferentes en cada caso. A muchas barras mucha frecuencia, a pocas barraspoca frecuencia.

225.1 SCIELABEl valor de S-CIELAB es una estimación de la diferencia de colorpercibida entre una imagen y su versión distorsionada. Por tanto, valoresaltos de S-CIELAB significará grandes distorsiones. En este proyecto,empleamos S-CIELAB para medir el error entre una imagen de prueba ysu versión segmentada. Para poder realizar una comparación, S-CIELABse calcula tanto para el método propuesto como para el algoritmo de Ncutoriginal en el espacio RGB.La figura 5.1 resume los cuatro pasos a seguir para el cálculo de estamedida de error.Figura 5.1: Cálculo del error S-CIELAB.1. Tanto la imagen original, f , como las segmentadas g, se convierten alespacio de colores oponentes, obteniendo fo y go . La matriz de transformación es: O10,2790,720 0,107X O2 0,449 0,290 0,077 Y (5.1)O30,0860,590 0,501ZEn la transformación, O1 corresponde al canal de luminosidad, O2 es el

235.1 SCIELABcanal rojo-verde y O3 representa el canal amarillo-azul.2. Se realiza la convolución entre cada plano de color y una máscara cuyaforma esta determinada por la sensibilidad espacial visual a cada plano decolor. Más especı́ficamente, los tres filtros son combinaciones lineales deGaussianas con diferentes varianzas. La respuesta impulsiva de estos filtros,hi (m, n), i 1,2,3 son: m2 n2hi (m, n) Σj kij exp (5.2)dσij 2Los pesos recomendados kij y los parámetros σij están dados en lareferencia [27]. En la ecuación 5.2, j [1, 3] para i 1, y j [1, 2] parai [2, 3].3. Las representaciones filtradas son transformadas a la representaciónCIEXYZ y luego al espacio de color CIEL a b , obteniendo fSCIELAB ygSCIELAB4. Finalmente, el valor S-CIELAB se calcula mediante la distancia CIE94:C SCIELAB ΣRn 1 Σm 1 E94 (fSCIELAB (n, m), gSCIELAB (n, m))(5.3)El método propuesto se ha aplicado a un conjunto de 100 imágenes conescenas naturales pertenecientes a la base de datos del Weizmann Instituteof Science. Se realiza una comparación del algoritmo propuesto con elNcut tradicional calculado en RGB y empleando distancia Euclı́dea. En lasfiguras 5.2 y 5.3 se puede ver un ejemplo de ambas segmentaciones.(a)(b)(c)Figura 5.2: (a) Imagen test. (b) Ncut tradicional en RGB y distancia euclı́dea. (c) Método propuesto. Cada región detectada se representa con lamedia en RGB de los pı́xeles que la componen.

245.2 Base de datos Berkeley(a)(b)(c)Figura 5.3: (a) Imagen test. (b) Ncut tradicional en RGB y distancia euclı́dea. (c) Método propuesto. Cada región detectada se representa con lamedia en RGB de los pı́xeles que la componen.En el cuadro 5.1, se muestran los valores S-CIELAB obtenidos. Podemosobservar que el método propuesto obtiene una menor puntuación, dato querefleja una mejor segmentación en el sentido de la percepción, ya que indicaque existe una menor diferencia de color entre la imagen segmentada y laoriginal. Además del valor S-CIELAB se muestra el número medio de regiones en las que se divide una imagen. Es importante destacar que el valorde SCIELAB mejora cuanto mayor sea el número de regiones en una imagen.Se puede observar, por tanto, que a pesar de que el algoritmo propuestodivide una imagen en una media de 11 regiones, frente a las 15 del algoritmoNcut tradicional, el valor S-CIELAB sigue siendo menor, lo que implica unamenor diferencia de color percibida entre la imagen segmentada y la original.S-CIELABNo regionesMétodo propuesto 2522711Ncut tradicional839615Cuadro 5.1: Valores S-CIELAB y número medio de regiones en las que sedivide una imagen.5.2.Base de datos BerkeleyEn esta sección, se evalúa el algoritmo propuesto empleando la base dedatos de segmentación de Berkeley (BSDS). Esta base de datos consta deimágenes naturales, segmentadas manualmente por un número diferentede sujetos. El ground truth (segmentaciones de referencia) de esta grancolección de imágenes muestra la gran variabilidad de la segmentación

5.2 Base de datos Berkeley25humana.Para evaluar la calidad de la segmentación se usan cuatro medidasdiferentes de calidad: el Índice Probabilı́stico de Rand (PRI) [28], laVariación de Información (VI) [29], el Error de Coherencia Global (GCE)[30] y el Error de Desplazamiento de Fronteras (BDE) [31].El valor de estas medidas para once algoritmos de segmentación delestado de arte están disponibles en [32]. Estas cuatro medidas se puedencalcular mediante una implementación pública del departamento de ingenierı́a Eléctrica y Ciencias de la universidad de Berkeley. En las siguientessecciones se detalla una explicación de cada una.5.2.1.El Índice Probabilı́stico de Rand (PRI)En Índice de Rand [28] fue introducido para evaluación de algoritmosde clustering en general. Opera comparando las relaciones entre pares deelementos dentro de los clústeres. El Índice de Rand nos da una idea dela similitud entre una segmentación de prueba (S) y varias segmentacionesmanuales (ground-truth) (Gk ) de una imagen de N anuales(ground-truth) {G1 , G2 , ., GK } de una imagen X {x1 , ., xN }constituida por N pı́xeles. Sea S la segmentación que se quierecomparar con el conjunto de segmentaciones manuales. Se denomina a la etiqueta del punto xi en la segmentación S como liS y comoliGk en la segmentación manual Gk . Cada etiqueta liGk puede tomarvalores en un conjunto discreto de tamaño Lk y a su vez, liS toma valoresen un conjunto de tamaño LS . Se considera que una segmentación (S) es”buena”si las relaciones entre pares de pı́xeles dentro de esa segmentaciónse definen de igual manera que en las segmentaciones manuales ({Gk }).Es decir, para cualquier par de pı́xeles xi y xj nos gustarı́a que susetiquetas liS , ljS sean la misma (liS ljS ) en la segmentación a compararsi las etiquetas de estos mismos pı́xeles en las segmentaciones manualesGson también iguales (liGk lj j ) y viceversa. Por otra parte, si esto noocurriese serı́a deseable que se penalizara proporcionalmente al nivel decoherencia entre las relaciones encontradas en las segmentaciones manuales.Es decir, si dos pı́xeles se encuentran en la misma región en la mayorı́a delas segmentaciones manuales y no ocurre ası́ dentro de la segmentación acomparar, este hecho habrá que penalizarlo. Existirá una penalización máspequeña si la relación entre el par de pı́xeles es ambigua dentro del grupo{Gk } que si la relación es la misma en todas las segmentaciones manuales.El Índice probabilı́stico de Rand se define como:

265.2 Base de datos BerkeleyP RI(S, {Gk }) 1 Σi j II(liS ljS )pij II(liS 6 ljS )(1 pij )N2(5.4)donde II es la función identidad. Sea cij II(liS ljS ), entonces el PRI sepuede escribir como:P RI(S, {Gk }) 1 Σi j [cij pij (1 cij )(1 pij )]N2(5.5)donde N es el número de pı́xeles, y pij es la probabilidad de queII(li lj ) dentro de las segmentaciones manuales. En la práctica,Gpij K1 ΣII(liGk lj j ), la media de las relaciones entre pares de pı́xelesentre las imágenes segmentadas manualmente.El PRI toma valores en el intervalo [0, 1], donde 0 significa que S y Gkno tiene ninguna similitud y 1 significa que todas las segmentaciones sonidénticas.5.2.2.La Variación de Información (VI)Esta métrica fue introducida para comparación de clustering [29]. Mide ladistancia entre dos segmentaciones en términos del promedio de la entropı́acondicional, que está dada por:V I(S, Gk ) H(S) H(Gk ) 2I(S, Gk )(5.6)donde H e I representan respectivamente la entropı́a y la informaciónmutua entre dos conjuntos de clústeres S y Gk .5.2.3.El Error de Coherencia Global (GCE)En el artı́culo [30], los resultados de una segmentación hecha porhumanos (Gk ) se usa como referencia para evaluar resultados de segmentaciones (S) producidas por distintos algoritmos. Diferentes personasproducen diferentes resultados de segmentación para la misma imagen,sin embargo, estas diferencias, en la mayorı́a de los casos, únicamente serefieren a refinamientos locales en algunas regiones. Este concepto ha sidoestudiado en [30]; se definió una base de datos de imágenes segmentadasmanualmente y una medida del error, la cual no penaliza el resultado de

275.2 Base de datos Berkeleyuna segmentación si es más basta o más fina que otra.Sea la segmentación manual de referencia Gk y la segmentación que sedesea evaluar S de una imagen X {x1 , ., xN } constituida por N pı́xeles.Para cada pı́xel xi , se mide el error E que evalúa la diferencia entre lasregiones de en ambas segmentaciones, que contienen a este pı́xel R (S, xi )y R (Gk , xi ). Este error de un pı́xel xi (E(Gk , S, xi )) se define como:E(Gk , S, xi ) R(Gk , xi )\R(S, xi ) R(Gk , xi ) (5.7)donde \ denota el operador diferencia. Esta medida del error local no essimétrica. E(Gk , S, pi ) es cero cuando Gk es un refinamiento de S en el pı́xelp, pero no vicerversa. El Error de Coherencia Global (GCE) fuerza a quetodos los refinamientos locales estén en la misma dirección:GCE(Gk , S) 5.2.4.1min {Σi E(Gk , S, pi )Σi E(S, Gk , pi )}N(5.8)El Error de Desplazamiento de Fronteras (BDE)Este error mide la media del error de desplazamiento de las fronterasentre regiones entre dos imágenes segmentadas (S, segmentación a evaluar yGk segmentación manual). Particularmente, define el error de una fronteracomo la distancia de un pı́xel de la frontera en S al más cercano en lafrontera de la imagen segmentada manualmente Gk .5.2.5.ResultadosEl método propuesto se ha aplicado a 100 imágenes naturales. En elcuadro 5.2 se muestran los resultados obtenidos con el método propuestocomparándolos con los obtenidos en el algoritmo Ncut tradicional. Losmejores resultados obtendrán un valor de PRI alto y valores bajos de VI,GCE y BDE. Por tanto, se puede comprobar que nuestro algoritmo mejoraen tres de las cuatro medidas existentes, con respecto al Ncut tradicional.MÉTODO .23730.223214.2317.51Cuadro 5.2: Comparación del método propuesto con el NCut empleando labase de datos Berkeley