Hacia una clasificación verbal automática para el español: estudio sobre la relevancia de los...

Hacia una clasificacion verbal automatica para el espanol: estudio

sobre la relevancia de los diferentes tipos y configuraciones de

informacion sintactico-semantica*

Towards an automatic verb classification for Spanish: study of the relevance of di↵erent typesand configurations of syntactico-semantic information

Lara Gil-VallejoUniversitat Oberta de Catalunya

[email protected]

Irene CastellonUniversitat de [email protected]

Marta Coll-FloritUniversitat Oberta de Catalunya

[email protected]

Jordi TurmoUniversitat Politecnica de Catalunya

[email protected]

Resumen

En este trabajo nos centramos en la adquisicion declasificaciones verbales automaticas para el espanol.Para ello realizamos una serie de experimentos con20 sentidos verbales del corpus Sensem. Empleamosdiferentes tipos de atributos que abarcan informa-cion linguıstica diversa y un metodo de clusteringjerarquico aglomerativo para generar varias clasifica-ciones. Comparamos cada una de estas clasificacio-nes automaticas con un gold standard creado semi-automaticamente teniendo en cuenta construccioneslinguısticas propuestas desde la linguıstica teorica. Es-ta comparacion nos permite saber que atributos sonmas adecuados para crear de forma automatica unaclasificacion coherente con la teorıa sobre construccio-nes y cuales son las similitudes y diferencias entre laclasificacion verbal automatica y la que se basa en lateorıa sobre construcciones linguısticas.

Palabras clave

Clasificacion verbal, clustering, construcciones

Abstract

In this work we focus on the automatic acquisi-tion of verbal classifications for Spanish. To do so, weperform a series of experiments with 20 verbal sensesthat belong to the Sensem corpus. We use di↵erentkinds of features that include diverse linguistic infor-mation and an agglomerative hierarchical clusteringmethod to generate a number of classifications. Wecompare each of these automatic classifications with

*Este trabajo ha sido realizado en el marco del proyec-to Adquisicion de escenarios de conocimiento a traves dela lectura de textos (SKATeR, TIN2012-38584-C06-01) ygracias a una beca de investigacion de la escuela de doc-torado de la Universitat Oberta de Catalunya.

a semi-automatically created gold standard, which isbuilt on the basis of linguistic constructions proposedby theoretical linguistics. This comparison allows usto investigate which features are adequate to build averb classification coherent with linguistic construc-tions theory and which are the similarities and di↵e-rences between an automatic verbal classification anda verb classification based on the theory of linguisticconstructions.

Keywords

Verb classification, clustering, constructions

1 Introduccion

Los lexicones computacionales tienen un granvalor dentro del area del Procesamiento del Len-guaje Natural. VerbNet (Schuler, 2005) ha sidoempleado en multiples tareas, como por ejem-plo etiquetacion de papeles semanticos (Giuglea& Moschitti, 2006), elaboracion de sistemas dedialogo automatico (Swift, 2005) o desambigua-cion de sentidos verbales (Brown et al., 2014). Elmodelo de lexicon de VerbNet presenta ademas laventaja de estar organizado por clases. Las clasesverbales estructuran informacion relativa al ver-bo y a sus argumentos, lo que permite eliminarinformacion redundante y elaborar generalizacio-nes (Schulte imWalde, 2006). Por ejemplo, la cla-se appear-48.1.1 de VerbNet contiene 41 verbosque comparten esquemas sintactico-semanticos,lo que permite usar los atributos asociados a laclase en tareas de Procesamiento del LenguageNatural, generalizando la informacion que apor-ta cada verbo individualmente.

This work is licensed under aCreative Commons Attribution 3.0 License

Linguamatica — ISSN: 1647–0818Vol. 7 Num. 1 - Julho 2015 - Pag. 41–52

Sin embargo, la elaboracion manual de un le-xicon es costosa y requiere bastante tiempo y re-cursos que en ocasiones no estan disponibles. Porello, en los ultimos anos se han realizado variosexperimentos y trabajos con el objetivo de adqui-rir un lexicon verbal de forma automatica o semi-automatica que pueda aplicarse satisfactoriamen-te a diversas tareas. En concreto, se ha utiliza-do texto anotado a diferentes niveles o lexiconesde subcategorizacion como VALEX (Korhonenet al., 2006) para crear clasificaciones verbalesautomaticas asociadas a informacion sintactico-semantica.

El objetivo de este trabajo es averiguarque atributos linguısticos son mas adecuadospara una clasificacion sintactico-semantica au-tomatica de verbos para el espanol usando tecni-cas de clustering, con el fin de hacer una selec-cion de los mismos y aplicarlos posteriormente enuna clasificacion mas amplia de unidades verba-les. Para este fin, hemos realizado diversos expe-rimentos con varias clasificaciones verbales. Paraobtener estas clasificaciones verbales hemos esco-gido un conjunto controlado de verbos que pre-sentan diferentes iniciadores, campos semanticosy esquemas sintacticos y hemos empleado variostipos de atributos y un algoritmo de clusteringpara crear la clasificacion. Los atributos contie-nen informacion linguıstica sintactico-semantica(funciones sintacticas, roles semanticos, preferen-cias selectivas, entre otros). Ademas de utilizardiferente tipo de informacion, hemos experimen-tado con diversas configuraciones de los rasgoslinguısticos y diferentes tipos de valor de los atri-butos. En cuanto al algoritmo, elegimos el cluste-ring jerarquico aglomerativo, ya que es coherentecon las clasificaciones verbales manuales, que sontaxonomicas y que recogen la idea de la existenciade diferentes grados de similitud entre los miem-bros de las clases. Por otro lado, consideramosque es interesante poder observar la distribucionde los sentidos verbales por clases en funcion delnivel de la jerarquıa escogido.

2 Trabajos previos

Las clasificaciones verbales automaticas se ela-boran generalmente a partir de la aplicacion deun algoritmo supervisado o no supervisado a da-tos extraıdos de un corpus. Presentan una seriede ventajas e inconvenientes sobre las manuales.Como desventaja podemos apuntar el hecho deque, al ser generadas automaticamente a partirde informacion de corpus, pueden contener ruidoo clases no del todo coherentes, frente a la preci-sion que podemos encontrar en una clasificacion

manual. Por otro lado, las clasificaciones verbalesautomaticas pueden alcanzar una gran cobertu-ra con un coste mınimo. El numero de propues-tas de clasificaciones verbales automaticas cre-cio considerablemente a partir del trabajo teoricode clasificacion verbal de Levin (1993), en el quese basa VerbNet, uno de los lexicones verbalesmas empleados en Procesamiento del LenguajeNatural. La hipotesis de Levin es que el signifi-cado de un verbo determina su comportamientoen cuanto a la expresion e interpretacion de susargumentos. Esta hipotesis ha sido la base paramuchas de las propuestas de clasificacion verbalautomatica. Por lo tanto, la mayor parte del tra-bajo realizado en el area de clasificacion verbalautomatica tiene por objetivo crear unas clasesverbales similares a las que propone Levin. Paraello exploran diferentes caracterısticas linguısti-cas y algoritmos de clustering. A continuacionofrecemos un panorama general del trabajo rea-lizado en esta area, tanto el que esta basado enlas clasificaciones verbales de Levin, como aque-llas propuestas que tienen como objetivo adquirirotro tipo de clasificacion verbal.

Con relacion a aquellos trabajos cuyo objeti-vo es adquirir una clasificacion similar a la deLevin (y que, por tanto, usan adaptaciones o tra-ducciones de la clasificacion de Levin como goldstandard) podemos diferenciar entre aquellos queusan un enfoque supervisado y los que usan unenfoque no supervisado (clustering). Ambos tiposmodelan los verbos basandose en un conjunto decaracterısticas linguısticas orientadas a capturarlas alternancias de diatesis en las que Levin ba-sa su clasificacion. Sin embargo, en el caso de losenfoques no supervisados, la clase a la que perte-nece un verbo no es conocida a priori.

En cuanto a los enfoques no supervisados,que sera nuestra perspectiva, generalmente em-plean patrones de subcategorizacion en combina-cion con diferentes algoritmos, como por ejem-plo Joanis et al. (2008) y Li & Brew (2008). Lospatrones de subcategorizacion enriquecidos conpreferencias selectivas han demostrado dar lugara una mayor precision a la hora de inducir lasclases de Levin como vemos en Sun & Korhonen(2009) y Vlachos et al. (2009)

Este metodo para realizar clasificaciones ver-bales tambien se ha empleado para otras lenguasdiferentes del ingles. Para evaluar estas clasifia-ciones se han empleado diferentes metodos: Brew& Schulte im Walde (2002) y Schulte im Wal-de (2006) crean un gold standard manual parael aleman, mientras que Falk et al. (2012) cons-truyen automaticamente una base de datos parael frances con criterios similares a la de VerbNet.

42– Linguamatica Lara Gil-Vallejo, Irene Castellon, Marta Coll-Florit y Jordi Turmo

Otra alternativa comun es la de traducir las clasesde Levin, lo que permite una comparacion entrelos resultados en ambos idiomas. Sun & Korho-nen (2009) obtienen para el frances una medida-F de 54.6 (la medida-F para el equivalente ingleses de 80.4). Scarton et al. (2014) obtienen unamedida-F de 42.77 para el portugues brasileno.En ambos casos los atributos que mejor funcio-nan son los patrones de subcategorizacion enri-quecidos con preferencias selectivas y preposicio-nales. Para el espanol, Ferrer (2004) aplica unclustering jerarquico a 514 verbos y los evalua conla clasificacion manual de Vazquez et al. (2000).Usa probabilidades de diferentes tipos de patro-nes de subcategorizacion, obteniendo una medidaRand de 0.07 para 15 clusters.

Una aproximacion diferente es el trabajo deSun et al. (2013), que no emplea patrones de sub-categorizacion, sino que propone un metodo al-ternativo para capturar las alternancias de diate-sis de los verbos, basandose en la idea de que unaalternancia de diatesis puede aproximarse calcu-lando la probabilidad conjunta de dos patronesde subcategorizacion.

Entre aquellos trabajos que se apartan del ob-jetivo de adquirir una clasificacion verbal similara la de Levin, podemos mencionar la propuestade Merlo & Stevenson (2001), que utiliza un en-foque supervisado para clasificar verbos en tresgrupos: inacusativos, inergativos y de objeto nu-lo. Finalmente, cabe mencionar tambien el tra-bajo de Lenci (2014), cuyo objetivo es descubrirclases verbales. Para ello usa patrones de subcate-gorizacion y preferencias selectivas en un corpusdel italiano, empleando uno de estos patrones desubcategorizacion como semilla para despues ha-cer particiones segun rasgos mas especıficos entrelos verbos que lo contienen.

En general los trabajos mencionados asignanlos lemas verbales a una sola clase, lo que no per-mite dar cuenta de la polisemia verbal. Este fac-tor puede ser muy importante, ya que la mayorıade los verbos tienen al menos dos sentidos. Almodelar un verbo sin tener en cuenta sus senti-dos puede obtenerse un modelo poco preciso, yaque en realidad la mayor parte de la informacionse obtiene del sentido mas frecuente, mientrasque aquellos sentidos menos frecuentes quedansin modelar o distorsionan el modelo (Korhonenet al., 2003).

3 Metodologıa

A continuacion explicamos la metodologıa quehemos seguido en este trabajo. En primer lugar,detallamos los criterios para seleccionar los sen-

tidos verbales para los experimentos (3.1). Se-guidamente explicamos el proceso de creacion deun gold standard (3.2), tomando construccioneslinguısticas propuestas desde la linguıstica teori-ca. El gold standard es una referencia con la quese pueden comparar las clasificaciones verbalesautomaticas para comprobar si se obtienen clasesequivalentes. A continuacion (3.3), explicamos elproceso de extraccion de informacion linguısticadel corpus para generar los datos que sirven debase para los experimentos. Ademas, en este mis-mo apartado explicamos el tipo de algoritmo declustering que empleamos para elaborar las dife-rentes clasificaciones verbales automaticas.

3.1 Seleccion de sentidos verbales

En nuestro trabajo hemos optado por reali-zar experimentos con sentidos verbales, en vezde lemas, para obtener modelos mas precisos. Enconcreto, trabajamos con un unico sentido porverbo, esto es, no incluimos pares polisemicos pa-ra poder modelizar sin ambiguedad. No obstante,reconocemos que el fenomeno de la polisemia ver-bal es algo que se ha de tener en cuenta y trataren cualquier aplicacion computacional.

Se escogen 20 sentidos verbales del corpus Sen-sem (Fernandez-Montraveta & Vazquez, 2014)que aparecen con una frecuencia mayor de 10frases en el corpus para asegurar la representa-tividad de las diferentes propiedades sintactico-semanticas asociadas con los sentidos. Estos 20sentidos presentan diferentes esquemas sintacti-cos, pertenecen a diferentes campos semanticos,correspondientes a los supersenses de Wordnetasociados a los synsets del Multilingual CentralRepository (Gonzalez-Agirre & Rigau, 2013) yposeen diferentes tipos de iniciadores del evento:causativos, agentivos y experimentadores. Estastres caracterısticas permiten que el conjunto es-cogido sea representativo, pese al limitado nume-ro de sentidos verbales. A continuacion mostra-mos la clasificacion de los sentidos seleccionadossegun el campo semantico al que pertenecen:1

estado: parecer 1, valer 1, estar 14.

comunicacion: valorar 2, explicar 1.

cognicion: gustar 1, pensar 2.

movimiento: perseguir 1, viajar 1,volver 1,montar 2.

cambio: abrir 18, cerrar 19, crecer 1, mo-rir 1.

1Para una definicion de los sentidos verbales y numerode ocurrencias de cada uno en el corpus se puede consultarel anexo B

Hacia una clasificacion verbal automatica para el espanol Linguamatica – 43

percepcion: ver 1, escuchar 1.

actividad (social y corporal): trabajar 1,dormir 1, gestionar 1.

3.2 Creacion del gold standard

A continuacion detallamos el proceso de crea-cion del gold standard, que es una clasificacionverbal basada en propuestas teoricas sobre cons-trucciones. Definimos la nocion de construccioncomo un signo linguıstico, con forma y significa-do, que comprende estructura sintactica y rolessemanticos. Esta definicion es coincidente con lanocion de construccion de Goldberg (1994) y lade diatesis de Levin. Esta clasificacion servira pa-ra evaluar las clasificaciones creadas automati-camente, lo que permitira escoger los atributosadecuados para crear una clasificacion automati-ca similar a una clasificacion manual, mucho mascostosa de realizar.

El primer paso en la creacion del gold stan-dard es seleccionar los atributos linguısticos queconfiguraran las clases verbales. En nuestro ca-so hemos utilizado estructuras sintacticas basi-cas descritas en multiples gramaticas como Ba-rreto & Bosque (1999). Ademas, hemos empleadoconstrucciones adaptadas de Levin, teniendo encuenta los trabajos de Cifuentes Honrubia (2006)y Vazquez et al. (2000). Tomamos las construc-ciones aisladas, es decir, cada uno de los paresen una alternancia de diatesis, lo que no impo-ne restricciones sobre el tipo de alternancia enel que participan los verbos. Dado que la canti-dad de sentidos escogidos es limitada para con-trolar el efecto de los diferentes atributos, se hanpreferido aquellas construcciones que tienen uncaracter mas general sobre aquellas especıficaspara determinados verbos. A continuacion lista-mos y explicamos brevemente estas estructuras yconstrucciones. Empleamos como atributos cin-co estructuras sintacticas basicas: transitiva, in-transitiva, ditransitiva, predicativa y atributiva;ademas, contamos con trece construcciones:

1. Causativa prototıpica: Construccion en laque se explicita la causa de un evento pormedio de un sujeto. El sujeto puede ser unagente (volitivo) o una causa (no volitiva).El objeto esta afectado por el evento en di-versos grados. Ej. La falta de lluvias seco elrıo

2. Anticausativa prototıpica (con “se”): Es unaconstruccion intransitiva donde la entidadafectada ocupa la posicion de sujeto. Ej. Elrıo se seco

3. Causativa de perıfrasis: Es una causativa enla que el predicado aparece en infinitivo jun-to con el auxiliar “hacer”. Ej. Los fuertesvientos han hecho bajar las temperaturas

4. Anticausativa sin “se”: el constituyente queexpresa la causa se elide. Una entidad noafectada ocupa la posicion de sujeto. Ej. Lastemperaturas han bajado

5. Voz media: Expresa un estado o propie-dad del sujeto sin combinarse con un verboatributivo. Generalmente van con un com-plemento adverbial que refuerza la lectu-ra estativa, a diferencia de la anticausati-va prototıpica, que tiene una interpretaciondinamica. Ej. La pintura se esparce con fa-cilidad.

6. Impersonal pronominal: El verbo aparece entercera persona, no tienen sujeto gramaticalexplıcito ni recuperable por el contexto. Ej.Se aconseja el uso obligatorio del cinturon

7. Sujeto oblicuo: El iniciador del evento apare-ce en una posicion encabezada por una pre-posicion. Se suele subdividir en varios tipos,pero dado que nuestro numero de ejemploses pequeno, no hemos tenido en cuenta estassubdivisiones. Ejs. La gente se beneficia delas nuevas medidas

8. Reflexiva: La accion expresada por el sujetorecae sobre sı mismo. Ej. Marıa se peina.

9. Recıproca: El sujeto de estas construccioneses plural. Cada uno de los componentes delsujeto ejerce una accion sobre los otros, a lavez que la recibe de los demas. Ej. Juan yPedro se desafiaron.

10. Pasiva perifrastica: El objeto ocupa una po-sicion topicalizada y el verbo se construyecon un auxiliar. Generalmente el agente sepuede expresar mediante un sintagma pre-posicional. Ej. Los bizcochos fueron comidospor los ninos

11. Pasiva refleja: Se construye con la partıcula“se”. El sujeto se pospone a la partıcula. Eliniciador de la accion no se explicita perosuele ser agentivo. Ej. Se pasaron los trabajosa ordenador

12. Objeto cognado: El objeto que mantiene unarelacion etimologica con el verbo, por ello lasfrases con esta construccion tienen un senti-do tautologico. Ej. Cantamos una cancion

13. Resultativa con “estar”: Detalla el estado re-sultado de la accion expresada por el verbo.Ej. El pan esta cortado


Figura 1: Modelizacion del clustering jerarquicoaglomerativo (adaptado de la entrada de agrupa-miento jerarquico de Wikipedia)

Para crear las clases verbales del gold standardaplicamos un clustering jerarquico aglomerativojunto con estos atributos y los sentidos verba-les descritos. En el clustering jerarquico aglome-rativo cada elemento (en nuestro caso sentidosverbales) pertenece inicialmente a un grupo. Encada paso se van fusionando los dos grupos conmenor distancia (ver figura 1). La distancia en-tre dos grupos se calcula aplicando una funcionde distancia entre algunos de sus elementos (porejemplo, distancia euclidea, distancia del coseno,etc.). La seleccion de dichos elementos se puederealizar de formas diferentes, que se definen comotipos de enlace. En nuestros experimentos hemosempleado cuatro tipos de enlace distintos (sim-ple, completo, promedio y promedio ponderado)para comprobar el efecto que tienen en las agru-paciones de los verbos, con lo cual obtenemos ungold standard para cada tipo de enlace.

Figura 2: Enlace simple, promedio y completo

En la figura 2 podemos ver como se calcula ladistancia entre grupos en los tres tipos de enlace:de izquierda a derecha mostramos el enlace sim-ple, el enlace promedio (el promedio ponderado esuna variante de este) y el enlace completo. En elenlace simple la distancia entre dos grupos vienedada por la mınima distancia entre los elementos

de ambos grupo. En el enlace promedio la distan-cia entre dos grupos se calcula como promedio dela distancia entre todos los pares de elementos deambos grupos. En el enlace promedio ponderadola distancia entre dos grupos se define de la mis-ma manera que en el caso del enlace promedio,pero se tienen en cuenta los grupos previos quepasaron a formar parte de los grupos actuales.Finalmente, en el enlace completo la distanciaentre dos grupos se calcula teniendo en cuentalos elementos mas dispares de ambos grupos.

El resultado del clustering jerarquico es unajerarquıa de posibles agrupaciones, cada una deellas definida por cada nivel de la jerarquıa. Unavez obtenido el resultado del clustering, se de-be decidir el nivel de agrupacion mas apropiado.Para ello, tres linguistas evaluaron las distintasagrupaciones que contenıan de 4 a 10 clases yfinalmente, despues de varias reuniones de dis-cusion, se llego al acuerdo de que el modelo de6 clases era el mas adecuado, ya que en el hayuna serie de agrupaciones de los sentidos verba-les comunes para los cuatro tipos de enlace queson coherentes con la teorıa linguıstica. Aparecensiempre en la misma clase los sentidos de caracterestativo estar 14 y parecer 1. En otra clase apa-recen juntos abrir 18, cerrar 19, crecer 1 y mo-rir 1, que son verbos que expresan cambio (juntocon ellos aparece tambien dormir 1, que se tratade una actividad). Tambien juntos en una clase seagrupan escuchar 1, explicar 1, gestionar 1, per-seguir 1, ver 1 y valorar 2, que generalmente tie-nen iniciadores humanos u organizaciones. Traba-jar 1 y volver 1, intransitivos agentivos, tambienpermanecen juntos en todos los tipos de enlace yen ocasiones se agrupan con otros verbos. Valer1 y gustar 1 siempre son miembros unicos de sugrupo. Los demas alternan entre los grupos yamencionados. Las clases resultantes pueden con-sultarse en la columna izquierda del anexo A.

3.3 Experimentacion

En los experimentos se emplean diferentesatributos linguısticos extraıdos del corpus Sen-sem:

atributos semanticos de los argumentos:

• Roles semanticos obtenidos a partir deun mapping jerarquico realizado entrelos roles de Sensem y la propuesta deLirics (Bonial et al., 2011):

� roles semanticos finos (40 roles),

� roles semanticos abstractos(16 roles);


• Supersenses de Wordnet (Miller, 1995)(45 supersenses);

• Ontologıa de SUMO (Niles & Pease,2003) (1000 terminos). Los supersensesy los terminos de la ontologıa de SU-MO se obtienen a partir del nucleo delos argumentos verbales, que en Sensemestan anotados con synsets.

atributos morfosintacticos: funcion sintacti-ca; categorıa morfologica; construccion, querecoge aspectos como la topicalizacion o des-topicalizacion del sujeto logico, la reflexivi-dad o la impersonalidad.

aspecto oracional (estado, evento, proceso).

Mediante la seleccion de esta informacion con-figuramos diferentes espacios de atributos paralos experimentos. Con el fin de obtener una re-presentacion lo mas completa posible de los pre-dicados, cada atributo semantico se combina conuno sintactico. Por otro lado, para explorar elrol del aspecto, que no se ha tenido en cuentageneralmente a la hora de elaborar clasificacio-nes verbales automaticas, realizamos una versionde estos atributos combinada con el aspecto delas frases. Finalmente, para valorar el potencialde los roles semanticos a la hora de definir unaclasificacion verbal, anadimos otro atributo queconsiste en roles semanticos sin combinarlos coninformacion sintactica.

Como resultado tenemos 27 tipos de atribu-tos segun el tipo de informacion linguıstica querecogen (por ejemplo, sintaxis+supersenses, sin-taxis+roles de sensem, categorıa morfosintacti-ca+ontologıa SUMO+aspecto, etc). A su vez, es-tos atributos admiten tres configuraciones dife-rentes de informacion: rasgos aislados, constitu-yentes y patrones. En la figura 3 presentamos unejemplo de anotacion de la frase en Semsem Re-medios abrio su bolso.

Figura 3: Anotacion de una frase en el corpusSensem

Para esta frase, con informacion linguısti-ca relativa a roles y funciones sintacticas, ob-tendrıamos las siguientes configuraciones:

rasgos aislados (4 atributos): sujeto, agente,objeto directo, tema afectado

constituyentes (2 atributos): sujeto-agente,objeto directo-tema afectado

patrones (1 atributo): sujeto-agente+objetodirecto-tema afectado

Por lo tanto, los 20 sentidos tomados deSensem quedan caracterizados por los atributossintactico-semanticos de las frases en las que par-ticipan. En cuanto al valor del atributo, experi-mentamos con dos tipos diferentes: binarios (0/1)y probabilidades. Los atributos binarios tomanvalores 0 o 1 dependiendo de si para un sentido yun atributo dados (por ejemplo abrir 18 y sujeto-agente+objeto-tema) hay al menos una frase querecoja ambos (1) o no la hay (0). Por otro lado,las probabilidades expresan, para un sentido y unatributo dados (por ejemplo abrir 18 y sujeto-agente+objeto-tema), la proporcion de frases enlas que aparecen ambos en relacion a las frasesen las que participa el sentido verbal.

Para cada set de datos con un tipo de atributoobtenido mediante las combinaciones que acaba-mos de explicar, realizamos clustering jerarquicoaglomerativo con cada uno de los cuatro enla-ces posibles. Las funciones de distancia emplea-das son dos: una basada en el coeficiente Dice(Dice, 1945), ya que es adecuada y ampliamen-te empleada para atributos binarios y otra basa-da en el Coseno para los probabilısticos, tambienmuy utilizada en estos casos. Estas medidas seemplean para calcular la distancia entre dos ele-mentos en funcion de los valores asociados a losatributos que los caracterizan. El numero de cla-ses deseadas en el resultado del clustering quecompararemos con el gold standard se estableceen un rango entre 4 y 10.

4 Evaluacion y resultados

Para evaluar los resultados, comparamos cadagold standard correspondiente a un tipo de enla-ce con los resultados de los experimentos paraeste enlace. En las tablas 1, 2, 3 y 4 mostramoslos resultados para cada tipo de enlace. Para cadavariacion de atributo-valor (rasgos aislados, cons-tituyentes y patrones con valores probabilısticosy binarios) se muestra el numero de clases y eltipo de informacion linguıstica que conforman laclasificacion automatica mas similar al respectivogold standard. La similitud entre el gold standardy el resultado de cada experimento se mide em-pleando la informacion mutua ajustada, que dacuenta de la similitud entre dos etiquetados di-ferentes para los mismos datos. En nuestro caso,los dos etiquetados son las clases verbales defi-nidas en el gold standard y las clases obtenidasautomaticamente con datos de Sensem. La me-


dida de informacion mutua ajustada oscila entre0 si las clases verbales son independientes y 1 silas clases verbales son identicas. Hay una granvariedad de medidas de evaluacion externa pa-ra algoritmos de clustering. Hemos elegido estamedida porque no presenta sesgos en cuanto alnumero de clases, al contrario que otras medi-das muy utilizadas como la de pureza (Manninget al., 2008) y esta ajustada, es decir, en el casode una agrupacion aleatoria de sentidos verba-les, el valor de la medida de informacion mutuaajustada es 0 (Strehl, 2002).

5 Analisis de resultados

Si observamos globalmente los resultados co-rrespondientes a todos los tipos de enlace, vemosque la informacion linguıstica que en mas ocasio-nes contribuye a generar una clasificacion simi-lar a la del gold standard es la combinacion desupersenses y funciones sintacticas, con una in-formacion mutua ajustada media de 0.530 (estetipo de informacion obtiene mejores resultadosen cuatro ocasiones para el enlace completo, dospara el simple y una para el de tipo promedioponderado). Sin embargo, la combinacion de ro-les abstractos mas funciones sintacticas, que es lasegunda informacion linguıstica que mas frecuen-temente aparece en las tablas (dos veces para elenlace promedio, una para el completo, una pa-ra el simple y dos para el promedio ponderado)tiene una informacion mutua ajustada media li-geramente mayor: 0.542. En general observamosque las funciones sintacticas aparecen en muchosde los atributos que mejores resultados obtienen.

Si nos centramos en el tipo de valor, vemos quelas probabilidades dan lugar a una informacionmutua ajustada media mayor que los atributosbinarios: 0.55 frente a 0.49. En cuanto a la confi-guracion de los atributos, las configuraciones quegeneralmente dan lugar a una clasificacion massimilar a la del gold standard son las de patronesy constituyentes, ambas con una informacion mu-tua ajustada media de 0.54. Los rasgos aisladosobtienen peores resultados, con un 0.49.

En conjunto, la configuracion que mejores re-sultados arroja es la que contiene informacionacerca de los supersenses y la funcion sintacticaorganizada en patrones y con valores probabilısti-cos. Este tipo de atributos y valores en el enlacesimple obtiene una medida de informacion mutuade 0.647. Tambien cabe destacar que la combina-cion roles abstractos+aspecto+funcion sintacticaobtiene una de las mejores medidas, 0.627, lo quepone de relieve la importancia del aspecto comoinformacion relevante a la hora de crear una cla-sificacion verbal automatica.

Como hemos visto en el apartado de trabajosprevios, hay una clasificacion verbal automaticapara el espanol realizada por Ferrer (2004), queconsigue una medida Rand ajustada de 0.07 cla-sificando 514 verbos en 15 grupos. Para tener unareferencia, calculamos la medida Rand ajustadade la clasificacion verbal generada por la configu-racion que obtiene una mayor informacion mutuaajustada. La medida Rand de esta clasificaciones de 0.619. Pese a que se trata de un valor no-tablemente mas alto que el que alcanza Ferrer(2004), hay que tener en cuenta que el tipo degold standard es diferente y la cantidad de verboses menor en nuestro caso, lo que limita el posi-ble ruido que se generarıa con un numero mayorde sentidos. Aunque ambas clasificaciones no sondirectamente comparables, consideramos que losresultados que hemos obtenido son prometedoresy nos animan a seguir trabajando en esta lınea.

En lo relativo a las clases que se obtienen ha-ciendo clustering con los datos de Sensem, vemoscomo en las cuatro mejores agrupaciones, una porenlace2, hay unos rasgos comunes: de forma simi-lar a lo que ocurre en el gold standard, estar y pa-recer se mantienen en una misma clase que tam-poco contiene ningun otro miembro. Por el con-trario, el grupo de verbos que expresaban cambiojunto con dormir 1 no se mantiene. En concre-to, abrir 18 y cerrar 19 generalmente aparecenen un grupo separado de crecer 1 y dormir 1. Eneste punto coinciden con la distincion hecha porLevin & Hovav (1995) entre verbos de cambio deestado que expresan un evento de causa externa yaquellos que expresan un evento de causa interna.En Levin & Hovav (1995) se definen los eventosde causa interna como aquellos en los que el argu-mento que acompana al verbo posee una propie-dad que es responsable del evento denotado (porejemplo ‘la planta crecio’) y los eventos de causaexterna como aquellos en los que hay una causaexterna que tiene el control del evento (por ejem-plo ‘la puerta se abrio’), que ademas puede ser he-cha explıcita en una construccion transitiva (porejemplo ‘el viento abrio la puerta’). Explicar 1,escuchar 1, gestionar 1, perseguir 1, valorar 2 yver 1, que aparecıan siempre en el mismo gru-po en el gold standard, independientemente deltipo de enlace, se mantienen juntos tambien entodos los enlaces de las clases obtenidas con datosde corpus. Valer 1 aparece como unico miembrode su grupo en todos los casos, tanto en el goldstandard como en los grupos creados a partir decorpus.

2En negrita en las tablas 1-4, los verbos que componenestas clases estan en la columna izquierda de las tablas delanexo A.


Configuracionde los atributos

Valor delos atributos

Informacionlinguıstica delos atributos

Numerode grupos

InformacionMutua

Ajustada

rasgos aislados binarioSUMOaspecto

funciones sintacticas7 0.425

rasgos aislados probabilidadesroles abstractosconstrucciones

6 0.598

constituyentes binarioroles abstractos


constituyentes probabilidadesroles abstractos

aspectofunciones sintacticas

6 0.627

patrones binarioroles abstractos

morfologıa6 0.598

patrones probabilidadesroles abstractos


Tabla 1: Enlace promedio.




Numerode grupos

InformacionMutua

Ajustada


morfologıa7 0.389

rasgos aislados probabilidadessupersenses


constituyentes binariosupersenses


constituyentes probabilidadessupersenses




patrones probabilidadessupersenses


Tabla 2: Enlace completo.

Respecto a las diferencias entre el gold stan-dard y las clases obtenidas, vemos que viajar 1 ytrabajar 1 aparecen siempre juntos, mientras queen el gold standard trabajar 1 aparecıa siemprejunto con volver 1. Gustar 1, que en las clasesdel gold standard aparecıan como unico miem-bro de su grupo, aparece en una ocasion en elmismo grupo que crecer 1. El resto de los verbosalternan entre dos grupos principales en las clasi-ficaciones hechas con datos de Sensem: pensar 2alterna entre el grupo de escuchar 1 y aislado,montar 2 alterna entre volver 1 y aislado, vol-ver 1 alterna entre el grupo de montar 2 y aisla-do. Finalmente,morir 1 alterna entre el grupo deabrir 18 y el de crecer 1, lo que no es consecuen-te con el criterio de causa externa e interna, yaque de mantenerse este criterio en la clasificacionautomatica deberıa permanecer con crecer 1.

6 Conclusiones

En este trabajo hemos analizado parametrosrelevantes a la hora de hacer clasificaciones ver-bales automaticas empleando clustering jerarqui-co aglomerativo. Para ello hemos creado un goldstandard para cada tipo de enlace de forma semi-automatica, utilizando atributos motivados en lateorıa linguıstica. Posteriormente hemos realiza-do varios experimentos empleando diferentes ti-pos de parametros y hemos analizado los resul-tados.

En concreto, para el clustering jerarquico aglo-merativo, comprobamos que los diferentes tiposde enlace tienen un efecto en la configuracion delas clases. En cuanto al diseno de los atributos,hemos visto como la configuracion en patrones y





Numerode grupos

InformacionMutua

Ajustada



rasgos aislados probabilidadesroles abstractos

aspectofunciones sintacticas

5 0.590

constituyentes binarioroles abstractos


constituyentes probabilidadessupersenses


patrones binarioSUMOaspecto


patrones probabilidadessupersenses


Tabla 3: Enlace simple.




Numerode grupos

InformacionMutua

Ajustada



rasgos aislados probabilidades roles abstractos 7 0.479

constituyentes binariosupersenses


constituyentes probabilidadesroles abstractos



morfologıa5 0.503

patrones probabilidadesroles abstractos


Tabla 4: Enlace promedio ponderado.

constituyentes ofrece unos resultados mejores quelos rasgos aislados. Si tenemos en cuenta la mejorclasificacion por enlace, son los patrones los quemejor funcionan, algo que va en la lınea de lostrabajos previos. En relacion con esto, hemos ob-servado que el tipo de valor que recoge de formamas efectiva la informacion proporcionada por losdatos son las probabilidades de co-ocurrencia deverbo y atributo.

En cuanto a la informacion linguıstica, hemoscomprobado que las funciones sintacticas tienenun papel fundamental, y que ofrecen buenos re-sultados combinadas con roles semanticos abs-tractos o los supersenses de Wordnet. Ademashemos demostrado que el aspecto, que general-mente no se ha tenido en cuenta en los traba-jos previos, es un rasgo util. Una inspeccion ma-

nual de las clases nos ha permitido observar laexistencia de similitudes basicas globales entre elgold standard y las clases elaboradas con datosde Sensem.

En definitiva, en este trabajo hemos evalua-do que tipo de informacion sintactico-semanticaes mas relevante para una clasificacion automati-ca verbal del espanol, ası como el tipo de valory configuracion de los atributos mas adecuados,empleando un conjunto acotado y controlado desentidos verbales. Esto nos ha permitido hacerun estudio de los cambios en la configuracion delas clases segun el empleo de diferentes parame-tros. A partir de estos resultados, el proximo pasosera aplicar los parametros obtenidos a una cla-sificacion mas amplia de unidades verbales delespanol.


A Clases verbales: gold standard y clase mas similar

Gold standard Clasificacion mas similar1: estar 14 parecer 1

2: escuchar 1 explicar 1 gestionar 1pensar 2 perseguir 1 valorar 2

ver 1 viajar 13: abrir 18 cerrar 19

crecer 1 dormir 1 montar 2 morir 14: trabajar 1 volver 1

5: gustar 16: valer 1

1: estar 14 parecer 12: valer 1

3: montar 2 volver 14: abrir 18 cerrar 19 morir 15: crecer 1 dormir 1 gustar 1

6: escuchar 1 explicar 1 gestionar 1pensar 2 perseguir 1 trabajar 1

valorar 2 ver 1 viajar 1

Tabla 5: Enlace promedio.

Gold standard Clasificacion mas similar

1: estar 14 parecer 12: trabajar 1 volver 1

3: gustar 14: escuchar 1 explicar 1

gestionar 1 perseguir 1 valorar 2 ver 15: abrir 18 cerrar 19

crecer 1 dormir 1 montar 2morir 1 pensar 2 viajar 1

6: valer 1

1:abrir 18 cerrar 192: estar 14 parecer 1

3: crecer 1 dormir 1 morir 1trabajar 1 viajar 1 volver 1

4: escuchar 1 explicar 1 gestionar 1perseguir 1 valorar 2 ver 1

5: valer 16: pensar 27: montar 28: gustar 1

Tabla 6: Enlace completo.

Gold standard Clasificacion mas similar1: estar 14 parecer 12: trabajar 1 volver 1

3: abrir 18 cerrar 19 crecer 1 dormir 1escuchar 1 explicar 1 gestionar 1morir 1 pensar 2 perseguir 1

valorar 2 ver 1 viajar 14: montar 25: gustar 16: valer 1

1: estar 14 parecer 12: abrir 18 cerrar 19 crecer 1 dormir 1

escuchar 1 explicar 1 gestionar 1morir 1 perseguir 1 trabajar 1valorar 2 ver 1 viajar 1 volver 1

3: montar 24: valer 15 pensar 26: gustar 1

Tabla 7: Enlace simple.

Gold standard Clasificacion mas similar

1: estar 14 parecer 12: escuchar 1 explicar 1 gestionar 1

perseguir 1 valorar 2 ver 13: abrir 18 cerrar 19 crecer 1 dormir 1montar 2 morir 1 pensar 2 viajar 1

4: trabajar 1 volver 15: gustar 16: valer 1

1: estar 14 parecer 12: valer 1

3: crecer 1 dormir 1 morir 1 trabajar 1viajar 1 volver 1

4‘: abrir 18 cerrar 19 escuchar 1 explicar 1gestionar 1 perseguir 1 valorar 2 ver 1

5: montar 26: gustar 17: pensar 2

Tabla 8: Enlace promedio ponderado.


B Definicion de los sentidos verbales

Entre parentesis se indica el numero de ocu-rrencias en el corpus.abrir 18: Descorrer el pestillo o cerrojo,desechar la llave, levantar la aldaba o desenca-jar cualquier otra pieza o instrumento semejantecon que se cierra algo. (15)cerrar 19: Asegurar con cerradura, pasador,pestillo, tranca u otro instrumento, una puer-ta, ventana, tapa, etc., para impedir que seabra. (14)crecer 1: Incrementar la cantidad o la importan-cia de algo, desarrollarse. (116)dormir 1: Permanecer en un estado en el cualtodos los movimientos voluntarios son suspendi-dos, generalmente para descansar. (18)escuchar 1: Poner atencion a lo que se oye. (107)estar 14: Encontrarse alguien o algo en un esta-do determinado. (101)explicar 1: Aclarar algo, dar informacion sobreun asunto. (106)gestionar 1: Realizar un tramite para la conse-cucion de una cuestion. (36)gustar 1: Encontrar atractivo o agradable algu-na cosa o a alguien. (117)montar 2: Subirse alguien en un animal o unvehıculo. (26)morir 1: Fallecer, dejar de existir algo o al-guien. (115)parecer 1: Aparentar algo, sin serlo necesaria-mente. (51)pensar 2: Usar la mente alguien para examinaruna idea, razonar. (25)perseguir 1: Ir detras de alguien o algo para al-canzarle. (53)trabajar 1: Emplearse en cualquier ejercicio,obra, trabajo o ministerio. (80)valorar 2: Admitir la importancia de un hecho,cosa o accion. (70)valer 1: Tener algo un determinado valor. (45)ver 1: Recibir una imagen a traves de la vis-ta. (86)viajar 1: Ir de un lugar a otro que suele estardistante, generalmente mediante algun medio detransporte. (111)volver 1: Dirigirse hacia el lugar donde ya se haestado. (84)

Referencias

Barreto, Violeta Demonte & Ignacio Bosque.1999. Gramatica descriptiva de la lengua es-panola. Espasa Calpe.

Bonial, Claire, William Corvey, Martha Palmer,Volha V Petukhova & Harry Bunt. 2011. A

hierarchical unification of lirics and verbnet se-mantic roles. En Semantic Computing (ICSC),2011 Fifth IEEE International Conference on,483–489. IEEE.

Brew, Chris & Sabine Schulte im Walde. 2002.Spectral clustering for german verbs. En Pro-ceedings of the ACL-02 conference on Empi-rical methods in natural language processing-Volume 10, 117–124. Association for Compu-tational Linguistics.

Brown, Susan Windisch, Dmitriy Dligach &Martha Palmer. 2014. Verbnet class assign-ment as a wsd task. En Computing Meaning,203–216. Springer.

Cifuentes Honrubia, JL. 2006. Alternancias ver-bales en espanol. Revista Portuguesa de Hu-manidades 10. 107–132.

Dice, Lee R. 1945. Measures of the amount ofecologic association between species. Ecology26(3). 297–302.

Falk, Ingrid, Claire Gardent & Jean-Charles La-mirel. 2012. Classifying french verbs usingfrench and english lexical resources. En Pro-ceedings of the 50th Annual Meeting of the As-sociation for Computational Linguistics: LongPapers-Volume 1, 854–863. Association forComputational Linguistics.

Fernandez-Montraveta, Ana & Gloria Vazquez.2014. The sensem corpus: an annotated cor-pus for spanish and catalan with informa-tion about aspectuality, modality, polarity andfactuality. Corpus Linguistics and LinguisticTheory 10(2). 273–288.

Ferrer, Eva Esteve. 2004. Towards a semanticclassification of spanish verbs based on sub-categorisation information. En Proceedings ofthe ACL 2004 workshop on Student research,13. Association for Computational Linguistics.

Giuglea, Ana-Maria & Alessandro Moschitti.2006. Semantic role labeling via framenet,verbnet and propbank. En Proceedings of the21st International Conference on Computatio-nal Linguistics and the 44th annual meeting ofthe Association for Computational Linguistics,929–936. Association for Computational Lin-guistics.

Goldberg, A. 1994. Constructions, a construc-tion grammar approach to argument structure.Chicago, Il: Chicago University Press.

Gonzalez-Agirre, Aitor & German Rigau. 2013.Construccion de una base de conocimiento lexi-co multilıngue de amplia cobertura: Multilin-gual central repository. Linguamatica 5(1). 13–28.


Joanis, Eric, Suzanne Stevenson & David James.2008. A general feature space for automaticverb classification. Natural Language Enginee-ring 14(03). 337–367.

Korhonen, Anna, Yuval Krymolowski & TedBriscoe. 2006. A large subcategorization le-xicon for natural language processing applica-tions. En Proceedings of LREC, vol. 6, .

Korhonen, Anna, Yuval Krymolowski & Zvi-ka Marx. 2003. Clustering polysemic subca-tegorization frame distributions semantically.En Proceedings of the 41st Annual Meetingon Association for Computational Linguistics-Volume 1, 64–71. Association for Computatio-nal Linguistics.

Lenci, Alessandro. 2014. Carving verb classesfrom corpora. Word Classes: Nature, typologyand representations 332. 17.

Levin, Beth. 1993. English verb classes and al-ternations: A preliminary investigation. Uni-versity of Chicago Press.

Levin, Beth & Malka Rappaport Hovav. 1995.Unaccusativity: At the syntax-lexical semanticsinterface, vol. 26. MIT Press.

Li, Jianguo & Chris Brew. 2008. Which are thebest features for automatic verb classification.En ACL, 434–442.

Manning, Christopher D, Prabhakar Raghavan,Hinrich Schutze et al. 2008. Introduction toinformation retrieval, vol. 1. Cambridge Uni-versity Press Cambridge.

Merlo, Paola & Suzanne Stevenson. 2001. Au-tomatic verb classification based on statisticaldistributions of argument structure. Compu-tational Linguistics 27(3). 373–408.

Miller, George A. 1995. WordNet: a lexical data-base for English. Communications of the ACM38(11). 39–41.

Niles, Ian & Adam Pease. 2003. Mapping word-net to the sumo ontology. En Proceedings of theieee international knowledge engineering confe-rence, 23–26.

Scarton, Carolina, Lin Sun, Karin Kipper-Schuler, Magali Sanches Duran, Martha Pal-mer & Anna Korhonen. 2014. Verb clusteri-ng for brazilian portuguese. En Computatio-nal Linguistics and Intelligent Text Processing,25–39. Springer.

Schuler, Karin Kipper. 2005. Verbnet: A broad-coverage, comprehensive verb lexicon: Univer-sity of Pennsylvania. Tese de Doutoramento.

Strehl, Alexander. 2002. Relationship-basedclustering and cluster ensembles for high-dimensional data mining.

Sun, Lin & Anna Korhonen. 2009. Impro-ving verb clustering with automatically acqui-red selectional preferences. En Proceedingsof the 2009 Conference on Empirical Methodsin Natural Language Processing: Volume 2-Volume 2, 638–647. Association for Compu-tational Linguistics.

Sun, Lin, Diana McCarthy & Anna Korhonen.2013. Diathesis alternation approximation forverb clustering. En ACL (2), 736–741.

Swift, Mary. 2005. Towards automatic verb ac-quisition from verbnet for spoken dialog pro-cessing. En Proceedings of InterdisciplinaryWorkshop on the Identification and Represen-tation of Verb Features and Verb Classes, 115–120.

Vazquez, Gloria, Ana Fernandez & M. AntoniaMartı. 2000. Clasificacion verbal. Alternanciasde diatesis. Quaderns de Sintagma 3.

Vlachos, Andreas, Anna Korhonen & ZoubinGhahramani. 2009. Unsupervised and cons-trained dirichlet process mixture models forverb clustering. En Proceedings of the works-hop on geometrical models of natural languagesemantics, 74–82. Association for Computatio-nal Linguistics.

Schulte im Walde, Sabine. 2006. Experiments onthe automatic induction of German semanticverb classes. Computational Linguistics 32(2).159–194.


Hacia una clasificación verbal automática para el español: estudio sobre la relevancia de los...

Documents

Transcript of Hacia una clasificación verbal automática para el español: estudio sobre la relevancia de los...