http://www.revista-riai.org Seleccion de variables en la prediccion de llamadas

en un centro de atencion telefonica

Manuel R. Arahal ∗ Manuel Berenguel ∗∗ Eduardo F. Camacho ∗

Fernando Pavon ∗

∗ Dpto. de Ingenierıa de Sistemas y Automatica, Universidad de Sevilla.Camino Descubrimientos, s/n. 41092. Espana, (dt: arahal@esi.us.es)

∗∗ Dpto. de Lenguajes y Computacion, Universidad de Almerıa. La Canadade San Urbano, s/n. 04120. Espana.

Resumen: En este artıculo se ilustra la importancia de la seleccion de variables independientes paramodelos neuronales destinados a la prediccion de la demanda en un centro de atencion telefonica. Losmodelos tienen como objetivo ayudar en la planificacion semanal del personal del centro, tarea que serealiza con 14 dıas de antelacion.Los modelos requeridos pueden hacer uso de gran cantidad de variables independientes. Sin embargo,el numero de casos que pueden ser usados para obtener los parametros del modelo es escaso debido alos cambios socio-economicos. Esto plantea la necesidad de seleccionar cuidadosamente las variablesindependientes y utilizar el menor numero posible de ellas, de otro modo la generalizacion del modelose degradarıa.Para resolver el problema se utiliza un metodo mixto que permite trabajar con un alto numero devariables candidatas, en una primera fase, y seleccionar mas cuidadosamente un numero menor devariables en una segunda fase. Los resultados obtenidos por los modelos resultantes de aplicar el metodopropuesto y sus variantes son analizados utilizando datos reales de un centro de atencion telefonica. Losresultados de la comparacion muestran que la correcta seleccion de variables independientes es vitalpara este tipo de aplicacion. Copyright c© 2009 CEA.

Palabras Clave: Modelos, Prediccion, Redes de neuronas artificiales

1. INTRODUCCION

Los centros de atencion telefonica (CAT) han experimentado ungran auge en la ultima decada como consecuencia de factorestecnologicos y economicos. Son muchas las empresas queutilizan este tipo de centros para vender sus servicios o paraobtener informacion de sus clientes.

La capacidad de atencion de un centro depende fundamental-mente de la cantidad de personas que atienden las llamadas.La calidad del servicio es un aspecto importante que suelemedirse considerando la cantidad de llamadas perdidas. Dadoque los costes de personal son altos, la calidad del servicio secontrapone a la obtencion de beneficios (Pinedo et al., 1999).La planificacion del personal (estatica y dinamica) es un mediopara llegar a un compromiso entre costes y servicio. El metodomas usado consiste en simular el comportamiento dinamico delCAT mediante la teorıa de colas (Koole y Mandelbaum, 2002).

El numero de llamadas cada hora constituye la carga del CAT yes la variable mas importante para determinar el numero de ope-radores necesarios para proporcionar una determinada calidadde servicio. En la mayorıa de los casos la prediccion se realizade forma no automatica, por lo que existe una dependencia delconcurso de un experto humano. Las tecnicas de prediccionde secuencias temporales pueden aplicarse en este contexto ycabrıa esperar una mejora de resultados. Sin embargo existenpocos informes en la literatura acerca de aplicaciones realesde estas tecnicas para CAT. Por ejemplo, en (Sze, 1984) seutilizan metodos clasicos simples, en (Andrews y Cunningham,

1995) se proponen modelos ARIMA y en (Jongbloed y Koole,2001; Antipov y Meade, 2002; Avramidis et al., 2004) metodosestadısticos para modelar la tasa de llegada de llamadas.

En este artıculo se propone el uso de modelos realizados porredes de neuronas artificiales. Este tipo de modelos ha sido usa-do frecuentemente para la prediccion de secuencias temporales,pudiendo citarse desde aplicaciones tempranas (Werbos, 1988)hasta libros de texto recientes (Bishop, 2006). El problema quesurge al aplicar estos modelos es el de la generalizacion delas predicciones. Este problema se ve agravado por el hechode que la secuencia a predecir cambia debido a factores socio-economicos. Por ello el numero de observaciones relevantes dela secuencia se restringe al subconjunto formado por las masrecientes. Esto quiere decir que se tienen pocos datos para elentrenamiento de la red y por tanto es necesario seleccionarcuidadosamente las variables independientes que constituyenel vector de entrada de la red de neuronas. Este problema es elque motiva el presente trabajo.

En primer lugar se va a plantear de una forma mas detalladael problema de prediccion en el CAT, indicando los aspec-tos mas relevantes de la secuencia temporal que ha servidopara obtener los resultados en este estudio. Posteriormente semostrara el tipo de modelo utilizado y el metodo propuestopara la seleccion de variables independientes. Finalmente, losresultados obtenidos por distintos metodos seran comparadoslo cual dara lugar a las conclusiones del trabajo.

ISSN: 1697-7912. Vol. 6, Núm. 1, Enero 2009, pp. 94-104

O1

O2

On

llamadasentrantes

pérdidas por saturation

abandonos

…

llamadasatendidas

llamadasen cola

Figura 1. Diagrama simplificado de un CAT mostrando el flujode llamadas.

2. LA PREDICCION EN EL CAT

La figura 1 muestra el diagrama simplificado de un CAT, in-dicando mediante flechas el flujo de llamadas. El rectanguloen la parte central simboliza la cola de llamadas, formada porlos clientes que esperan a ser antendidos. Los cuadrados sim-bolizan los operadores que atienden las llamadas, sacandolasde la cola. Las llamadas recibidas en el CAT son transferidas aun operador u otro dependiendo de ciertas variables: idioma,area de donde proviene, tipo de informacion requerida, etc.Tengase en cuenta que el diagrama mostrado en la figura 1 hasido simplificado pues las llamadas puede ser transferidas deun operador a otro hasta finalmente ser atendidas. Durante elproceso puede ocurrir que la llamada se pierda debido a:

1. Espera excesiva. El cliente cuelga por impaciencia. Estetipo de situaciones afecta negativamente y es lo que seintenta evitar mediante una planificacion de operadoresadecuada.2. Saturacion. Las lıneas del CAT no permiten nuevas lla-madas. En este caso el problema no es de la planificacionde operadores sino de diseno del CAT, por lo que cae fueradel ambito de este estudio.3. Problemas tecnicos. Al igual que en el caso ante-rior esta situacion no depende del numero de operadoresdisponibles y por tanto no se tiene en cuenta.

Es facil de entender que la calidad del servicio desde el puntode vista del cliente depende de la cualificacion profesional deloperador que presta el servicio y del numero de operadoresdisponibles. La preparacion del operador es un asunto que noconcierne para este estudio por lo que se dejara a un lado. Porotra parte, el numero de operadores esta renido con el beneficiodel CAT pues a mayor numero de operadores mayor gasto. Ladireccion del CAT debe llegar a una solucion de compromisoentre tener muchos operarios (con el peligro de que a ciertashoras esten ociosos) o tener demasiado pocos con lo que lostiempos de espera aumentaran y con ello la insatisfaccion delos clientes. Queda claro pues que conviene adecuar la ofertade operadores a la demanda y para ello es vital tener una buenaprevision del numero de llamadas.

El numero de llamadas entrantes se denomina carga o volumenhorario y se va a denotar como x, por tanto x(k) es el numero dellamadas recibidas en la hora k. Esta variable es la mas impor-tante para determinar el numero de operadores necesarios paraproporcionar una determinada calidad de servicio (vease Ganset al. (2003) donde se presenta una introduccion al problema dela operacion de los CAT). La forma mas extendida de atacar elproblema de prediccion consiste en modelar la tasa de llamadas

...

·p1|f(.)

·p2|f(.)

·pnn|f(.)

·ps

u1u2

une

y=R(u)

1 1

Figura 2. Estructura de la red de neuronas artificiales utilizada.

diaria mediante un proceso estadıstico. Esta tasa junto a unmodelo de la cola permite simular el comportamiento dinamicodel CAT. La simulacion permite luego determinar polıticas degestion de operadores.

Las tecnicas de prediccion de secuencias temporales puedenaplicarse en este contexto y cabrıa esperar una mejora deresultados. Sin embargo existen pocos informes en la literaturaacerca de aplicaciones reales de estas tecnicas para CAT. Porejemplo, en (Sze, 1984) se utilizan metodos clasicos simples, en(Andrews y Cunningham, 1995) se proponen modelos ARIMAen (Shen y Huang, 2008) se combina la descomposicion envalores singulares con un modelo ARIMA.

En este trabajo se propone el uso de redes de neuronas y seataca el problema de determinar la estructura mas adecuada.En este contexto resulta que el paso crıtico consiste en decidirque variables se van a usar como parte del vector de entradade la red de neuronas. Se propone un algoritmo de seleccionen dos pasos que ha sido especialmente pensado para este tipode aplicacion. A continuacion se muestra la forma en que losmodelos de redes de neuronas artificiales han sido usados parala prediccion del numero de llamadas entrantes en el CAT.

2.1 Modelo neuronal

Los modelos usados son realizados por redes de neuronas arti-ficiales con la estructura mostrada en el diagrama de la figura 2.La salida de la red sera la prediccion de la carga, obtenida comox(t) = R(u), siendo u el vector de entrada que contiene lasvariables independientes del modelo y siendo R() una funcioncontinua y derivable realizada por la red de neuronas artifi-ciales. Se utilizan redes estaticas (acıclicas) de una sola capapor lo que la aplicacion de u en x es estatica. Como es sabidolas redes de neuronas artificiales pueden describirse como sumatruncada de funciones base (Valverde y Gachet, 2007). La uti-lizacion de unas bases u otras carece de importancia siemprey cuando la suma resultante posea suficiente flexibilidad paraacomodar las observaciones. En este caso se han utilizado basesdel tipo f(.) = 1

1+e−.por lo que las redes resultantes son del

tipo perceptron.

El numero de capas ocultas de la red se ha limitado a uno puescon eso basta para garantizar la propiedad de aproximacionuniversal. De este modo el unico parametro estructural esel numero de nodos en la capa oculta nn, el cual define laflexibilidad de la red. Los valores de los vectores de pesospi para cada nodo i ∈ 1, 2, · · · , nn se obtendra mediante elapropiado entrenamiento usando valores pasados conocidos de

M. R. Arahal, M. Berenguel, E. F. Camacho, F. Pavón 95

la carga. Una vez realizado el entrenamiento la prediccion secalculara mediante la expresion x(t) = ps · o(u(t)), siendo u,el vector de entrada, o el vector formado por las salidas de losnodos ocultos y ps el vector de pesos del nodo de salida. Por suparte, la salida de cada nodo oculto se calcula mediante:

oi(u) = f(pi · u) + p0i (1)

para i ∈ 1, 2, · · · , nn y siendo o0 = 1 un valor fijo para permitira la red acomodar valores de continua.

Es vital tener en cuenta que el numero de parametros ajustablesde la red es np = (nu + 1) ·nn + nn + 1, siendo nu = dim(u)la dimension del vector de entrada y nn el numero de nodosen la capa oculta. Conviene que np sea mucho menor que elnumero de observaciones disponibles para el entrenamientode la red NE = card(E). Por lo tanto existe un lımite alnumero de parametros de otro modo se corre el riesgo de perderla capacidad de generalizacion (Bishop, 2006). Ese lımite seve trasladado al numero de nodos de la capa oculta y a ladimension del vector de entrada.

Sin embargo NE es posiblemente un numero no muy alto de-bido a que los cambios socio-economicos afectan a la secuencia{x(k)}, reduciendo el horizonte de observaciones relevantes.En el caso de la aplicacion al CAT el conjunto H se ha limitadoa un ano y medio pues los datos mas antiguos resultan obsole-tos. De este modo NE resulta valer 365 ·1,5 ·24/2 = 6570. Estehecho conlleva que sea necesaria una seleccion del numero devariables que conforman el vector de entrada u y del numerode nodos en la capa oculta nn. Dicha seleccion constituye elprincipal objetivo del presente trabajo.

Otra consecuencia importante es que el proceso de construccionde modelos ha de repetirse periodicamente para ası actualizarlas predicciones a los citados cambios socio-economicos.

2.2 Caracterısticas de la carga

Se dispone de unos archivos historicos que proporcionan elvalor de la carga durante varios anos, siendo k = 1 la horade la primera anotacion del archivo historico y k = N lahora de la ultima o mas reciente. Por tanto, la secuencia dedatos es {x(k)}, con k = 1, · · · , N . Ha de tenerse en cuentasin embargo que, debido a los cambios socio-economicos,solamente los valores mas recientes de {x(k)} tienen relevanciapara el modelado.

Es importante tomar en consideracion las caracterısticas delproblema a fin de proporcionar la solucion mas adecuada. Enprimer lugar conviene aclarar que el objetivo sera predecir elnumero de llamadas entrantes en el CAT cada hora x(k). Estaprediccion ha de hacerse con cierta antelacion, de forma quese pueda generar la planificacion de personal que mas intereseteniendo en cuenta el dilema calidad/precio. El avance en laprediccion ha de ser de al menos una semana. Esto quiere decirque si el dıa D en que se calcula la prediccion es un lunes en-tonces ha de generarse la prevision para el siguiente lunes D+7,para el martes D + 7 y ası sucesivamente hasta el domingode la siguiente semana D + 13. Para simplificar el problemaes mejor considerar simplemente el maximo horizonte. En estecaso se ha tomado un horizonte de 14 dıas. Por tanto el objetivoes producir x(D + 14 · 24 + h) para h = 1, · · · , 24.

Conviene representar graficamente los valores de la carga x(k)para poner de manifiesto sus caracterısticas, algunas de las

20 40 60 80 100 120 140 160

−1

−0.5

0

0.5

1

1.5

2

2.5

horas

x(t)

Lun Mar Mie Jue Vie Sab Dom

Figura 3. Numero de llamadas entrantes por hora en un CAT(normalizado) durante una semana.

0 20 40 60 80 100 120 140 160 180 200

1

2

3

4

5

6

7

8

9

10x 10

14

horas/ciclo

Ene

rg

Figura 4. Periodograma de x(t) donde se observan las compo-nentes diaria y semanal de la periodicidad.

cuales serviran de guıa durante el proceso de obtencion demodelos. En la Fig. 3 se muestra la carga horaria observada enuna semana. Puede verse la periodicidad de la carga consistenteen ciclos de 24 horas englobados dentro de ciclos de siete dıas.Esta misma periodicidad se observa en el periodograma de laFig. 4. Finalmente, la grafica de la Fig. 5 muestra la cargamedia calculada de forma separada para cada dıa de la semana.El perfil horario de lunes, sabados y domingos se distingueclaramente del perfil del resto de dıas.

La carga de un tipo de dıa particular, los lunes por ejemplo,tiene un perfil caracterıstico, sin embargo conviene observarque ese perfil tiene variaciones de una semana a otra. La mediay la desviacion tıpica de la carga dentro de un mismo tipo dedıa tienen mucha importancia para caracterizar la secuencia dedatos. En la parte inferior de la Fig. 5 se muestra con lıneacontinua la media. Por encima y debajo se ha dibujado conlınea de puntos la media mas y menos la desviacion tıpicarespectivamente. Puede verse que la desviacion tıpica es mayoren las horas centrales del dıa.

Como es habitual el conjunto de datos historicos H ha sidodividido en dos subconjuntos disjuntos de igual numero de ob-servaciones, tal que H = E

⋃P mediante muestreo aleatorio.

Una parte forma el conjunto de entrenamiento E que sera usadopara el entrenamiento de las redes de neuronas y la otra elconjunto de prueba P que sera usado para comparar modeloscon distintos vectores de entrada.

96 Selección de Variables en la Predicción de Llamadas en un Centro de Atención Telefónica

0 5 10 15 20

−1

−0.5

0

0.5

1

1.5

2LunMarMieJueVieSabDom

hora

carg

a m

edia

0 5 10 15 20

−1

−0.5

0

0.5

1

1.5

2

2.5

hora

carg

a ho

raria

med

ia

Figura 5. Parte superior: carga horaria media para cada dıa dela semana. Cada curva se ha obtenido tomando la mediade valores (normalizados) de carga horaria usando datosdel mismo tipo de dıa. Parte inferior: La lınea continuarepresenta la carga horaria media tomada los lunes. Lascurvas superior e inferior corresponden a la media mas ymenos la desviacion tıpica para cada hora.

3. SELECCION DE VARIABLES

Como es sabido, las redes de neuronas artificiales permitenobtener modelos a la medida de los datos disponibles. Los mo-delos contienen parametros que son ajustados para minimizarel error de prediccion. Dichos parametros carecen (en general)de significado en relacion a las variables del problema y sonmeros artefactos necesarios para ajustar la salida proporcionadapor la red. Por este motivo se les suele llamar modelos de cajanegra Ljung (1987). El ajuste de parametros (tambien llamadoentrenamiento de la red) se realiza mediante tecnicas de op-timizacion, la mayorıa de las cuales se basan en el gradien-te local de la superficie de error respecto de los parametrosajustables. Para poder proceder con el entrenamiento es precisohaber definido previamente la estructura neuronal: numero decapas, de nodos y funciones base. Son muchas las estructurasque gozan de la propiedad de ser aproximadores universales,por lo que ese problema tiene menos interes. Otro paso previoantes del entrenamiento es decidir las componentes del vectoru o vector de entrada. A este problema se le llama seleccion devariables y de el se ocupa este trabajo.

La importancia de la seleccion de variables es clara: por unlado si se usan mas variables que las necesarias el modeloresultara demasiado flexible por lo que se ajustara a las particu-laridades de los datos usados para derivarlo para ası disminuirel error en E. Como consecuencia la generalizacion sera pobre.Por otro, si se olvidan variables importantes el modelo no po-dra distinguir algunos casos como diferentes y las predicciones

seran igualmente inadecuadas. La eleccion optima debiera serla que permita disminuir al maximo el error de gerenalizacion,o sea el error durante el uso final del modelo. Sin embargoeste error no es conocido por lo que a lo sumo puede estimarseusando datos historicos.

En el caso de los modelos neuronales la seleccion de variablesse ve complicada con otros factores como son, la selecciondel numero de nodos de la capa oculta y las caracterısticasdel entrenamiento (algoritmo, numero de iteraciones), uso defactores de penalizacion, etc. El metodo propuesto tiene encuenta todos estos factores, pero antes de presentarlo convieneen primer lugar hacer un repaso del estado del arte.

3.1 Estado del arte

La seleccion de variables para ser usadas como entrada en mo-delos dinamicos ha sido objeto de estudio desde hace tiempo.Los primeros trabajos aparecieron con la popularizacion de losmodelos de caja negra al estilo Box-Jenkins. Tras los trabajossobre modelos lineales de Akaike (Akaike, 1974), ha sido laliteratura sobre sistemas caoticos (Sauer et al., 1991) la queha proporcionado metodos que permiten realizar la busquedade la mejor combinacion de variables para formar el vectorde entrada en modelos no lineales. Posteriormente han surgidovariaciones en el campo neuronal, de aprendizaje automaticoy para los sistemas borrosos (Dıez et al., 2004). En todos loscasos los metodos pueden dividirse en dos grupos: los quenecesitan construir el modelo para evaluar la validez del vectorde variables de entrada y los que no requieren tal cosa. En elprimer grupo se tienen las tecnicas basadas en modelos locales(Kuo y Mallick, 1994; Piras y Germond, 1998; Yu et al., 2000),en penalizacion de complejidad con regularizadores (Akaike,1974; Moody, 1992; Murata et al., 1994) mediante la longi-tud descriptora mınima (Rissanen, 1986; Judd y Mees, 1995),riesgo estructural mınimo (Vapnik, 1992) y usando la metricade los datos (Schuurmans, 1997). Las tecnicas mas apropiadaspara aprendizaje automatico se basan en la reutilizacion dedatos (Efron y Tibshirani, 1993), como la validacion cruzadade multiplicidad k (Weiss y Kulikowski, 1991; Kohavi, 1995).Como variantes de este tipo de metodos cabe citar aquellos queevitan la exploracion de todo el espacio de las combinacionesde las variables candidatas, como la inclusion progresiva o elborrado selectivo (Goutte, 1997; Miller, 1990; LeCun et al.,1990; Reed, 1993; Levin y Leen, 1993).

En el segundo grupo de metodos destacan los que se basanen conceptos de topologıa para obtener la dimension donde ladinamica esta inmersa, bien para secuencias autonomas (Saueret al., 1991; Buzug y Pfister, 1992; Kennel et al., 1992) o sis-temas con entradas (Rhodes y Morari, 1998; Cao et al., 1998).La estimacion de funciones de densidad ha sido usada en (Piy Peterson, 1994; Poncet y Moschytz, 1996). Otros conceptoscomo la informacion mutua (Fraser y Swinney, 1986; Bonn-lander, 1996) y el analisis de componentes principales (Back yCichocki, 1999) tambien pertenecen a este grupo.

3.2 Metodo propuesto

El metodo se basa en (Yuan y Fine, 1998) que propone la apli-cacion de un filtro para reducir el numero de variables candi-datas seguido de un procedimiento de busqueda suboptima. Laprimera etapa del algoritmo permite clasificar un gran numerode variables candidatas con una carga de calculo moderada.

M. R. Arahal, M. Berenguel, E. F. Camacho, F. Pavón 97

Las variables mejor clasificadas pasan a la segunda fase en lacual las combinaciones que forman son calificadas de acuerdoa la bondad de los modelos que proporcionan (Kohavi y John,1997).

En la primera criba del metodo se usa un ındice de diferenciacuadratica (IDC) que proporciona un valor que es menor cuantomayor es la relacion de la variable candidata con la variabledependiente. La seleccion se realiza creando previamente con-juntos de variables muy correladas entre sı. De cada grupo seseleccionan las que proporcionan un valor mas bajo del ındice,de este modo se consigue una seleccion formado por las mmejores candidatas de acuerdo al ındice y se eliminan variablesmuy relacionadas entre sı.

El IDC se calcula como la suma de las diferencias cuadraticasentre valores sucesivos de la variable dependiente x(t) cuan-do la variable independiente candidata ha sido ordenada. Paraaclarar esta idea conviene considerar el conjunto de variablescandidatas {zv}

v=Vv=1 . Es importante que todas las variables

hayan sido escaladas de forma que se elimine la media y latendencia de primer orden. Para una variable cualquiera delconjunto, como zv , es posible ordenar las parejas (zv(t), x(t))de forma que la secuencia resultante de parejas (zv(ti), x(ti))cumpla que zv(ti) ≤ zv(ti+1) para todo i = 1, · · · , N . En-tonces se define el IDC como

Iv =1

N − 1

N−1∑i=1

(x(ti) − x(ti+1))2 (2)

Las variables con menores valores de IDC son aquellas quetienen una relacion mas estrecha con la variable dependientex(t). Es facil ver que el IDC es una extension al caso no linealde la idea de correlacion entre variables. De cada grupo devariables se escogen aquellas con menor valor de I. De estemodo se reduce el numero de variables candidatas de V am < V .

Posteriormente serıa posible evaluar las 2m combinacionesde variables preseleccionadas. Esta tarea puede conllevar unacarga de calculo prohibitiva pues para cada combinacion espreciso evaluar los modelos a que da lugar y ello implica laconstruccion de cientos de modelos reutilizando los datos comose vera mas adelante. Por ello se propone usar un algoritmosuboptimo que emplea un criterio de busqueda. Este tipo dealgoritmos se puede presentar en la version aditiva (se vananadiendo variables una a una) o substractiva (se eliminanvariables una a una). En ambos casos se usa un criterio parajuzgar cual variable conviene anadir o eliminar. El criterio sueleser una estimacion del error de generalizacion (Judge et al.,1985).

El problema de esta tecnica se presenta en decidir cuandofinalizar el proceso de anadir o retirar variables. Ha de tenerseen cuenta que la estimacion del error de generalizacion noes perfecta y por tanto puede estar sesgada hacia modelosmas complejos de lo necesario. Una posibilidad para paliareste problema consiste en introducir una variable candidatafalsa creada artificialmente para contener valores aleatorios.Cualquier cambio que produzca unos efectos menores que losque la variable aleatoria produce ha de ser desestimado (Bi etal., 2003).

Finalmente es posible usar metodos de busqueda aleatorizadoscomo por ejemplo los algoritmos geneticos. De este modo se

Tabla 1. Valor del IDC I de las distintas variables en el ejemplo ilustrativoVariable I

z1 0.0135z2 0.0061z3 0.0180z4 0.0205

pueden tener en cuenta muchas combinaciones de variables yexplorar de una forma mas eficiente el espacio de dimension2m. De este modo pudiera parecer que ademas se evita elproblema de finalizar el proceso de adicion o substraccion puestal proceso no esta presente. Esto no es ası pues el metodo debusqueda de soluciones en este caso estara guiado unicamentepor el error estimado de generalizacion, que, como se ha dichoantes, puede conducir a soluciones sesgadas hacia los modelosmas complejos.

En este artıculo se proporcionaran resultados obtenidos conlas tres tecnicas descritas anteriormente, comparando sus re-sultados. Como medida de la bondad de los modelos se vaa usar el error estimado de generalizacion obtenido mediantevalidacion cruzada de multiplicidad 10 (Weiss y Kulikowski,1991; Kohavi, 1995).

3.3 Ejemplo de aplicacion del IDC

A fin de ilustrar el funcionamiento del proceso de seleccionmediante el IDC se presenta aquı un problema simulado. Eneste ejemplo la variable a predecir x ha sido generada mediantela formula

x(t) = 0,1z1(t)2 + 0,5 log z2(t) + ε(t) (3)

siendo z1 y z2 dos variables tomadas de un conjunto de V = 4variables candidatas y siendo ε ruido uniformemente distribui-do. En la figura 6 se muestra la evolucion temporal de lasvariables consideradas obtenidas por simulacion.

Para ilustrar el metodo conviene dibujar las graficas de x(t)frente a cada una de las variables zi con i ∈ 1, 2, 3, 4 comose puede ver en la figura 7. Se verifica que las variables queno influyen en x producen una grafica informe, mientras quelas variables influyentes dejan una marca caracterıstica aunqueno apreciable por medidas lineales como el coeficiente decorrelacion. El IDC se basa en esta propiedad, sumando lasdiferencias cuadraticas que, logicamente, son menores para lasvariables que estan mas relacionadas con x como puede verseen la Tabla 1.

3.4 Variables candidatas

Las variables candidatas se van a agrupar en varios conjuntosde caracterısticas similares. Previamente conviene tomar enconsideracion ciertos aspectos de la secuencia que se trata depredecir. A partir del estudio de los datos registrados se harevelado que:

La carga en dıas laborables y en festivos tiene un perfilmuy distinto.La carga en un dıa cualquiera se parece mas a la carga deldıa anterior del mismo tipo.

Tomando estos hechos en consideracion parece logico selec-cionar las variables de entrada para el modelo de prediccion deforma que para predecir un lunes se usen valores de otros lunes.Si esto se lleva a cabo ocurrira que las variables que forman el

98 Selección de Variables en la Predicción de Llamadas en un Centro de Atención Telefónica

20 40 60 80 100

−0.5

0

0.5

1

1.5

z 1

20 40 60 80 100

1.5

2

2.5

3

3.5

z 2

20 40 60 80 100

−2.5

−2

−1.5

−1

−0.5

0

z 3

20 40 60 80 100

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

1.2

z 4

20 40 60 80 1000.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

x

Figura 6. Trayectorias de las variables usadas en el ejemploilustrativo del IDC.

−0.5 0 0.5 1 1.5

0.1

0.2

0.3

0.4

z1

x

1.5 2 2.5 3 3.5

0.1

0.2

0.3

0.4

z2

x

−2.5 −2 −1.5 −1 −0.5 0

0.1

0.2

0.3

0.4

z3

x

0 0.5 1

0.1

0.2

0.3

0.4

z4

x

Figura 7. Proyecciones de las variables candidatas sobre x.

vector regresor no tienen igual retraso para cada dıa. Esto noplantea problemas practicos pues basta con tomar las variablesdel regresor del dıa pasado mas cercano del mismo tipo. Elesquema se complica un poco por la existencia de festivos enmedio de una semana. Conviene observar que:

Un festivo en medio de la semana tiene una carga similara la de un sabado, por lo que las variables para el regresordebieran tomarse del sabado pasado mas cercano.Los datos de un festivo no deben usarse para predecir dıasno festivos.

Todo esto lleva a que ademas del adelanto en la prediccion des preciso anadir un termino L que no es fijo y que puededescribirse como el numero mınimo de horas que hay que

remontarse en el pasado para encontrar un dıa del mismotipo al que que se quiere predecir. Teniendo en cuenta estasconsideraciones, los grupos de variables candidatas quedan delmodo que se muestra a continuacion. En todos los casos seindica mediante t la hora correspondiente a la carga que sedesea predecir.

1. Valores pasados. Una carga pasada se denota como x(t −L), siendo L el retraso considerado que ha de cumplir L ≥24 · 7.

2. Errores pasados. Se calculan a partir de una prediccionrealizada para un dıa pasado usando un retraso L ≥ 24 · 7.De este modo se obtiene e(t − L) = x(t − L) − x(t − L).

3. Valores de dıas similares. Es un caso especial del grupo1 en el que la carga corresponde a la misma hora de undıa pasado similar al dıa de la prediccion. A este efecto losdıas se dividen en tres grupos: domingos, sabados y festivosentre semana y laborables. En este caso el retraso L a aplicardepende del tipo de dıa. Para el grupo 1 (domingos) se tieneque L = 7 · 24, para el grupo 2 (sabados y festivos en mediode la semana) se debe usar el menor valor de L que regresa aotro sabado o festivo en medio de semana, etc.

Cabe considerar mas de un valor pasado correspondientea dıa similar, de este modo y en un caso general, para indicarla carga pasada j-esima se usara la notacion xsj(t) = x(t −L(t, j)). Se ha indicado mediante L(t, j) el retraso en horas,que depende del tipo de dıa y del orden j.

4. Errores pasados en dıas similares. Se definen de formasimilar a la carga en dıas similares pero usando el error deprediccion, de este modo se puede escribir que esj(t) =x(t − L(t, j)) − x(t − L(t, j)).

5. Media de cargas pasadas. Estas variables consideran me-dias empıricas calculadas usando 2q + 1 valores pasadoscentrados en t − τ , de forma que se pueden calcular comoaq,τ (t) =

∑k=q

k=−q x(t − τ + k)/(2q + 1).6. Indicadores temporales. Se trata de variables de evolucion

cıclica que contienen informacion acerca del momento dela prediccion t, tales como el dıa de la semana d(t) ∈{1, · · · , 7}, la hora del dıa h(t) ∈ {1, · · · , 24}, el grupo alque pertenece el dıa w(t) ∈ {1, 2, 3}. Ademas se incluyenvalores que dependen de forma senoidal de la hora y eldıa para, de este modo, producir una forma de onda quese ajusta a la periodicidad observada en los datos. Entreotras variables cabe considerar ch(t) = sin(2π

24(h(t) − 6)),

cd(t) = sin(2π7

d(t)) y chd(t) = ch(t) · cd(t).7. Valores extremos. Los maximos y mınimos observados re-

cientemente o en dıas similares tambien pueden tener im-portancia para la prediccion. Para ello se definen nuevasvariables xs(t − L) = maxk x(t − L − k) y xi(t − L) =mınk x(t − L − k) para 0 ≤ k ≤ 24.

Estos tipos de variables estan parametrizados en funcion deuno o mas valores como L, j, τ , q, etc. Al proporcionarvalores adecuados a dichos parametros es posible obtener ncentenar de variables diferentes. La busqueda por fuerza brutade la mejor combinacion de variables conlleva el analisis de2100 combinaciones, lo cual implica una carga de calculo muyelevada. El metodo de seleccion permite reducir dicho numerocomo se expone a continuacion.

3.5 Implementacion del algoritmo

La figura 8 muestra los pasos seguidos en la implementaciony pruebas del algoritmo. Las elipses representan conjuntos de

M. R. Arahal, M. Berenguel, E. F. Camacho, F. Pavón 99

V variablescandidatas

IDCm variables

pre-seleccionadas

InclusiónProgresiva

EliminaciónProgresiva

AlgoritmoGenético

Combinación de

variables

Prueba

medidas de bondad J

Figura 8. Proceso de seleccion en dos fases.

z1

z2

z3

z4

z5

z6

z3

z1

z3

z2

z3

z3

z3

z4

z3

z5

z3

z6

z3

z5

z1

z3

z5

z2

z3

z5

z3

z3

z5

z4

z3

z5

z5

z3

z5

z6

z3

z5

z2

Figura 9. Ejemplo ilustrativo del proceso de inclusion progresi-va seleccionando tres variables de un conjunto de seis.

variables, los rectangulos representan procesos. En primer lugarse realiza la pre-seleccion mediante el IDC como se indica enla parte superior del diagrama. Como resultado se obtienenm < V variables pre-seleccionadas. Estas variables son lasunicas consideradas en la segunda parte del metodo.

La segunda parte se muestra en la zona inferior de la figura8. Las variables pre-seleccionadas son combinadas de acuerdocon alguno de los tres procedimientos considerados: inclusionprogresiva, eliminacion progresiva y algoritmos geneticos. Encada caso el resultado es una combinacion de variables selec-cionadas. Dicha combinacion es puesta a prueba usando datosnuevos y como resultado se obtiene un ındice de bondad J .La forma de proceder en el metodo de inclusion progresiva sepone de manifiesto en la figura 9 en un ejemplo en el que seseleccionan tres variables de un conjunto de seis, como puedeverse las variables son anadidas una a una y no se explora todoel arbol de posibilidades (Berenguel et al., 1998). La elimi-nacion progresiva seguirıa el proceso inverso partiendo de seisvariables hasta dejar solamente tres. Finalmente el metodo dealgoritmos geneticos considera cada posible combinacion comoindividuo de una poblacion que evoluciona, seleccionando lacombinacion mas adecuada.

El ındice de bondad J se calcula como el error cuadratico mediorelativo a la carga media durante los dıas del mismo tipo queel predicho. Esta carga media m(t) depende del tipo de dıa

w(t) ∈ {1, 2, 3} y se calcula con los datos historicos. De estemodo para un conjunto P conteniendo p valores a predecir elındice de bondad se calcula como:

JP =

√√√√1

p

p∑t=1

(100e(t)

m(t)

)2

(4)

Dada una combinacion de variables de entrada C, el valor de Jque le corresponde depende de varios factores:

El conjunto de datos P usados para evaluar el ındice.El tamano de la red de neuronas que realiza el modelo.Las caracterısticas del entrenamiento.La utilidad de las variables de entrada.

Resulta evidente que interesa potenciar el ultimo factor y dis-minuir la influencia de los tres primeros. En este caso el con-junto P consiste en datos procedentes del archivo historico quese han dejado aparte para este fin y que, por tanto, no han sidousados en el entrenamiento. Puesto que los datos son necesa-riamente escasos debido a la influencia de los cambios socio-economicos, resulta que P no puede ser tan amplio como unodesee y por tanto hay que recurrir a metodos de reutilizacion dedatos como la validacion cruzada de multiplicidad k. En estaaplicacion se ha usado un conjunto P que contiene el 50 % detodos los datos historicos y se ha empleado k = 10.

El tamano y el entrenamiento de la red son tenidos en cuentarepitiendo la creacion y prueba de modelos con distintas con-figuraciones y escogiendo los que producen mejor resultado.Tengase en cuenta que este mejor resultado es JE siendo elconjunto E = H \ P la parte de datos historicos H que seutiliza para entrenamiento de redes.

Con todo ello, dada una combinacion C, el valor de JP es unavariable aleatoria pues depende de factores aleatorios como elremuestreo usado, los valores iniciales de pesos de las redes,etc. Por ello conviene indicar la media μJ y la desviacion tıpicaσJ calculadas de forma empırica.

4. RESULTADOS

En este apartado se muestran los resultados del algoritmopropuesto y sus variantes al aplicarlos al conjunto de datoshistoricos. De este modo se seleccionaran las combinacionesde variables de entrada que resulten mas prometedoras. Pos-teriormente se compararan los resultados obtenidos por estascombinaciones y otras adicionales usando nuevos datos no vis-tos hasta ahora.

4.1 Primer paso de seleccion

El IDC se ha calculado usando los datos en el conjunto E =H \ P para cinco de los siete grupos de variables considerados.Las variables de los grupos 2 y 4 no puede ser catalogadasmediante el IDC pues son errores pasados que dependen delmodelo particular. En la Tabla 2 se consigna el valor del ındicepara las mejores variables ordenadas por grupos.

De este modo resultan m = 19 variables pre-seleccionadas paratener en cuenta en la fase siguiente. La reduccion es importantepues si no se plantean restricciones es posible considerar unnumero V de variables cercano al centenar.

100 Selección de Variables en la Predicción de Llamadas en un Centro de Atención Telefónica

Tabla 2. Variables independientes con menor valor del IDC I para cadagrupo excepto el 2 y el 4

Grupo Variable I

1 x(t − 336) 0.16261 x(t − 672) 0.16641 x(t − 504) 0.17183 xs2(t) 0.08733 xs1(t) 0.11323 xs3(t) 0.12535 a 2,504(t) 0.23165 a 6,504(t) 0.50345 a 2,338(t) 0.74445 a10,504(t) 0.98465 a10,346(t) 1.37785 a 6,342(t) 1.91006 d(t) 0.13736 h(t) 0.33326 ch(t) 0.37426 cd(t) 0.13736 chd(t) 0.16077 xs(t − 336) 2.56217 xi(t − 336) 2.8954

4.2 Segundo paso de seleccion

Para realizar la comparacion entre modelos se va a usar unındice de bondad JP que se ha definido con anterioridad. Lasm = 19 variables que aparecen en la Tabla 2 son candidataspara la segunda fase del algoritmo de seleccion. Es precisoanadir las variables basadas en errores pasados que no puedenser usadas en la primera fase pues dependen del modelo. Afin de realizar una estructura NARMAX conviene incluir unvalor de error pasado por cada variable del grupo 1 (Chen etal., 1990). De este modo se anaden las variables e(t − 336),e(t − 672), e(t − 504), es1(t), es2(t) y es3(t) por lo que sealcanza un total de m = 25 variables candidatas.

En la segunda fase del algoritmo se usan los metodos de in-clusion progresiva, eliminacion progresiva y algoritmos geneticos.Los valores obtenidos para la medida de la bondad de los mo-delos se muestran en la Tabla 3. Los resultados obtenidos porlos distintos metodos son muy similares y no es factible con-cluir que un metodo sea superior a los otros. Como conclusionparece que los modelos con vectores de entrada de dimension5 a 7 producen los mejores resultados. En otras palabras, elerror esperado en la prediccion con nuevos datos es menor paramodelos con que usan entre 5 y 7 variables independientes. Estaconclusion sera puesta a prueba a continuacion.

4.3 Prueba con nuevos datos

Es el momento de probar los modelos con las combinaciones deentradas seleccionadas por el algoritmo. La medida de bondades nuevamente el error cuadratico relativo a la carga mediadefinido en la ecuacion (4), pero usando un nuevo conjuntode datos N que es posterior a H y que no ha sido usado conanterioridad.

Los valores consignados en la Tabla 4 corresponden a la bondadmedida sobre el conjunto de prueba N . La primera observacionque debe hacerse es que los errores son mayores que lasestimaciones hechas a partir del conjunto de prueba P . Estasituacion es normal y se alivia en cierta medida realizandonuevas selecciones de modelos con periodicidad, por ejemplocada mes. Se ha optado sin embargo por mostrar los resultadosde este modo pues ası se pone de manifiesto fenomenos que, enmayor o menor grado ocurriran siempre.

Tabla 3. Bondad de los modelos para distintos vectores de entradaInclusion progresiva

Vector de entrada μJ σJ

xs1 17.4 2.78xs1, es1 15.7 3.12xs1, es1, xs2 15.4 3.28xs1, es1, xs2, xs3 15.1 3.32xs1, es1, xs2, xs3, a 6,342 15.0 3.42xs1, es1, xs2, xs3, a 6,342 , chd 14.9 3.46xs1, es1, xs2, xs3, a 6,342 , chd, es2 14.7 3.46

Eliminacion progresiva

Vector de entrada μJ σJ

todas las variables 14.2 3.72xs1, xs2, xs3, es1, es2, a 2,338 , a 6,342 , chd 14.6 3.50xs1, xs2, xs3, es1, es2, a 2,338 , chd 14.6 3.48xs1, xs2, es1, es2, a 2,338 , chd 14.7 3.47xs1, xs2, es1, a 2,338 , chd 14.8 3.45xs1, xs2, es1, a 2,338 15.0 3.36

Algoritmos geneticos

Vector de entrada μJ σJ

xs1, xs2, xs3, es1, es2 a 2,338, chd 14.6 3.47xs1, xs2, es1, es2, a 2,504 , cd 14.4 3.48xs1, xs2, es1, es2, a 2,338 , chd 14.7 3.47xs1, xs2, xs3, es1, a 6,342 15.0 3.42xs1, xs2, es1, a 2,338 15.0 3.36

Otra conclusion es que el algoritmo de seleccion de variablesesta sesgado hacia modelos de complejidad mayor de lo ne-cesario. Esto se pone de manifiesto por el hecho de que losmejores modelos en la prueba con nuevos datos contienen 4variables mientras que el algoritmo recomendaba usar entre 5y 7 variables de entrada. Este resultado tampoco es inesper-ado y es tıpico de algoritmos de seleccion donde se hace unuso repetido de datos. Conviene sin embargo indicar que losresultados obtenidos son los mejores posibles dada la escasezde datos.

Finalmente, la ultima lınea de la Tabla 4 corresponde a unmodelo que utiliza la media de las predicciones de los otrosmodelos de la tabla. Como puede verse este modelo mixtoproduce resultados bastante buenos. Esta tecnica de promediarmodelos ha sido propuesta en varias aplicaciones produciendoresultados mejores que los modelos individuales.

Tengase en cuenta que la informacion de la Tabla 4 no puedeusarse para seleccionar modelos pues para construir la tabla senecesitan datos posteriores al instante en el que los modelosse construyen. Serıa ingenuo por tanto concluir que el modelocon entradas (xs1, xs2, es1, a 2,338) es el que debe usarse.Lo que interesa son reglas generales para realizar la seleccionde variables que tengan validez general. De los experimentosmostrados pueden extraerse varias indicaciones que sirven a esefin.

El algoritmo de seleccion frecuentemente proporcionara mo-delos con mas variables de las necesarias.El error durante el uso del modelo frecuentemente sera may-or que el estimado durante las pruebas.El modelo usado para prediccion ha de revisarse periodica-mente para ası tomar en consideracion los nuevos datosque se van observando y ademas desechar los mas antigu-os.

M. R. Arahal, M. Berenguel, E. F. Camacho, F. Pavón 101

Tabla 4. Comparacion de varios modelos con nuevos datosVector de entrada μJ σJ

xs1, xs2, es1, a 2,338 15.4 3.12xs1, es1, xs2, xs3, a 6,342 15.4 3.13xs1, xs2, es1, es2, a 2,338 , chd 16.1 3.21xs1, xs2, xs3, es1, es2, a 2,338, chd 16.7 3.27- 15.4 3.17

Tabla 5. Comparacion de varios tipos de modelos con los nuevos datosModelo Tipo No μJ σJ valor-p

Variables vs. M1

M1 RN 4 14.9 2.86 -M2 L 6 18.5 3.05 0.0061M3 L 14 19.2 3.10 0.0019M4 RN 6 17.6 3.15 0.0052M5 RN 14 17.9 3.23 0.0049

En lugar de confiar en un unico modelo resulta conve-niente tener un conjunto de modelos y promediar suspredicciones.

4.4 Comparacion con otros modelos

Las redes de neuronas, los conjuntos borrosos, y en generallos aproximadores basados en series truncadas de ciertas bases,poseen la propiedad de ser aproximadores universales. Conesta premisa se justifica el uso de un modelo neuronal. Lajustificacion se basa en que si existe otro modelo mejor esteserıa aproximable por una red de neuronas. A pesar de todoello conviene comparar los resultados obtenidos con los que seconsiguen usando otras tecnicas, en particular la comparacioncon metodos mas clasicos es obligada.

En la Tabla 5 se indica en cada columna un modelo de loscomunmente propuestos para prediccion. La primera fila co-rresponde a M1 que una red de neuronas con vector de entradacompuesto por las variables xs1, es1, xs2, xs3, a 6,342. Estemodelo es uno de los que produce mejores resultados en lafase de seleccion de variables. Contra este modelo se van acomparar otros mas clasicos. Tengase en cuenta que el modeloseleccionado para la comparacion no es siquiera el que mejoresresultados produce como ya se ha indicado en el punto anterior.En particular, usando un promedio de modelos se obtendrıamenor error. Se ha preferido mostrar este caso pues constituyeun caso tıpico de los resultados que se pueden obtener con unaseleccion adecuada de variables de entrada.

Siguiendo con la Tabla 5, la segunda fila corresponde a unmodelo (M2) que pertenece a la familia ARIMA y que se haajustado para minimizar el error de prediccion a dos semanasvista (Ljung, 1987). El modelo usa tres valores autoregresivosy tres terminos de media movil. De forma similar, el modeloM3 pertenece a la familia ARIMA pero ha sido determinadominimizando la prediccion a un paso. El modelo es luego usadode forma iterada para producir la prediccion a dos semanas. Eneste caso se usan 10 valores autoregresivos no consecutivos ycuatro de media movil. Los retrasos para las variables han sidoseleccionadas mediante algoritmos geneticos usando el criteriode Akaike como medida de ajuste.

Los dos ultimos modelos de la tabla M4 y M5 consisten enredes de neuronas cuyas entradas coinciden con las de M2 y M3

respectivamente. El tamano de las redes ha sido seleccionadousando validacion cruzada de multiplicidad 10.

Las columnas 4 y 5 de la Tabla 5 indican la media y ladesviacion tıpica empıricas para cada modelo. En la columna 6se ha indicado el valor p de un contraste de hipotesis. Este valor

representa la probabilidad de obtener los valores observadosde μJ siendo verdadera la hipotesis nula. En cada fila se hatomado como hipotesis nula que el modelo en cuestion es mejorque M1. Puede verse en la tabla que estas probabilidades sonsiempre menores al 1 %.

Conviene indicar que los errores de prediccion correspondien-tes a festivos entre semana han sido retirados. De este modose realiza una comparacion mas justa con los modelos linealesque disponen de poca capacidad para representar estas excep-ciones. Los resultados de la Tabla 5 muestran que los modelosneuronales (marcados con RN) producen mejores resultadosque los lineales (L). Otra conclusion es que la seleccion devariables de entrada produce mejores resultados que las otraspracticas usadas frecuentemente. En particular los modelos M4

y M5 producen peores resultados que M1 a pesar de que esteultimo cuenta con menor numero de variables independientes.La razon es que M1 es menos vulnerable al sobreentrenamientoy por ello proporciona una mejor generalizacion.

5. CONCLUSIONES

El artıculo ha mostrado que las redes de neuronas pueden serusadas para la prediccion de la carga horaria en centros deatencion telefonica. Los beneficios derivados de una correctaprediccion se traducen en mejor servicio a menor coste. Resultaobvio que una pequeno porcentaje de mejora constituye un granahorro en una empresa con muchos empleados.

Se ha puesto de manifiesto que el problema de la seleccionde variables independientes es de vital importancia debido ala escasez de datos. Dicha escasez es inherente en la predic-cion de variables como la carga de llamadas que dependenestrechamente de cambios socio-economicos. El metodo deseleccion usado permite tratar un gran numero de variablescandidatas en la primera fase, mientras que en la segunda faseemplea un metodo que clasifica las variables de acuerdo alresultado proporcionado por el modelo. En este contexto sehan comparado diversas tecnicas de seleccion de variables ob-servandose que ninguna de ellas es estrictamente mejor que lasdemas.

Finalmente, la comparacion con nuevos datos ha puesto demanifiesto que la seleccion de variables permite obtenermejores resultados. Se ha revelado la complejidad del proble-ma producida por la necesidad de hallar un equilibrio entreflexibilidad y generalizacion. Ademas se han extraido conclu-siones que pueden aplicarse con caracter general: contrarrestarla tendencia a la sobreparametrizacion, la revision periodica demodelos y el uso de agrupaciones o promedios de modelos.

AGRADECIMIENTOS

Este trabajo ha sido financiado parcialmente por la comision dela Comunidad Europea a traves del proyecto de investigacionHYCON FP6-511368.

REFERENCIAS

Akaike, H. (1974). A new look at the statistical model identi-fication. IEEE Trans. on Automatic Control AC-19(5), 716–723.

Andrews, B. y S.M. Cunningham (1995). L.L. Bean improvescall-center forecasting. Interfaces 25, 1–13.

102 Selección de Variables en la Predicción de Llamadas en un Centro de Atención Telefónica

Antipov, A. y N. Meade (2002). Forecasting call frequencyat a financial services call centre. Journal of OperationalResearch Society 53(9), 953–960.

Avramidis, A.N., A. Deslauriers y P. L’Ecuyer (2004). Mod-eling daily arrivals to a telephone call center. ManagementScience 50(7), 896–908.

Back, A.D. y A. Cichocki (1999). Input variable selection usingindependent component analysis y higher order statistics. In:First International Conference on Independent ComponentAnalysis y Signal Separation. France. pp. 203–208.

Berenguel, M., M.R. Arahal y E.F. Camacho (1998). Modellingthe free response of a solar plant for predictive control.Control Engineering Practice 6, 1257–1266.

Bi, Jinbo, Kristin Bennett, Mark Embrechts, Curt Breneman yMinghu Song (2003). Dimensionality reduction via sparsesupport vector machines. Journal of Machine Learning Re-search 3, 1229–1243.

Bishop, C.M. (2006). Pattern Recognition y Machine Learning.Springer. New York.

Bonnlander, B. (1996). Nonparametric selection of input varia-bles for connectionist learning.

Buzug, T. y G. Pfister (1992). Optimal delay time y embeddingdimension for delay-time coordinates by analysis of theglobal static y local dynamical behavior of strange attractors.Phys. Rev. A 45, 7073–7084.

Cao, L., A.I. Mees, K. Judd y G. Froyland (1998). Determiningthe minimum embedding dimensions of input-output time se-ries data. Internat. J. Bifur. Chaos Appl. Sci. Engrg. 8, 1491–1504.

Chen, S., S.A. Billings, C.F.N. Cowan y P.M. Grant (1990).Practical identification of narmax models using radial basisfunctions. Int. J. Control 52, 1327–1350.

Dıez, J. L., J. L. Navarro y A. Sala (2004). Algoritmos deagrupamiento en la identificacion de modelos borrosos. Re-vista Iberoamericana de Automatica e Informatica Industrial1(2), 32–41.

Efron, B. y R.J. Tibshirani (1993). An Introduction to theBootstrap. Chapman y Hall. London.

Fraser, A.M. y H.L. Swinney (1986). Independent coordinatesfor strange attractors from mutual information. Phys. Rev. A33, 1134–1140.

Gans, N., G. Koole y A. Mandelbaum (2003). Telephone callcenters: Tutorial, review y research prospects. Manufactur-ing y Service Operations Management 5(2), 79–141.

Goutte, C. (1997). Lag space estimation in time series mod-elling.

Jongbloed, G. y G.M. Koole (2001). Managing uncertaintyin call centers using poisson mixtures. Applied StochasticModels in Business y Industry 17, 307–318.

Judd, K. y A. I. Mees (1995). On selecting models for nonlineartime series. Physica D 82, 426–444.

Judge, G.G., W.E. Griffths, R.C. Hill, H. Lutkepohl y T.C. Lee(1985). The theory y practice of econometrics. Wiley. NewYork.

Kennel, M.B., R. Brown y H.D.I. Abarbanel (1992). Deter-mining embedding dimension for phase-space reconstructionusing a geometrical construction. Phys. Rev. A 45, 3403–3411.

Kohavi, R. y G.H. John (1997). Wrappers for feature subsetselection. Artificial Intelligence 97(1-2), 273–324.

Kohavi, Ron (1995). A study of cross-validation y bootstrapfor accuracy estimation y model selection. In: InternationalJoint Conference on Artificial Intelligence. pp. 1137–1145.

Koole, G. y A. Mandelbaum (2002). Queueing models ofcall centers an introduction. Annals of Operations Research113, 41–59.

Kuo, L. y B. Mallick (1994). Variable selection for regressionmodels. Technical Report 94-26. Department of Statistics,University of Connecticut, EE.UU.

LeCun, Y., J. Denker, S. Solla, R. E. Howard y L. D. Jackel(1990). Optimal brain damage. In: Advances in Neural Infor-mation Processing Systems II (D. S. Touretzky, Ed.). MorganKauffman. San Mateo, CA. pp. 740–747.

Levin, A.U. y T.K. Leen (1993). Using pca to improve gen-eralization in supervised learning. In: NATO Workshop onStatistics y Neural Networks. pp. 740–747.

Ljung, L. (1987). System Identification – Theory for the user.Prentice Hall. Englewood Cliffs, NJ.

Miller, A.J. (1990). Subset Selection in Regression. Chapman yHall. London.

Moody, J. (1992). The effective number of parameters: Ananalysis of generalization y regularization in nonlinear learn-ing systems. In: Advances in Neural Information ProcessingSystems (D. S. Touretzky, Ed.). Vol. 4. Morgan Kaufmann,San Mateo. pp. 29–39.

Murata, N., S. Yoshizawa y S.-I. Amari (1994). Network in-formation criterion. determining the number of hidden unitsfor an artificial neural network model. IEEE Transactions onNeural Networks 5(6), 865–872.

Pi, H. y C. Peterson (1994). Finding the embedding dimensiony variable dependences in time series. Neural Computation6, 509–520.

Pinedo, M., S. Seshadri y J.G. Shanthikumar (1999). Call cen-ters in financial services: strategies, technologies, y opera-tions. In: Creating Value in Financial Services: Strategies,Operations y Technologies (E.L.Melnick, P.Nayyar, M.L.Pinedo y S. Seshadri, Eds.). Chap. 18, pp. 357–388. Kluwer.

Piras, A. y A. Germond (1998). Local linear correlation analy-sis with the som. Neurocomputing 21(1-3), 79–90.

Poncet, A. y G.S. Moschytz (1996). Selecting inputs y mea-suring nonlinearity in system identification. In: Neural Net-works for Identification, Control, Robotics, y Signal/ImageProcessing. IEEE Computer Society. pp. 2–10.

Reed, R. (1993). Pruning algorithms–a survey. IEEE Transac-tions on Neural Networks 4, 740–747.

Rhodes, C. y M. Morari (1998). Determining the model order ofnonlinear input/output systems. AIChE Journal 44, 151–163.

Rissanen, J. (1986). Stochastic complexity y modeling. Annalsof Statistics 14, 1080–1100.

Sauer, T., J. A. Yorke y M. Casdagli (1991). Embedology. J.Statis. Phys. 65, 579–616.

Schuurmans, D. (1997). A new metric-based approach to modelselection. In: Proceedings of the Fourteenth National Confer-ence on Artificial Intelligence. pp. 552–558.

Shen, H. y J.Z. Huang (2008). Interday forecasting y intradayupdating of call center arrivals. Manufacturing y ServiceOperations Management 10, 391–410.

Sze, D.Y. (1984). A queuing model for telephone operatorstaffing. Operations Research 32, 229–249.

Valverde, R. y D. Gachet (2007). Identificacion de sis-temas dinamicos utilizando redes neuronales rbf. RevistaIberoamericana de Automatica e Informatica Industrial4(2), 32–42.

Vapnik, V. (1992). Principles of risk minimization for learningtheory. In: Advances in Neural Information Processing Sys-tems (D. S. Touretzky, Ed.). Vol. 4. Morgan Kaufmann, San

M. R. Arahal, M. Berenguel, E. F. Camacho, F. Pavón 103

Mateo. pp. 831–839.Weiss, S.M. y C.A. Kulikowski (1991). Computer Systems That

Learn. Morgan Kaufmann.Werbos, Paul J. (1988). Generalization of backpropagation

with application to a recurrent gas market model.. NeuralNetworks 1(4), 339–356.

Yu, D., J.B. Gomm y D. Williams (2000). Neural model inputselection for a mimo chemical process. Engineering Appli-cations of Artificial Intelligence 13, 15–23.

Yuan, J.-L. y T.L. Fine (1998). Neural-network design for smalltraining sets of high dimension. IEEE Transactions on neuralnetworks 9, 266–280.

104 Selección de Variables en la Predicción de Llamadas en un Centro de Atención Telefónica