Representación y Aprendizaje de Procesos de Decisión de Markov Cualitativas

Hdl Handle:
http://hdl.handle.net/11285/572622
Title:
Representación y Aprendizaje de Procesos de Decisión de Markov Cualitativas
Authors:
Reyes Ballesteros, Alberto
Issue Date:
01/11/2006
Abstract:
La planificación automática en problemas del mundo real se ha convertido en una disciplina de interás para la comunidad científica ya que permite establecer computacionalmente rumbos de acción en casos que, por la complejidad del problema, un humano no puede abordar adecuadamente. En particular, la planificación con incertidumbre permite generar estrategias de control en ambientes inciertos con metas multivaluadas, ponderando el costo de generación de un plan contra la ganancia de utilidad en el tiempo por ejecución del mismo (planes �utiles). Gracias a los recientes adelantos tácnológicos en procesamiento de información y al perfeccionamiento de algoritmos en materia de teoría de decisiones y razonamiento con incertidumbre, han resurgido las tácnicas basadas en los Procesos de Decisión de Markov (MDPs por sus siglas en inglás) como marco estándar para la planificación con incertidumbre. Una limitación de los MDPs es que ante problemas altamente dimensionales, con grandes espacios de acciones, y la existencia de variables continuas, se producen espacios de solución no manejables con algoritmos estándar. En este trabajo se propone una tácnica de representación de MDPs abstractos para simplificar espacios de estados muy grandes, que puede resolverse con mátodos estándar de programación dinámica. Dado que esta tácnica esta basada en restricciones cualitativas impuestas por características (ó factores) propias del mismo problema de decisión, la hemos llamado MDPs cualitativos. Aun cuando el mátodo de representación resulta novedoso y fácil de implementar, la especificación manual del modelo de decisión abstracto y sus parámetros puede volverse impráctica. En este trabajo, tal modelo se aproxima usando algoritmos de aprendizaje autómatico donde, a partir de un conjunto de datos de muestreo, se aprende una abstracción inicial del espacio de estados, y un modelo de transición sobre esta abstracción. La solución de este MDP abstracto inicial es una política de acción que en general es satisfactoria, sin embargo, para los casos donde ásta resulte insuficiente, se puede aplicar una segunda fase donde la solución es detallada o refinada. La calidad del mátodo se demuestra empíricamente usando problemas simples de planificación de movimiento en robótica, y un problema de control de procesos industriales con diferentes dimensiones y de los espacios de estados y de acciones. Los resultados muestran buenas soluciones con ahorros en el tama�no del espacio de estados, y reducciones en el tiempo de aprendizaje e inferencia al compararse con discretizaciones uniformes finas.
Keywords:
Procesos de Decisión; Pomdp; Algoritmos
Degree Program:
Programa de Graduados en Informática y Computación
Advisors:
Dr. Luis Enrique Sucas Succar
Committee Member / Sinodal:
Dr. Eduardo Morales; Dr. Pablo Ibarg�engoytia González
Degree Level:
Doctor en ciencias computacionales
School:
Escuela de Graduados en Ciencias Computacionales
Campus Program:
Campus Cuernavaca
Discipline:
Ingeniería y Ciencias Aplicadas / Engineering & Applied Sciences
Appears in Collections:
Ciencias Exactas

Full metadata record

DC FieldValue Language
dc.contributor.advisorDr. Luis Enrique Sucas Succares
dc.contributor.authorReyes Ballesteros, Albertoes
dc.date.accessioned2015-08-17T11:36:46Zen
dc.date.available2015-08-17T11:36:46Zen
dc.date.issued01/11/2006-
dc.identifier.urihttp://hdl.handle.net/11285/572622en
dc.description.abstractLa planificación automática en problemas del mundo real se ha convertido en una disciplina de interás para la comunidad científica ya que permite establecer computacionalmente rumbos de acción en casos que, por la complejidad del problema, un humano no puede abordar adecuadamente. En particular, la planificación con incertidumbre permite generar estrategias de control en ambientes inciertos con metas multivaluadas, ponderando el costo de generación de un plan contra la ganancia de utilidad en el tiempo por ejecución del mismo (planes �utiles). Gracias a los recientes adelantos tácnológicos en procesamiento de información y al perfeccionamiento de algoritmos en materia de teoría de decisiones y razonamiento con incertidumbre, han resurgido las tácnicas basadas en los Procesos de Decisión de Markov (MDPs por sus siglas en inglás) como marco estándar para la planificación con incertidumbre. Una limitación de los MDPs es que ante problemas altamente dimensionales, con grandes espacios de acciones, y la existencia de variables continuas, se producen espacios de solución no manejables con algoritmos estándar. En este trabajo se propone una tácnica de representación de MDPs abstractos para simplificar espacios de estados muy grandes, que puede resolverse con mátodos estándar de programación dinámica. Dado que esta tácnica esta basada en restricciones cualitativas impuestas por características (ó factores) propias del mismo problema de decisión, la hemos llamado MDPs cualitativos. Aun cuando el mátodo de representación resulta novedoso y fácil de implementar, la especificación manual del modelo de decisión abstracto y sus parámetros puede volverse impráctica. En este trabajo, tal modelo se aproxima usando algoritmos de aprendizaje autómatico donde, a partir de un conjunto de datos de muestreo, se aprende una abstracción inicial del espacio de estados, y un modelo de transición sobre esta abstracción. La solución de este MDP abstracto inicial es una política de acción que en general es satisfactoria, sin embargo, para los casos donde ásta resulte insuficiente, se puede aplicar una segunda fase donde la solución es detallada o refinada. La calidad del mátodo se demuestra empíricamente usando problemas simples de planificación de movimiento en robótica, y un problema de control de procesos industriales con diferentes dimensiones y de los espacios de estados y de acciones. Los resultados muestran buenas soluciones con ahorros en el tama�no del espacio de estados, y reducciones en el tiempo de aprendizaje e inferencia al compararse con discretizaciones uniformes finas.es
dc.language.isoesen
dc.rightsOpen Accessen
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/*
dc.titleRepresentación y Aprendizaje de Procesos de Decisión de Markov Cualitativases
dc.typeTesis de Doctoradoes
thesis.degree.grantorInstituto Tecnológico y de Estudios Superiores de Monterreyes
thesis.degree.levelDoctor en ciencias computacionaleses
dc.contributor.committeememberDr. Eduardo Moraleses
dc.contributor.committeememberDr. Pablo Ibarg�engoytia Gonzálezes
thesis.degree.disciplineEscuela de Graduados en Ciencias Computacionaleses
thesis.degree.namePrograma de Graduados en Informática y Computaciónes
dc.subject.keywordProcesos de Decisiónes
dc.subject.keywordPomdpes
dc.subject.keywordAlgoritmoses
thesis.degree.programCampus Cuernavacaes
dc.subject.disciplineIngeniería y Ciencias Aplicadas / Engineering & Applied Scienceses
All Items in REPOSITORIO DEL TECNOLOGICO DE MONTERREY are protected by copyright, with all rights reserved, unless otherwise indicated.