Evaluación de prácticas de minería de textos
El sistema Parménides fue diseñado para servir de soporte a todo el proceso de minería de textos, desde la recopilación de documentos, pasando por la extracción de información y la anotación semántica hasta la aplicación de técnicas de minería de datos. Al tener una base ontológica, incluye un sistema de gestión de ontologías y herramientas de extracción de nuevos conceptos y relaciones, además de contar con funciones para el almacenamiento de documentos y datos. Aunque el sistema Parménides puede soportar todo el proceso de minería de textos, los usuarios también pueden emplear solo un subconjunto de las funciones disponibles, dependiendo de la tarea que deseen llevar a cabo. Durante la vigencia del proyecto PARMENIDES y en paralelo con el desarrollo del propio sistema, se desarrolló un marco de evaluación en colaboración con los usuarios. El objetivo primordial de este ejercicio emprendido por los socios del proyecto PARMENIDES era doble. Primero, intentaron llevar a cabo una evaluación completa centrada en el usuario de la arquitectura del sistema y evaluar cómo de bien respondía a las necesidades de los usuarios. Segundo, el marco general diseñado para el sistema Parménides estaba pensadso para poder ser reutilizado para evaluar sistemas similares. En particular, se empleó la herramienta de orden relativo (ROTE) para elaborar un modelo de calidad parametrizado para la evaluación. Fue diseñado en la Universidad de Ginebra para ayudar a los usuarios a especificar la importancia relativa de diversas características de calidad y métricas asociadas. La herramienta permite a los usuarios ordenar varias características de la calidad comparándolas por pares. Por ejemplo, un usuario puede considerar obligatorio tanto un sistema de gestión de ontologías como la función para construir y mantener ontologías. Sin embargo, el rendimiento de herramientas específicas para adquirir conceptos nuevos puede caracterizarse como menos importante que la calidad del sistema de gestión. Este marco de evaluación para un sistema de minería de textos grande y complejo dio como resultado un modelo de calidad que contiene más de 180 métricas. Fue esta complejidad del modelo de calidad la que en un principio propició el desarrollo de la herramienta ROTE. Sin embargo, antes de poder evaluar sus beneficios generales, será necesario seguir probando otros sistemas de complejidad diversa.
