Este proyecto consiste en aprender los conceptos básicos de la extracción de conocimiento de un sistema de recuperación de información. Por ello se utiliza TIKA, una herramienta con un gran número de funcionalidades y a su vez sencilla de explorar desde un punto básico de conocimiento.
En concreto la información que se extrae con TIKA no es más que las ocurrencias de unos libros, en diferentes idiomas para poder realizar comparaciones, además se extraen los Links, en caso de que los hubiera, y los metadatos de los ficheros.
La parte principal de este mini proyecto consiste en la extracción de ocurrencias, y para ello debemos en primer lugar de Tokenizar el texto y almacenar en una estructura de datos los términos resultantes.
En esta sección, una vez almacenados los términos con sus ocurrencias en una estructura de datos, debemos de obtener una serie de gráficas. Las gráficas a obtener son:
-
En el eje Y el número de ocurrencias y en el eje X el término en concreto.
-
En el eje Y el número de ocurrencias y en el eje X el término en concreto. Pero en este caso los datos tanto del eje Y como del eje X en forma logarítimica.
-
En el eje Y el número de ocurrencias y en el eje X el término en concreto. Pero en este caso los datos tanto del eje Y como del eje X en forma logarítimica y con un ajuste lineal para obtener las constantes a y b de la ecuación y = ax + b.
Esto se hace por la Ley de Zipf.
Los libros han sido extraídos del proyecto Gutenberg.