Para observar, probablemente, el vestigio mejor conservado de la historia de Nerpio y la zona del Taibilla, nos dirigimos hacia Pedro Andrés por el estrecho valle del Taibilla y a 7 km. de Nerpio, nos encontramos en un peñón una torre cuadrada de inmensas dimensiones.
El paisaje nos esconde el resto de la impresionante fortaleza, el castillo de la Tercia o Taibilla. Sus fortísimos muros aún en estado ruinoso dejan entrever su buena construcción. Es una fortaleza construida entre los siglos XI-XV por el pueblo musulmán y destila cierto aire de respeto y misterio. Está situado encima de un peñón desde el que podrán contemplar unas magníficas vistas del valle del Taibilla. Actualmente se encuentra en fase de restauración. Lo podemos visitar a 7 km de Nerpio, por la carretera de Pedro Andrés.
Desde él podemos observar el serpenteo del río Taibilla que forma y dispone los montes a su paso, los colores de las nogueras, pinos, chopos y encinas, demostrándonos el valor estratégico que en su momento tuvo el lugar.
Es uno de los mejores castillos y más grande de la Sierra de Segura y servía como frontera de la cristiandad con el reino de Granada, lugar de míticas razzias y escaramuzas.
Cuentan varias leyendas de un tesoro que aún no se ha encontrado.