comprobar todos los enlaces de una web en java

Hoy vamos hacer un tutorial un poco mas complejo, pero no tan difícil, comprobaremos todos los enlaces de una web en java con la libreria de JAUNT Bien primero debemos ir a la pagina de Jaunt y descargar la libreria, luego debemos descomprimirla y adicionarla a nuestro proyecto, sino tienes idea de como hacer esto, te recomiendo el siguiente enlace donde te dice paso a paso como agregar una librería externa. 
Ahora el código seria el siguiente:

package Javafacil;
import com.jaunt.*;

public class Navegador {
 
 public static void main(String[] args) throws JauntException{    
  try {
     UserAgent userAgent = new UserAgent();
     userAgent.visit("http://jkanime.net");   
    
     Elements links = userAgent.doc.findEvery("<a>");
     for(Element link : links) System.out.println(link.getAt("href")); 
   } catch (ResponseException re) {
     re.printStackTrace();
   } catch (JauntException j){
     j.printStackTrace();
   }
 }
 }

Lo primero de todo será importar la librería Jaunt.

import com.jaunt.*;

La base de la librería es la clase UserAgent la cual simula al agente de usuario o navegador. Mediante esta clase y el método .visit() habremos conseguido establecer conexión con la web de destino.

 userAgent.visit("http://jkanime.net");

Después de tener la conexión a la web, es una web de anime, bueno me gusta el anime no me juzguen :v debemos recorrer todos los enlaces que tiene esta web y capturarlos.

Elements links = userAgent.doc.findEvery("<a>");
 for(Element link : links) System.out.println(link.getAt("href"));

El resultado sera como la siguiente imagen

Read More