Dentro del script que he empleado para hacer el crawl de distintas páginas, decidí que los nuevos crawls se harían en directorios distintos y después de juntarían con uno general. Este es el código que utilizo para mezclar los crawldb.
Path crawlDb = new Path(dir + "/crawldb_"+id);
Path crawlDbDestino = new Path(dir+"/crawldb");
Path crawlDbNuevo = new Path(dir+"/crawldb2");
//Aquí hay más código, pero no relacionado con este tema
Path[] crawlDbs;
if (!fs.exists(crawlDbDestino))
{
crawlDbs = new Path[1];
crawlDbs[0] = crawlDb;
crawldbMerger.merge(crawlDbDestino, crawlDbs, false, false);
fs.delete(crawlDb,true);
}
else
{
crawlDbs = new Path[2];
crawlDbs[0] = crawlDb;
crawlDbs[1] = crawlDbDestino;
crawldbMerger.merge(crawlDbNuevo,crawlDbs,false,false);
fs.delete(crawlDbDestino, true);
fs.rename(crawlDbNuevo, crawlDbDestino);
fs.delete(crawlDb,true);
}
