# Archivo robots.txt para la raíz FOOT
# Bloqueamos primero lo global
#

User-agent: *
Allow: /registroaviso/
Allow: /detallecontenido/
Allow: /registrarse/
Allow: /registrocandidato/
Allow: /registroempresas/
Allow: /candidato/
Allow: /empresas/
Allow: /avisosactividadempresa/
Allow: /home/
Allow: /contactos/
Allow: /buscar-trabajo-empleo/
Disallow: /registrarse/
Disallow: /registrarse2/
Disallow: /registrarse3/
Disallow: /ref/
Disallow: /cid/
Disallow: /CFIDE/
Disallow: /adm
Disallow: /admin
Disallow: /admenu
Disallow: /adminAsociarempresaeventogira
Disallow: /adminavisos
Disallow: /adminavisospasantia
Disallow: /adminempresaautologin
Disallow: /adminempresas
Disallow: /adminempresaspasantia
Disallow: /adminpasantias
Disallow: /adminrecordarclavecandidato
Disallow: /adminrecordarclaveempresa
Disallow: /adminsetestudio
Disallow: /admintutor
Disallow: /adminusuariosCv
Disallow: /agenda
Disallow: /anexos
Disallow: /configuracionGps
Disallow: /creaadmins
Disallow: /micv
Disallow: /verempresa
Disallow: /loginempresa
Disallow: /loginEmpresaSinCuenta
Disallow: /buscar-trabajo-empleo/cid/
Disallow: /candidatos/ref/
Disallow: /enviapostulacion/ref/
Disallow: /ingresarcandidato/ref/
Disallow: /logincandidato/ref/


#
# GOOGLE bloqueamos lo que no deseamos
# Soporta wildcards avanzados no permitidos por el resto
#

User-agent: Googlebot
Disallow: /*/pagenumber/
Disallow: /*/ref/
Disallow: /*/cid/
Disallow: /*/cfide/
Disallow: /*.cfm$
Allow: /


#
# Bloqueamos los motores que pueden realizar una indexacion inadecuada
# Podemos agregar otros que se conozca a nivel de servidor
#

User-agent: jobrapido
Disallow: /

User-agent: trovit
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

#
# Motores mas importantes que deseamos limitar en segundos
#

User-agent: noxtrumbot
Crawl-delay: 20
Allow: / 

User-agent: msnbot
Crawl-delay: 20
Allow: /

User-agent: Slurp
Crawl-delay: 20
Allow: /