ColombiafyBot
ColombiafyBot is the page reader of Colombiafy, a travel guide to Colombia. Before we list a museum, a park or a business, a person on our team checks its facts against its own website. ColombiafyBot reads those pages so we can repeat the check later and see what changed.
What it reads
Only public pages of sites a person on our team has approved, and only the pages that hold the facts we list: name, address, opening hours, prices and website. It never logs in, fills in forms, downloads photos or tries to get past a captcha or a paywall.
What we keep
The text of each page it reads (no images), the date, and the page's address. Only our team sees these copies. We use them to check our listings and to answer questions about them, and we delete them after 12 months. We never publish, share or sell them.
How it reads
It reads your robots.txt first and obeys the rules for ColombiafyBot, for FirecrawlAgent (the service that fetches pages for us) and for all robots (*). If any of them blocks a page, it doesn't read it. It sends at most one request a second to a site, or fewer if your robots.txt sets a crawl delay, and reads at most ten pages of a site per visit. If your site refuses it, it stops, and a person on our team may look at the page in a normal browser instead. If your site asks it to slow down, it waits as long as you ask and tries once more later. It never tries again from another address or under another name.
How to stop it
Add these two lines to your robots.txt:
User-agent: ColombiafyBot Disallow: /
Or write to us at hello@colombiafy.com, and we'll stop reading your site and take it off our list of approved sites.
ColombiafyBot
ColombiafyBot es el lector de páginas de Colombiafy, una guía de viaje de Colombia. Antes de publicar un museo, un parque o un negocio, una persona de nuestro equipo revisa sus datos en su propio sitio web. ColombiafyBot lee esas páginas para que podamos repetir esa revisión más adelante y ver qué cambió.
Qué lee
Solo páginas públicas de sitios que una persona de nuestro equipo aprobó, y solo las que tienen los datos que mostramos: nombre, dirección, horario, precios y sitio web. Nunca inicia sesión, llena formularios, descarga fotos ni intenta pasar un captcha o un muro de pago.
Qué guardamos
El texto de cada página que lee (sin imágenes), la fecha y la dirección de la página. Solo nuestro equipo ve estas copias. Las usamos para revisar nuestras fichas y responder preguntas sobre ellas, y las borramos a los 12 meses. Nunca las publicamos, compartimos ni vendemos.
Cómo lee
Primero lee su robots.txt y respeta las reglas para ColombiafyBot, para FirecrawlAgent (el servicio que descarga las páginas por nosotros) y para todos los robots (*). Si alguna de ellas bloquea una página, no la lee. Envía como máximo una solicitud por segundo a cada sitio, o menos si su robots.txt fija un crawl-delay, y lee como máximo diez páginas de un sitio en cada visita. Si su sitio lo rechaza, se detiene, y una persona de nuestro equipo puede revisar la página en un navegador normal. Si su sitio le pide ir más despacio, espera el tiempo que usted indique y lo intenta una vez más después. Nunca vuelve a intentarlo desde otra dirección ni con otro nombre.
Cómo detenerlo
Agregue estas dos líneas a su robots.txt:
User-agent: ColombiafyBot Disallow: /
O escríbanos a hello@colombiafy.com y dejaremos de leer su sitio y lo quitaremos de nuestra lista de sitios aprobados.