El lector de webs de MBAgente
En resumen: si has visto «MBAgente» en los registros de tu web, es un robot que lee tus páginas porque el dueño de esa web nos ha pedido que lo hagamos, para preparar su propio agente de inteligencia artificial. No recorre Internet por su cuenta, no entrena modelos de IA y obedece lo que tu web le pida. Si no quieres que entre, bastan dos líneas en tu fichero robots.txt.
1. Qué es
MBAgente es una plataforma con la que el dueño de un negocio crea un agente de inteligencia artificial que atiende a sus clientes. Para que el agente conozca el negocio, su dueño puede darnos la dirección de su web y el lector la lee. Con lo que lee, el agente puede contestar a sus clientes y la plataforma le propone, para que él lo revise, cómo configurarlo.
El lector solo trabaja cuando alguien, en su cuenta de MBAgente, escribe una dirección y declara que tiene autorización para usar el contenido de esa web. No busca webs por su cuenta ni sigue enlaces hacia otros sitios.
2. Qué lee y cuánto
- Solo el dominio que se le da, con sus subdominios. Si una página enlaza a otra web, no la sigue.
- Como mucho 100 páginas por web (30 en el caso habitual), empezando por el mapa del sitio y siguiendo por los enlaces. También lee los PDF enlazados dentro de ese tope.
- Con calma: deja al menos un segundo entre una petición y la siguiente a un mismo servidor y, si tu
robots.txtpide más pausa conCrawl-delay, la respeta hasta 5 segundos. - Solo lo público: no inicia sesión, no rellena formularios y no guarda las cookies de tu web.
- Cuándo: una vez cuando el dueño pide leer su web y, después, solo si pulsa «Actualizar ahora» o contrata la relectura semanal.
3. Qué respeta
- Tu fichero
robots.txt. Atiende las reglas del grupoMBAgentey las del grupo general (User-agent: *). Si no puede leer el fichero porque el servidor falla, no lee nada. noindex. Si una página lo indica, en la propia página o en la cabeceraX-Robots-Tag, no la lee.- La reserva de minería de textos y datos del artículo 4 de la Directiva (UE) 2019/790, en la cabecera o la etiqueta
tdm-reservationo en el fichero/.well-known/tdmrep.json. Si tu sitio se reserva el uso entero, no lee nada, aunque el dueño de la cuenta haya declarado que tiene autorización.
Lo que lee se guarda solo en la cuenta de quien lo pidió, para su agente. No se vende, no se comparte con otros negocios y no se usa para entrenar modelos.
4. Cómo impedirle el paso
Añade esto a tu fichero robots.txt, en la raíz de tu web:
User-agent: MBAgente
Disallow: /Con eso no leerá ninguna página. Si solo quieres cerrarle una zona, cambia / por la ruta, por ejemplo Disallow: /privado/. Una página suelta se protege con <meta name="robots" content="noindex">.
Bloquear a otros robots de inteligencia artificial, como GPTBot, no afecta a MBAgente: solo le obliga lo que escribas para MBAgente o para todos (*). Si tu web bloquea a esos robots y su dueño nos pide leerla, se lo decimos en pantalla por si prefiere permitirnos la entrada de forma expresa.
5. Cómo reconocerlo
Se identifica en cada petición con este User-Agent:
MBAgente/1.0 (+https://mbagente.es/lector)6. Contacto
Si tienes dudas, quieres que dejemos de leer tu web o crees que algo no se ha respetado, escríbenos a info@mbagente.es. Cuéntanos la dirección de tu web y lo miramos.
Para saber qué hacemos con los datos de quien se apunta a la lista de espera, está la política de privacidad.