robots.txt
El archivo donde su web dice qué rastreadores pueden entrar y a qué carpetas. Hoy decide también si las IA pueden leerle.
Cada buscador y cada IA manda un programa a leer webs. El robots.txt es la nota en la puerta que dice quién pasa.
Hay una decisión de negocio detrás y conviene tomarla a propósito: si bloquea a los rastreadores de IA, nadie le va a citar cuando alguien le pregunte a ChatGPT quién hace esto en su ciudad. Para un negocio local eso casi siempre es perder.
Cuidado con una trampa habitual: bloquear una página en robots.txt impide leerla, y si esa página tenía una etiqueta pidiendo no aparecer en Google, esa etiqueta ya no se puede leer tampoco.
Qué hacer con esto
Escriba sudominio.com/robots.txt y mire si bloquea algo que no debería. Si no entiende lo que sale, pregunte antes de tocarlo.
Otras palabras de lo mismo