Ką reguliuoja robots.txt
robots.txt nurodo taisyklių besilaikantiems robotams, kurių adresų nenuskaityti. Failas nėra prisijungimo apsauga ir negarantuoja, kad URL neatsiras paieškoje. Konfidencialiam turiniui reikia prieigos kontrolės, o indeksavimui valdyti dažnai naudojama noindex direktyva, kurią robotas turi galėti perskaityti.
Generatorius sukuria tekstą jūsų pasirinktoms taisyklėms. Jis nepatikrina serverio failų, neaptinka puslapių ir neįkelia robots.txt į svetainę. Prieš pakeisdami esamą failą išsaugokite jo kopiją ir sutikrinkite, ar neprarandate reikalingų taisyklių.
Numatytieji nustatymai ir papildomi keliai
Pradžioje pažymėti /wp-admin/ ir /?s= keliai. Tai WordPress naudojimui skirti pavyzdžiai, kurie nebūtinai tinka jūsų svetainei. Pažymėjus /wp-admin/ pridedama Allow išimtis /wp-admin/admin-ajax.php. Krepšelio, apmokėjimo ir paskyros keliai pasirenkami atskirai.
Papildomus kelius rašykite po vieną eilutėje. Pavyzdžiui, /testas/ sukuria Disallow: /testas/. Taisyklė taikoma keliui nuo svetainės šaknies, todėl nerašykite ten pilno domeno. Didžiosios ir mažosios raidės gali reikšti skirtingus kelius. XML sitemap laukui pateikite pilną viešą sitemap adresą.
„Blokuoti viską“ sukuria Disallow: /. Šį variantą rinkitės tik tada, kai tikrai norite uždrausti visos svetainės nuskaitymą. Viešai indeksuojamoje svetainėje toks nustatymas sutrukdytų robotui perskaityti puslapius ir jų atnaujinimus.
Atskiri AI robotai ir failo paskelbimas
Galite pridėti atskiras blokavimo grupes GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot ir PerplexityBot. Tai skirtingos robotų tapatybės, skirtos nevienodoms užduotims. Vieno jų blokavimo nereikėtų laikyti visų AI sistemų ar Google paieškos išjungimu.
Failą paskelbkite savo domeno šaknyje, pavyzdžiui, https://pavyzdys.lt/robots.txt. Kito subdomeno ar protokolo taisykles valdykite atskirai. Įkėlę atverkite tikrą URL, patikrinkite jo HTTP atsakymą ir svarbiausių puslapių bei jų atvaizdavimo išteklių pasiekiamumą. Neužblokuokite CSS ar JavaScript vien todėl, kad jie yra techniniai failai.