Robots.txt generatorius

Pasirinkite robotams taikomas taisykles, pažymėkite blokuojamus kelius ir nurodykite sitemap. Rezultatą galite nukopijuoti arba atsisiųsti kaip robots.txt.

  1. Pasirinkite numatytąją taisyklę ir blokuojamus katalogus.
  2. Pridėkite sitemap adresą ir, jei reikia, taisykles AI robotams.
  3. Atsisiųskite failą ir įkelkite į svetainės šakninį katalogą.

Robots.txt generatorius

  • Nemokamai
  • Veikia naršyklėje
  • Be registracijos
Numatytoji taisyklė visiems robotams
Blokuojami keliai
AI robotai, kuriuos blokuoti neprivaloma
robots.txt
 

Ką reguliuoja robots.txt

robots.txt nurodo taisyklių besilaikantiems robotams, kurių adresų nenuskaityti. Failas nėra prisijungimo apsauga ir negarantuoja, kad URL neatsiras paieškoje. Konfidencialiam turiniui reikia prieigos kontrolės, o indeksavimui valdyti dažnai naudojama noindex direktyva, kurią robotas turi galėti perskaityti.

Generatorius sukuria tekstą jūsų pasirinktoms taisyklėms. Jis nepatikrina serverio failų, neaptinka puslapių ir neįkelia robots.txt į svetainę. Prieš pakeisdami esamą failą išsaugokite jo kopiją ir sutikrinkite, ar neprarandate reikalingų taisyklių.

Numatytieji nustatymai ir papildomi keliai

Pradžioje pažymėti /wp-admin/ ir /?s= keliai. Tai WordPress naudojimui skirti pavyzdžiai, kurie nebūtinai tinka jūsų svetainei. Pažymėjus /wp-admin/ pridedama Allow išimtis /wp-admin/admin-ajax.php. Krepšelio, apmokėjimo ir paskyros keliai pasirenkami atskirai.

Papildomus kelius rašykite po vieną eilutėje. Pavyzdžiui, /testas/ sukuria Disallow: /testas/. Taisyklė taikoma keliui nuo svetainės šaknies, todėl nerašykite ten pilno domeno. Didžiosios ir mažosios raidės gali reikšti skirtingus kelius. XML sitemap laukui pateikite pilną viešą sitemap adresą.

„Blokuoti viską“ sukuria Disallow: /. Šį variantą rinkitės tik tada, kai tikrai norite uždrausti visos svetainės nuskaitymą. Viešai indeksuojamoje svetainėje toks nustatymas sutrukdytų robotui perskaityti puslapius ir jų atnaujinimus.

Atskiri AI robotai ir failo paskelbimas

Galite pridėti atskiras blokavimo grupes GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot ir PerplexityBot. Tai skirtingos robotų tapatybės, skirtos nevienodoms užduotims. Vieno jų blokavimo nereikėtų laikyti visų AI sistemų ar Google paieškos išjungimu.

Failą paskelbkite savo domeno šaknyje, pavyzdžiui, https://pavyzdys.lt/robots.txt. Kito subdomeno ar protokolo taisykles valdykite atskirai. Įkėlę atverkite tikrą URL, patikrinkite jo HTTP atsakymą ir svarbiausių puslapių bei jų atvaizdavimo išteklių pasiekiamumą. Neužblokuokite CSS ar JavaScript vien todėl, kad jie yra techniniai failai.

Dažniausi klausimai

Ar Disallow pašalina puslapį iš Google?

Ne. Jis riboja nuskaitymą, bet URL vis dar gali būti žinomas iš nuorodų. Jei puslapį reikia pašalinti iš indekso, parinkite tam tinkamą indeksavimo ar prieigos sprendimą.

Ar sitemap eilutė priverčia Google indeksuoti visus puslapius?

Ne. Ji padeda robotui rasti sitemap. Indeksavimą Google sprendžia atskirai; sitemap turėtų būti tinkami galutiniai URL.

Ar galima uždrausti tik vieną robotą?

Taip. Pažymėjus konkretų robotą sukuriama atskira User-agent grupė su Disallow: /. Bendrosios taisyklės lieka atskiroje grupėje.

Ar generatorius patikrina, kad kelias tikrai egzistuoja?

Ne. Jis sugeneruoja jūsų nurodytą tekstą. Faktinius kelius, serverio atsakymą ir įdiegtų taisyklių poveikį reikia patikrinti svetainėje.

Kiti nemokami įrankiai

Visi įrankiai

HTML valytuvas

Pašalinkite HTML stilius ir perteklines žymas, išsaugodami teksto struktūrą.

Simbolių skaičiuoklė

Suskaičiuokite teksto simbolius, žodžius, pasikartojimus ir skaitymo trukmę.

Google paieškos rezultato peržiūra

Įvertinkite įrašyto pavadinimo ir meta aprašymo plotį kompiuterio bei telefono makete.

Norite, kad techninius dalykus sutvarkytume už jus?

Techninis SEO