Kaip serverio žurnalų analizė padeda nuspręsti, ką taisyti pirmiausia

  • Publikuota
  • Skaitymo laikas 5 min.
Mėlyna serverių infrastruktūros ir užklausų analizės iliustracija

Jei svarbios el. parduotuvės kategorijos dingsta iš paieškos arba „Google“ ilgai nepastebi atnaujintų prekių, pradėkite nuo kelių konkrečių adresų. Serverio prieigos žurnale galima patikrinti, kada juos užklausė „Googlebot“ ir kokį atsakymą gavo. Jeigu robotas reguliariai gauna HTTP 503 atsakymą, pirmiausia aiškinkitės, kodėl puslapis nepasiekiamas. Jeigu žurnale matote 200 atsakymą, indeksavimo būseną tikrinkite „Search Console“.

Iš kur paimti žurnalus, kad nepraleistumėte užklausų

Administratoriaus prašykite prieigos žurnalo (angl. access log) būtent tam domenui ir laikotarpiui, kurį tiriate. Vienai klaidai po atnaujinimo gali pakakti kelių valandų aplink diegimą. Jei norite palyginti kelias kategorijas arba įvertinti, kaip pasikeitė roboto lankymasis, prireiks ilgesnės istorijos. Iš anksto pasitikrinkite, kiek laiko žurnalai saugomi ir ar turite senesnius archyvus. Prarastų dienų užpildyti iš naujo nepavyks.

Išraše naudingi šie laukai: užklausos laikas su laiko juosta, domenas, visas kelias su parametrais, kliento IP adresas, „User-Agent“ ir HTTP atsakymo kodas. Jei įmanoma, pasiimkite ir atsakymo trukmę bei informaciją, ar atsakymas pateiktas iš talpyklos. Bendrinant analizės rezultatus pakanka suvestinių: IP adresų ir parametrų su jautriais duomenimis į bendrą dokumentą nekelkite.

Jeigu naudojate CDN, pavyzdžiui, „Cloudflare“, patikrinkite, kur įrašytas atsakymas, kurį gavo robotas. Kai CDN aptarnauja užklausą iš savo talpyklos, ji gali visai nepasiekti svetainės serverio. Jei CDN užklausą sustabdė, serverio žurnale jos taip pat galite nerasti. „Cloudflare“ HTTP žurnalų dokumentacijoje atskirai aprašomi CDN ir serverio atsakymo laukai. Sugretinę abu sluoksnius lengviau suprasite, kur atsirado klaida.

Talpyklos atsakymas gali likti tik CDN žurnale, o persiųsta užklausa gali būti užfiksuota ir svetainės serveryje

Kaip atpažinti tikrą „Googlebot“ užklausą

„User-Agent“ padeda atsirinkti įrašus patikrai, tačiau šį lauką nurodo pats užklausos siuntėjas. Jeigu eilutėje parašyta „Googlebot“, dar reikia patikrinti kliento IP. Didelei imčiai patogu tikrinti IP pagal oficialius įprastų „Google“ robotų IP intervalus. Atskiriems IP „Google“ aprašo ir rankinę DNS patikrą: pagal IP gautas serverio vardas turi priklausyti googlebot.com domenui, o DNS užklausa pagal tą vardą turi grąžinti pradinį IP adresą.

Roboto tapatybės tikrinimo schema. Kliento IP sutikrinamas su oficialiais robotų intervalais. Patvirtintos ir nepatvirtintos užklausos grupuojamos atskirai.

Prieš filtruodami įsitikinkite, kad stulpelyje matote kliento IP. Jei svetainė veikia už tarpinio serverio, išraše gali būti matomas tik tarpinio serverio adresas. Tokiu atveju paprašykite administratoriaus parodyti, kuris patikimo šaltinio laukas fiksuoja tikrą kliento adresą. Atskirai suskaičiuokite HTML puslapių ir išteklių, pavyzdžiui, paveikslėlių, užklausas. Bendra suma gali augti net tuomet, kai svarbiausias puslapių rinkinys lankomas rečiau.

Jei tiriate ir matomumą „ChatGPT“ paieškoje, „OpenAI“ užklausas skaičiuokite atskirai pagal robotą. „OpenAI“ dokumentacijoje „OAI-SearchBot“ skirtas paieškai, „GPTBot“ siejamas su modelių mokymu, o „ChatGPT-User“ gali kreiptis į puslapį naudotojo prašymu. Atskiros grupės padeda atsakyti į skirtingus klausimus. Užfiksuota „OAI-SearchBot“ užklausa dar nepasako, ar puslapis buvo parodytas arba pacituotas.

Sugretinkite žurnalą su puslapiais, kuriuos norite matyti paieškoje

Susidarykite svarbių URL sąrašą iš svetainės schemos, kategorijų ir produktų, kuriuos verslas iš tiesų nori rodyti paieškoje. Kiekvienam URL arba puslapių grupei skaičiuokite patvirtintas užklausas, paskutinio apsilankymo laiką ir gautus atsakymus. Žiūrėkite ir į unikalių URL skaičių. Tūkstantis užklausų į vieną adresą ir tūkstantis užklausų į skirtingus adresus rodo skirtingas situacijas.

Parametrų iškart neištrinkite. Pirmiausia suskaičiuokite, kurie filtrai, rūšiavimai ar puslapiavimo parametrai kuria skirtingus adresus. Tada palyginkite juos su verslui svarbių puslapių sąrašu. Pavyzdžiui, „žieminiai batai“ gali būti savarankiška kategorija, o tos pačios kategorijos prekės, surūšiuotos pagal kainą, gali būti tiesiog kitas to paties sąrašo rodinys. Jei visus parametrus pašalinsite prieš analizę, šio skirtumo nebematysite.

Kurią problemą taisyti pirmiausia

Tarkime, per dvi savaites patvirtintas „Googlebot“ 600 kartų užklausė rūšiavimo URL, o 6 iš 20 svarbių kategorijų bent po kelis kartus grąžino HTTP 503. Tai mokomasis pavyzdys. Pirmiausia imkitės 503 klaidų: sugretinkite jų laiką su diegimais, apkrovos šuoliais ir CDN įrašais. Rūšiavimo URL įtraukite į kitą darbą, kai jau aišku, iš kur robotas juos randa ir kurių parametrų verslui iš tiesų reikia.

Mokomasis pavyzdys. Pasikartojantys 503 atsakymai svarbiose kategorijose tiriami pirmiausia, o po pataisos lyginama jų dalis toje pačioje adresų grupėje.

Kitą sprendimą priimtumėte radę 404. Jei pašalinta prekė nebeturi atitikmens, 404 gali būti teisingas atsakymas. Jeigu tą adresą vis dar siūlo meniu ar kategorijos nuoroda, sutvarkykite pačią nuorodą. O jei puslapis perkeltas ir yra aiškus lygiavertis naujas adresas, atnaujinkite vidines nuorodas ir patikrinkite nukreipimą. Plačiau apie tai, ką skirtingi atsakymai reiškia robotui, rašoma „Google“ HTTP kodų dokumentacijoje.

Ką rodo pasikartojantys 499 įrašai

Kai „Cloudflare“ žurnale matote 499 kodą, užklausos klientas nutraukė ryšį dar nebaigus užklausos. Tai žurnale fiksuojamas kodas; klientui jis nesiunčiamas. Vien iš kodo negalima nustatyti, kodėl tai įvyko. Pirmiausia suskaičiuokite, kokia tos pačios puslapių grupės užklausų dalis taip nutrūko. Tada palyginkite jų trukmę su sėkmingomis užklausomis į tuos pačius puslapius. Jei nutrūkimai telkiasi viename puslapių šablone, patikrinkite jo serverio atsako laiką ir CDN talpyklos būseną. Jei svarbūs gilesni puslapiai per visą stebėjimo laiką apskritai neturi patvirtintų užklausų, atskirai patikrinkite, ar jie įtraukti į svetainės schemą ir ar į juos veda HTML nuorodos. Jei nuoroda pasirodo tik naršyklei paleidus „JavaScript“, paprašykite, kad svarbūs adresai būtų pasiekiami per nuorodas jau pradiniame HTML. CDN talpyklos pakeitimas gali sutrumpinti atsakymą, o nuorodų pateikimą reikia patikrinti atskirai.

Kaip patikrinti, ar pataisa išsprendė problemą

Prieš diegdami įrašykite, ką po jo matuosite. Jei taisote 503 klaidas, išsaugokite paveiktų kategorijų sąrašą ir palyginkite, kokia patvirtintų „Googlebot“ užklausų į šias kategorijas dalis baigėsi 503 prieš ir po diegimo. Kartu užrašykite absoliutų užklausų skaičių: kai iš viso užklausų vos kelios, procentai gali klaidinti. Palyginimui naudokite vienodos trukmės laikotarpius, tą patį žurnalų šaltinį ir tuos pačius filtrus. Jei robotas po diegimo dar negrįžo, atsakymą patikrinkite tiesiogiai, o pakartotinio apsilankymo palaukite.

„Search Console“ nuskaitymo statistika padeda pamatyti bendrą serverio atsakymų ir užklausų tendenciją. Žurnalas leidžia atsirinkti konkrečius adresus. Jeigu svarbus adresas žurnale grąžina 200, bet paieškoje nerodomas, tikrinkite jo indeksavimo būseną ir „Google“ pasirinktą kanoninį URL. HTTP kodas pasako, kaip serveris atsakė, tačiau iš jo negalima spręsti, ar „Google“ puslapį įtraukė į indeksą.

Jeigu techninio SEO patikroje susikaupė daug radinių, pirmam darbui pasirinkite pasikartojančią problemą, kurią galite susieti su svarbių puslapių grupe. Programuotojui perduokite kelis paveiktus URL, atsakymo kodus, tikslius laikus ir sąlygą, pagal kurią sutarsite, kad pataisa suveikė.

Apie autorių

Lukas Juodagalvis
Lukas Juodagalvis SeoRocket.lt

Specializuojasi end-to-end SEO – nuo strategijos formavimo iki techninio įgyvendinimo ir svetainių migracijų. Jo patirtis apima darbą su tarptautiniais projektais Lietuvoje ir daugiau nei 20 rinkų, įskaitant tokius prekių ženklus kaip „Cedral“, „Eternit“, „Euronit“, „Siniat“, „Promat“ ir „Skamowall“.

Autoriaus straipsniai
Kitas straipsnis Kritinių PHP spragų pataisos ir veiksmai svetainių savininkams Skaityti