Home » SEO Crawling si indexing

SEO Crawling si indexing

Krumel Server logs

In termenii SEO, web crawling inseamna verificarea de roboti a unor pagini web sau a unor fisiere specifice web-ului(imagini, fisiere CSS sau JS).

Pentru ca o pagina sa poata fi indexata in Google (index) e nevoie de o serie de roboti specializati care sa verifice (crawling) paginile si fisierele unui site.

Web indexing sau indexarea vine ca urmare a crawlingului si reprezinta forma prin care motoarele de cautare expun rezultatele la cautari.

Deci, in termeni simpli, intai e crawling-ul (verificarea) abia apoi e indexarea (expunerea la cautari).

Mai jos vei gasi articole privind modul cum se analizeza crawlingul, cum se restrictioneaza prin robots.txt, cum folosim noindex/nofollow pentru a nu indexa continutul inutil sau cum folosim rel canonical pentru a preveni continutul duplicat.

Cum sa creezi vizualizari din datele oferite de Screaming Frog Log Analysis

  • Krumel 
Krumel Server logs

Krumel Server logs

Asa cum promiteam in articolul anterior, despre Impactul analizei server logs-urilor asupra SEO (mic tutorial), revin cu o versiune mai avansata de analiza, bazata pe datele oferite prin Screaming Frog Log Analysis.

Pentru cine nu stie, Screaming Frog Log Analysis e o unealta cu care poti analiza datele din server log. Unealta e platita, desi in versiunea gratuita se pot analiza pana la 1000 de linii.

Am creat, de ceva timp, acest template pentru ca datele oferite nu imi erau indeajuns, iar Screaming Frog Log Analysis e doar o poarta de acces catre niste date validate si bine structurate. Pentru vizualizari voi folosi Google Data Studio, asta desi versiunea din Tableau arata mult mai bine si e mai maleabila.
Citește mai mult »Cum sa creezi vizualizari din datele oferite de Screaming Frog Log Analysis

Impactul analizei server logs-urilor asupra SEO (mic tutorial)

  • Krumel 

fisier server

De ceva ani SEO nu mai ține doar de crearea de link-uri către site-uri și liste de cuvinte cheie pentru articole. E de domeniul trecutului această practică.

Lucrurile acum au devenit mai detaliate, mai tehnice, mult mai specifice atunci când vine vorba de conținut și relevanța lui. La fel și despre amănuntele tehnice care fac un site să fie performant.

Analiza de log-uri de server face parte din zona tehnică a SEO și devine din ce în ce mai importantă atunci când vine vorba de a înțelege modul în care roboții Google verifică 1 (crawling) un site.

Citește mai mult »Impactul analizei server logs-urilor asupra SEO (mic tutorial)

Trafic organic mai mult prin crawling optimizat

  • Krumel 

crawling
Printre multele lucruri prost intelese de catre clienti sau chiar SEOs e si acela cum ca „mai multe pagini in Google index inseamna de fapt mai mult trafic organic„. Referirea e facuta, evident, la faptul ca multi obisnuiesc sa indexeze toate paginile site-ului, incluzand rezultatele la cautarile interne, tag-uri, paginatii, pagini cu continut subtire, pagini canibalizate ca subiect sau alte forme de continut duplicat. Iar Google nu apreciaza continutul mult si prost…

Am mai publicat articole despre subiectele astea, motiv pentru care o sa schimb subiectul pe un lucru la fel de important si anume ceea ce in engleza e „crawling budget„.

Afla daca ai probleme cu indexarea sau vezi daca ai prioritizat corespunzator crawling-ul.
Contacteaza-ma pentru mai multe detalii si vei afla ce se intampla cu site-ul tau!

Citește mai mult »Trafic organic mai mult prin crawling optimizat

Greseli SEO facute prin redirectionari 301 si pagini 404

  • Krumel 

Nu sint o persoana tehnica, motiv ptr care acest articol nu e detaliat. Ma astept ca cei care sint tehnici sa argumenteze pro sau contra cele de mai jos.

Exista o practica destul de des intalnita, cel putin in Romania, prin care paginile vechi sint facute 404 not found astfel incat robotii dar si oamenii sa vada ca aceasta pagina a devenit indexistenta/inaccesibila urmand ca apoi prin meta refresh vizitatorii sa fie redirectionati catre pagini active.

Cu alte cuvinte, pe roboti i-am instiintat ca pagina nu mai exista (dar si pe vizitatori) urmand ca dupa cateva secunde sa redirectionam (doar) vizitatorii catre paginile interne active. Ceea ce e gresit din mai multe motive si nu inseamna ca ai facut SEO.
Citește mai mult »Greseli SEO facute prin redirectionari 301 si pagini 404

Canibalizare SEO de continut si duplicate content

  • Krumel 

hannibalisation
Printre problemele legate de indexarea de continut si fluctuatiile la cautari exista una pe care destul de putini o stiu si o controleaza: canibalizarea de continut si subiecte. Multi se gandesc la canibalizarea cuvintelor cheie sau paginile duplicate din site. Titlurile, descrierile unor pagini ajung sa aiba aceleasi cuvinte cheie motiv pentru care ele ajung sa se canibalizeze la cautari.

De ceva timp Google tine cont si de continutul unei pagini nefiind indeajuns doar similitudinea titlurilor si descrierilor ci si a continutului sau a subiectului pe care o pagina o abordeaza. Ca e vorba de un site de publicare articole informative sau de un magazin online, problema asta de SEO exista cam la toti.

Citește mai mult »Canibalizare SEO de continut si duplicate content

Continut mult dar fara trafic organic. De ce?

  • Krumel 

text-bait

Cu cat sunt mai multe pagini indexate in Google, cu atat mai popular site-ul si cu atat mai multe sanse de a genera mai mult trafic organic….

E opinia multor detinatori de site-uri care considera ca a indexa cat mai multe pagini in indexul Google e un lucru pozitiv. Ca e vorba de filtre interne, rezultate la cautari facute de vizitatori pe propriul site, paginatii de categorii sau chiar tag-uri de pe bloguri (link intern, se deschide in aceeasi pagina), toate sunt considerate pagini bune de indexat.

In realitate, ar trebui ca indexarea si crawling-ul robotilor sa fie controlate astfel incat in indexul Google sa apara doar pagini relevante, utile. Multi nu stiu ca prin controlarea continutului indexat salveaza resurse, cresc sansele de a urca la cautari, genereaza o experienta mai buna pe site, cu alte cuvinte, fac SEO de calitate, pe termen mediu si lung.
Citește mai mult »Continut mult dar fara trafic organic. De ce?

Curatarea redirectionarilor 301 sau 302 esuate din SERPS

  • Krumel 

redirectionare

Redirectionarea unui site vechi catre un site nou sau a unei versiuni vechi catre alta noua e, in teorie, „floare la ureche”. Multi programatori vor spune ca e simpla o astfel de redirectionare, unii dintre ei cred chiar ca ele sint apanajul unor nevoi ce nu includ efectele din SERPs. Cu toate astea redirectionarile si paginile 404 sunt o problema pentru destui.

Modelul de redirectionare a paginilor in cazul unei migrari de domeniu ar putea fi urmatorul:

  • index vechi/ -> index nou/
  • categorie veche/ -> categorie noua/
  • pagini de produse vechi/ -> pagini de produse noi/

Evident, e vorba de magazine online, site-uri care ajung sa aiba mult continut indexat in Google, greu de controlat si cu efecte grave daca paginile nu sint conforme cererilor facute de Google prin actualizarile frecvente.
Citește mai mult »Curatarea redirectionarilor 301 sau 302 esuate din SERPS

Prioritizari de indexare si crawling a continutului

  • Krumel 

foot-shooting

Au inceput multi sa deprinda cu usurinta actualizarile si penalizarile pe care Google le propaga de vreo 3 ani de zile. Panda, Penguin, Pidgin, Hummingbird si alte oratanii Google. Nu conteaza ca exista o diferenta intre ele, ideea e ca atunci cand avem o problema pe SEO sint cele mai des invocate.

E simplu, e usor, e la indemana sa invoci probleme cunoscute. E mai greu, mai complicat si mai inaccesibil sa analizezi in amanunt eventuale probleme ce cauzeaza dezindexari din Google.
Citește mai mult »Prioritizari de indexare si crawling a continutului

Control asupra continutului indexat prin Google Search Console

  • Krumel 

google-webmaster-tools

Google Search Console 2 a devenit de cativa ani o unealta buna ptr a controla si analiza ce se intampla cu site-ul ptr cautarile organice dar si pentru modul in care continutul poate fi indexat corespunzator.

Despre cum analizam sau folosim datele din Search Console am mai vorbit, subiectele despre (not provided) si IBL-uri au tot fost dezbatute.

Putini stiu ca exista o serie de unelte folositoare in Google Search Console dar care sint oarecum ascunse pentru ca ele nu sint neaparat direct in meniuri, ci in unele documentatii date de cei de la Google.

Cele vizibile in meniuri sint rar folosite ptr ca oamenii nu stiu de ce sau cum sa le foloseasca.
Citește mai mult »Control asupra continutului indexat prin Google Search Console

Optimizarea traficului prin indexarea corecta a paginilor in Google

  • Krumel 

Toata lumea stie ca un site popular in Google e un site cu multe pagini indexate, pagini care au pozitii cat de cat ok la cautari. Pe principiul asta foarte multi indexeaza pagini in motoarele de cautare, sperand la volume de trafic considerabile. Daca le spui sa nu indexeze tag-uri, iti vor spune ca e o practica frecvent folosita de A-listii din blogosfera. Daca le spui sa nu indexeze cautarile din magazinele online, cineva o sa iti spuna ca e ok sa fie indexabile ptr ca nu se stie niciodata. La fel si filtarea produselor sau paginatiile de categorii.

Google a incercat prin diferiti algoritmi sa contracareze indexarea de continut inutil prin supplimental results, duplicate content, rel canonical, rel next prev astfel incat doar paginile importante sa fie indexate in Google.
Citește mai mult »Optimizarea traficului prin indexarea corecta a paginilor in Google