Google blochează scraping-ul rezultatelor de căutare, afectând instrumentele globale de urmărire a clasamentului și a cuvintelor cheie
Google a luat măsuri stricte împotriva scraper-elor web care colectează date din rezultatele de căutare, declanșând defecțiuni globale la multe instrumente populare de urmărire a clasamentului, precum Semrush, care se bazează pe furnizarea de date noi din paginile de rezultate ale motoarelor de căutare (SERP).
Ce se întâmplă dacă rezultatele motoarelor de cautare Google sunt complet blocate?
O parte din datele furnizate de aceste servicii de urmărire au fost de mult extrapolate de algoritmi dintr-o varietate de surse. Este posibil ca o soluție pentru blocajele actuale să fie extrapolarea datelor din alte surse.
Instrumente SEO Blocate
Acțiunile Google au un impact major asupra datelor noi pe care instrumentele SEO le pot furniza. Multe instrumente SEO se confruntă cu defecțiuni în colectarea datelor care erau, în mod normal, obținute prin scraping-ul paginilor SERP.
@RyanJones, care gestionează mai multe tool-uri SEO, a postat următorul mesaj pe Twitter:
„Aceste schimbări afectează și instrumentele mele, deoarece folosim un furnizor terț de date, iar TOATE datele importante au fost blocate ieri. Mulți încă sunt”.
De asemenea, @seovision a postat observații în limba spaniolă, comparând Google cu un câine al grădinarului, care nu mănâncă legumele, dar nici nu lasă grădinarul să le folosească.
Traducerea mesajului este:
„De ieri pare că Google a implementat un nou sistem anti-scraping și mai strict în SERP-uri. Sunt din ce înce mai duri în ceea ce privește scraping-ul. …Ca și câinele grădinarului, nu vă voi vinde datele și nici nu vă voi lăsa să le obțineți”.
Semrush este unul dintre cele mai utilizate instrumente care nu și-au actualizat datele (conform postărilor online). Cu toate acestea, un reprezentant Semrush a declarat că nu există probleme neobișnuite sau probleme generalizate.
Un alt instrument popular, SE Ranking, se confruntă cu pierderea datelor proaspete. @LauraChiocciora a postat un screenshot cu un mesaj primit de la SE Ranking care indică că urmărirea pozițiilor este din nou funcțională, dar că funcția SERP Features încă lipsește din cauza unor „probleme tehnice”. Mesajul complet este:
„Urmărirea pozițiilor este din nou online. Urmărirea funcțiilor SERP nu este încă disponibilă din cauza unor probleme tehnice. Echipa noastră lucrează deja la rezolvarea problemei pentru a vă furniza datele cât mai curând posibil”.
Scraping-ul SERP-urilor, Interzis de Google
Regulile Google interzic de mult timp utilizarea aplicațiilor automate pentru verificarea clasamentului în rezultatele de căutare. Totuși, Google pare să fi permis mai multor companii să folosească scraping pentru a vinde date despre clasamente și cuvinte cheie. Potrivit regulilor Google:
„Traficul generat de mașini (cunoscut și ca trafic automatizat) se referă la practica de a trimite interogări automatizate către Google. Aceasta include scraping-ul rezultatelor pentru verificarea clasamentului sau alte tipuri de acces automatizat la Google Search, fără permisiunea expresă. Traficul generat de mașini consumă resurse și interferează cu abilitatea noastră de a servi utilizatorii cât mai bine. Astfel de activități violează politicile noastre de spam și Termenii și Condițiile Google”.
Blocarea Scraper-elor Este Complexă
Este foarte costisitor în termeni de resurse să blochezi scraper-ele, mai ales pentru că acestea pot răspunde la blocaje schimbându-și adresele IP sau user agent-urile pentru a trece peste restricții. O altă modalitate de a le bloca este vizarea anumitor comportamente, precum numărul de pagini solicitate de un utilizator. Cererile excesive pot declanșa un blocaj. Problema acestei abordări este că devine costisitor să ții evidența tuturor adreselor IP blocate, care pot ajunge rapid la milioane.
Reacții pe Social Media
Un mesaj postat în grupul privat SEO Signals Lab pe Facebook a anunțat că Google a întrerupt activitatea scraper-elor, un membru comentând că instrumentul Scrape Owl nu funcționează, în timp ce alții au menționat că datele Semrush nu s-au actualizat.
Un alt mesaj, de această dată pe LinkedIn, a enumerat mai multe instrumente care nu și-au actualizat datele, dar a menționat că blocarea nu a afectat toți furnizorii de date. De exemplu, Sistrix și MonitorRank sunt încă funcționale. Reprezentanții HaloScan au raportat că au făcut ajustări pentru a relua scraping-ul datelor, iar alte instrumente, precum MyRankingMetrics, continuă să furnizeze date.
Un alt mesaj LinkedIn a evidențiat impactul acestui blocaj, inclusiv speculații conform cărora blocajele ar putea duce la costuri mai mari pentru utilizatorii finali ai instrumentelor SaaS SEO.
Natalia Witczyk a postat pe LinkedIn următoarele observații:
„Google intensifică măsurile anti-scraping, introducând protecții mai stricte, precum blocarea IP-urilor și CAPTCHA-uri. Instrumentele SEO populare, precum Semrush și SE Ranking, sunt afectate.
Această mișcare a Google face ca extragerea de date să fie mai dificilă și mai costisitoare. Drept urmare, utilizatorii ar putea fi nevoiți să plătească abonamente mai mari”.
Ryan Jones a postat pe Twitter:
„Google pare să fi făcut un update aseară, blocând majoritatea scraper-elor și API-urilor. Google, doar oferă-ne un API plătit pentru rezultate de căutare. Vom plăti”.
Nicio Declarație Oficială de la Google
Până acum, Google nu a făcut nicio declarație oficială despre aceste schimbări, dar discuțiile online ar putea forța compania să ia o poziție publică în acest sens.
