Come funziona il motore di ricerca Google? [Collins+Vaccari]

Come funziona Google?

Spesso è una domanda che chi fa SEO, o chi la vuole imparare, non si pone abbastanza ( o non lo fa affatto ). Si passa subito a “come faccio ad arrivare in prima posizione” ? Come se questa fosse l’unica verità da ricercare.

Ma la verità secondo me è che come per la chitarra quando si imparano le canzoni prima delle scale, è un modo per rendere la propria conoscenza e abilità limitata.

Sono rimasto quasi shockato da come in Italia questo splendido intervento allo SMX West 2016 di Paul Haar, ingegnere software di Google con 14 anni di servizio alle spalle, sia stato bellamente ignorato per fare eco ai soliti allarmismi e titoli clickbait che infestano ormai il panorama SEO internazionale.

Cory Collins, che sinceramente non conoscevo prima di questo post ( e del quale troverete maggiori informazioni poche righe più in basso ), ha fatto questo splendido post riassuntivo per “i più pigri”, che so di per certo che quasi nessuno in Italia avrebbe affrontato in quanto in lingua inglese, commettendo in verità un errore madornale.

Ho deciso quindi di adattarlo in italiano perchè penso che chiunque lavori in un ambito che tocca o anche solo sfiora la SEO dovrebbe leggere un post come questo. Dico “adattarlo” perchè mi sono permesso di renderlo più chiaro: ho tolto citazioni di slide e i link alle varie parti del video per alleggerire la pagina, e ho introdotto delle parti ulteriori nel testo per chiarificare le parti un pochino più fumose o solo sfiorate.

Prendetevi il vostro tempo perchè sarà un lungo e interessante viaggio.

Il post originale che ho riadattato è apparso per la prima volta sul blog pageonepower.com, scritto da Cory Collins.

Potete leggere l’articolo originale a questo indirizzo: How Google Works: A Google Ranking Engineer’s Story – Coverage & Analysis of SMX West 2016

Come Danny Sullivan, che ha introdotto Haahr, ha giustamente detto, il titolo professionale di Paul non indica chiaramente che lui sia di fatto parte della senior leadership del ranking team di Google.

Se sei un SEO, questo dovrebbe far saltare un battito al tuo cuore.

[ NDR: ho tagliato alcune parti collegate ad una intro che non ho tradotto ]

Andiamo dunque a vedere cos’è stato detto esattamente da una figura così importante e interessante [ NDR: potete trovare le slide qui : How Google Works: A Ranking Engineer’s Perspective By Paul Haahr , prese dal Search Marketing Expo – SMX ) ]

Cosa fa un ingegnere del ranking di Google

Inizierò rompendo una delle mie personali regole a riguardo di reportage di questo tipo: lo farò ignorando l’ordine cronologico. Questo per mettere in risalto una parte molto importante della presentazione che è servita come elemento fondante.

Questa sezione è dedicata nel ricercare una risposta alla domanda “cosa fa un ingegnere del ranking di Google” ?

Sono state date in verità quattro risposte, ognuna delle quali definisce in modo più preciso il ruolo di un ingegnere del ranking:

1. Scrivere codice per i server della Google Search.
2. Cercare nuovi segnali  e combinare i vecchi segnali in modi nuovi.
3. Ottimizzare per le nostre metriche di rilevanza/search intent e qualità.
4. Muovere i risultati con buoni voti da esperimenti dal vivo e raters umani in su, muovere i risultati peggiori verso il basso. 

Quindi cosa fa un ingegnere del ranking?

La cosa che primariamente ho inteso è stata: assicurarsi che l’esperienza di ricerca stia effettivamente migliorando per gli utenti ( umani ). E come fanno a farlo? Cercando di rendere Google sempre più simile alle  Search Quality Rating Guidelines. [ NDR: da quanto lo dico! ]

Dopo la conferenza un tweet di Haahr enfatizza l’importanza delle Search Quality Rating Guidelines, e di come i SEO dovrebbero leggersi bene l’intero documento.

.@sugarrae Glad you liked. For transparency, I think the rater guidelines were actually a big deal. Read them yet?https://t.co/llmUQJbkQ8

— Paul Haahr (@haahr) March 31, 2016

La mia citazione preferita dalla presentazione dal momento in cui lui sta parlando delle Google’s Search Quality Rating Guidelines al minuto 16:08.

Se vi state chiedendo il perchè Google stia facendo qualcosa in particolare, spesso la risposta è che sta cercando di rendere la ricerca più simile possibile a quello che le linee guida dei rater dicono.

E’ una dichiarazione molto importante: vengono riassunti tutti i cambiamenti di Google come un tentativo di rendere la ricerca più fedele possibile al documento che loro stessi hanno pubblicato.

In sintesi: “volete capire Google? Leggetevi le linee guida dei raters“ [ NDR: leggetele di prima persona, non accontentatevi dei riassunti spesso imprecisi, ve lo dice uno che ha letto ambedue le versioni: la verità dovete cercarla con la vostra testa ]

La Google search oggi

Ci sono due filoni principali nella Google search attualmente:

1. Mobile First
2. Caratteristiche

La mobile search sta dominando le query di ricerca, e Google pensa sempre di più mobile first. Non sono novità per i SEO, ma è qualcosa che è stato volutamente enfatizzato.

La seconda cosa che è stata sottolineata è stata l’importanza delle nuove caratteristiche, in particolare in ambito mobile:

Per riassumere Haahr ha detto questa interessante frase:

Ci stiamo dirigendo sempre di più verso un mondo dove la ricerca viene considerata come un assistente in tutti i momenti della propria vita

La ricerca diventerà un aiuto sempre più diretto nella vita di tutti i giorni dei propri utenti. E se lo dice Google tendo a credere che sia la verità ( hanno abbastanza cervelloni per capirlo meglio di noi )…

Come funziona la Google Search?

Partiamo dal principio: Google una volta era semplicemente 10 link blu. Nella presentazione viene riassunto il grande problema di Google in quel periodo con la frase “Che documenti mostriamo? In che ordine li mostriamo?”

Viene aperta una interessante parentesi: Haahr si è preso un momento per specificare che non avrebbe mai toccato l’argomento ads.

Ha detto:

Le pubblicità sono fantastiche, la verità è che ci fanno fare un sacco di soldi, e funzionano bene per molti inserzionisti. Ma nel mio lavoro ci viene espressamente detto “non pensare all’effetto sulle pubblicità, non pensare all’effetto sulle entrate, pensate solo ad aiutare l’utente“

E’ interessante ascoltare questo appunto sulla chiara separazione tra chiesa e stato, pardon, risultati a pagamento e risultati organici.

[ NDR: prevedo già la rivolta popolare, ma a me piace credere che sia effettivamente la verità ]

Life of a query: la vita di una query

La spiegazione di Paul del meccanismo di posizionamento parte con la vita di una query. I concetti introdotti in questa sezioni sono utilizzati anche come corso per i nuovi ingegneri di Google per spiegare loro la verità sul motore, e non solo per quelli che lavoreranno nella search.

Si parte dicendo che ci sono due parti principali del motore di ricerca:

1. La parte “prima del tempo” ( prima della query );
2. La parte di lavorazione della query;

Analizzando le attività più nello specifico:

Prima della query

1. Scansionare il web
2. Analizzare le pagine scansionate
   • Estrarre i link ( la versione classica della search comprendeva solo questa );
   • Rendering dei contenuti ( Javascript, CSS – è stato un passaggio molto enfatizzato: ormai vedono la stessa pagina che vede l’utente, al contrario di un volta dove veniva scansionato il codice );
   • Analisi ed annotazione semantica ( linguistica e relativa al knowledge graph, come l’estrazione dei dati )
3. Costruire un indice
   • Come l’indice di un libro, per ogni parola, creare una lista di pagine dove vengono citate
   • Per fare questo dividere il tutto in milioni di “pagine” dell’indice
     • Queste pagine vengono chiamate “shards” [NDR: schegge]
     • Innumerevoli shards per indicizzare tutto il web
   • Aggiungere i meta dati specifici delle pagine

Questo processo avviene miliardi di volte al giorno, di continuo, su miliardi di pagine.

Lavorazione della query ( all’atto della ricerca dell’utente )

I processi che seguono avvengono ogni volta che viene inviata una query a Google

• Comprensione ed espansione della query
  • La query nomina entità conosciute?
  • Ci sono sinonimi utili alla comprensione della chiave nel contesto?
  • Il contesto conta: è uno degli elementi più importanti in questo passaggio;
• Recupero e assegnazione del punteggio
  • Vengono inviate la query a tutte le shard;
  • Per ogni shard:
    • Identifica le pagine con corrispondenza alla query;
    • Computa un punteggio per query+pagina :   il punteggio misura il grado di corrispondenza. E’ la parte più difficile di tutto il processo;
    • Ritorna le migliori N pagine per punteggio alle shard;
  • Si combinano tutte le migliori pagine;
  • Vengono ordinate per punteggio;
• Aggiustamenti post recupero
  • Clustering degli host ( quante pagine vengono dallo stesso dominio? )
  • Generazione sitelinks;
  • Viene controllata la duplicazione;
  • retrocessione per spam, applicazione delle azioni manuali
  • Generazione degli snippet;
  • Generate le pagine, vengono fuse con le altre features del motore ( ads, knowledge panel, map panel etc. etc. );

Solo dopo tutto questo processo viene finalmente servita la SERP all’utente.

Segnali per l’assegnazione di punteggio usati da Google

Innanzitutto, cos’è un segnale per Google? A prescindere da quanto si è detto nella community SEO in questi anni, la verità è che è semplicemente una informazione utilizzata per arrivare a dare un punteggio alla pagina.

Un segnale può essere in una di queste 2 categorie per Google:

• Indipendente dalla query, legato alla singola pagina: PageRank [ NDR: cito testualmente ], la lingua utilizzata, mobile friendliness …
  [NDR: E qui si apre una parentesi: secondo Haahr il pagerank è indipendente dalla query, quindi il topic della pagina dalla quale arriva questo PageRank è utile solo per determinare lo spam ma non rinforza “il valore del link” quando è “in topic” ? Strano che sia sfuggito ai SEO strilloni ]
• Dipendente dalla query, sempre legato alla singola pagina: il numero di apparizioni di una keyword [ NDR: si lo ha detto! ], sinonimi, prossimità …

E’ in questo frangente che viene citata  la “versione 2” del lavoro dell’ingegnere del ranking:

[Un ingegnere di Google Search] cerca nuovi segnali o combina i vecchi segnali in nuove modalità.

Metriche chiave per il team del ranking: Rilevanza, Qualità e tempo al risultato

Viene enfatizzata la rilevanza come metrica chiave per il ranking team nella sua ricerca della SERP perfetta. La rilevanza ( per quanto riguarda Google ) è stata definita come “corrispondenza con l’intenzione di ricerca“: la pagina risponde all’intento di ricerca, è veramente utile all’utente?

La rilevanza per big G è ” la nostra metrica chiave/migliore” e la “grande metrica interna“. Per Google è la metrica fondamentale nella quale eccellere [ NDR: anche per i webmaster! ].

Ci sono altre 2 metriche molto importanti: la qualità dei risultati forniti e il tempo al risultato ( quanto Google impiega a fornire il risultato, “faster is better” ).

Quanto valgono i posizionamenti per Google?

Google assegna un “peso” ad ogni posizione nelle SERP rispetto ad una data query. Chiama questo concetto “reciprocally ranked weighting” , perchè il valore viene commisurato in modo “reciproco” tra posizione e posizione.

Per essere chiari, non si parla di CTR, ma piuttosto di una metrica interna che valuta intere pagine di ricerca.

L’idea è che ci sia un degradamento di valore del 50% per ogni posizione, con la prima posizione che vale 10 volte la decima. [ NDR: non prendete come assoluta verità fattuale questa dichiarazione, è forse il punto che più differisce dalla realtà. un punto di arrivo forse per l’algoritmo ma sicuramente non il suo presente ]

E questo ha portato Haahr alla versione numero tre di “ciò che gli ingegneri del ranking fanno” : ottimizzare le metriche internet ( rilevanza e qualità ).

Come valuta Google i risultati di ricerca ( le SERP ) ?

Paul ha spiegato che ci sono 2 modi in cui Google analizza l’efficacia di specifiche SERP

1. Esperimenti dal vivo sulle SERP
2. Esperimenti con rater umani

Esperimenti dal vivo sulle SERP

Google fa test A/B su traffico reale, analizzando i cambiamenti nei pattern dei click. Sono stati testati, ad esempio, 41 tonalità di blu per i link.

Facciamo moltissimi esperimenti: è molto raro che qualcuno faccia una ricerca su Google e non sia parte almeno di un esperimento.

Haahr si sofferma quindi sul fatto che interpretare in tempo reale gli esperimenti in verità è un’attività veramente difficoltosa.

Fa l’esempio di un caso riguardante un answer box: tradizionalmente, se un utente clicca per entrare nel sito si parlerebbe di un buon risultato: ma come valutare se l’utente avesse visto l’answer box, fosse rimasto soddisfatto e avesse chiuso la query?

Verrebbe da pensare in verità ad un cattivo risultato, ma in questo caso non lo sarebbe davvero! Ecco un esempio portato direttamente da Haahr:

Molto affascinante. Il lavoro di Google è veramente duro.

Esperimenti con rater umani

Forse la cosa più importante che viene detta durante questo passaggio è che la maggior parte degli esperimenti con rater umani viene fatta su smartphones.

Questi esperimenti funzionano nel seguente modo:

1. Mostrare a persone reali delle SERP sperimentali;
2. Chiedergli di valutarle secondo rilevanza e qualità;
3. Aggregare le valutazioni dei vari rater;

Il tutto naturalmente secondo i metri di giudizio spiegati nelle “verità” della Search Quality Evaluator Guidelines. Nel video trovate esempi di queste valutazioni.

Due metri di giudizio: rilevanza e qualità

Come già accennato, ci sono due metri di giudizio forniti ai rater:

1. Bisogni soddisfatti ( rilevanza ) : questa pagina soddisfa veramente i bisogni dell’utente?
2. Qualità della pagina : quanto è qualitativamente buona la pagina?

Il focus su queste metriche rimane mobile first:

1. Tutte le istruzioni riguardanti la rilevanza sono a proposito dei bisogni degli utenti mobile
2. Le query mobile sono utilizzate il doppio negli esperimenti rispetto alle classiche
3. Viene utilizzata la posizione dell’utente
4. Il tool per gli esperimenti visualizza l’esperienza mobile
5. I rater visitano i siti tramite il loro smartphone

Parliamo ora dei due metri di giudizio nel dettaglio.

Valutazione dei bisogni soddisfatti ( rilevanza )

Ci sono 5 categorie di valutazione della rilevanza, chiamata “bisogni soddisfatti“:

1. Completamente soddisfatti
2. Altamente soddisfatti
3. Moderatamente soddisfatti
4. Leggermente soddisfatti
5. Non soddisfatti

I rater non giudicano solo con queste 5 opzioni: vi è una slider posizionabile anche a metà di qualunque di questi livelli di valutazione.

In buona sostanza:

1. “Completamente soddisfatti” è una valutazione adatta solamente quando la query è essenzialmente non ambigua e c’è un risultato che può totalmente e veramente soddisfare qualsiasi cosa l’utente intenda con quella query.
2. “Altamente soddisfatti” a volte richiede disambiguazione per soddisfare l’intenzione di ricerca
3. “Moderatamente soddisfatti” significa informazioni generalmente utili
4. “Leggermente soddisfatti” significa accettabile ma senza informazioni veramente valide, con la speranza di avere risultati migliori da mostrare
5. “Non soddisfatti” si riferisce essenzialmente a quando un bug affligge la SERP, portando risultati totalmente errati

Alcuni esempi in questo video, guardateli perchè sono importanti ( li trovate più chiari nelle Guidelines che trovate linkate nell’articolo ):

Valutazione della qualità della pagina

Google considera tre concetti importanti per descrivere la qualità di una pagina ( il famoso EAT che in italiano diventa EAA ):

• Expertise : l’autore è un vero sperto dell’argomento trattato?
• Autorevolezza : il sito è veramente autorevole sulla materia ? [ NDR: non parliamo di link ]
• Affidabilità : ti puoi veramente fidare di questo sito?

La scala del voto di qualità va da alta a bassa.

Le pagine di alta qualità:

• Hanno una quantità soddisfacente di contenuto principale di alta qualità;
• Expertise, autorevolezza e affidabilità sono lampanti;
• Il sito gode di una buona reputazione;

Nelle pagine di bassa qualità:

• La qualità dei contenuti è bassa;
• Non c’è molto contenuto principale [ NDR: ciò che non è ads o elementi non strettamente correlati al corpo centrale del documento ];
• Non viene palesato alcun expertise o autorità;
• Il sito ha una reputazione negativa;
• Il contenuto secondario ( le ads ad esempio ) tende a distrarre;

Il processo di sviluppo in ambito search ranking

Il team che lavora sulla ingegneria della ricerca è composto da un qualche centinaio di persone.

Come già detto, si concentrano su metriche e segnali, fanno costanti esperimenti, cambiamenti e tweak in modo da migliorare costantemente i risultati di ricerca e ad avvicinarli alle linee guida dei rater [ NDR: e quindi ad essere veramente utili per l’utente che ha digitato una specifica query ]

Il processo di sviluppo è in linea con quello utilizzato per lo sviluppo classico di software.

Passaggi interessanti di questo segmento:

• Il processo di test può richiedere settimane o mesi;
• Dei Quantitative Analysts ( esperti di statistica ) controllano i risultati confrontandosi con gli ingegneri;
• Vengono fatte riunioni dove vengono presentati i progetti, si rivedono le documentazioni e i report e si discutono le implicazioni e i meriti del cambiamento del ranking.
• Il lancio del codice può essere più o meno veloce, dipendentemente da quanto sia pronto per essere inserito nell’algoritmo che è live su Google. Per alcuni aggiornamenti ci sono voluti 2 anni!

Questi aggiornamenti al search vengono fatti primariamente per muovere i risultati migliori in posizioni migliori, e spostare quelli peggiori più in basso.

Cosa può andare storto nel processo di sviluppo

Vengono presentati due tipologie di problema:

1. Valutazioni sistematicamente “sbagliate” dai rater
2. Metriche che non riescono a catturare i concetti per i quali sono studiate

Valutazioni sistematicamente “sbagliate” dai rater

Viene presentato l’esempio della query [texas farm fertilizer].

Anche se pare chiaramente una chiave informazionale, risulta in verità anche essere il nome esatto di un brand di fertilizzanti. Google indicava come primo risultato una mappa che portava alla sede centrale del produttore in questione: è molto improbabile che la gente sia soddisfatta con un risultato del genere. In realtà è più probabile che voglia avere informazioni sul prodotto in questione.

Il fatto è che i rater umani continuavano a valutare questo risultato con “bisogni altamente soddisfatti” indicandolo come rilevante! Questo ha portato ad aggiungere mappe, cosa che ha creato un  risultato valutato ottimamente ma che in realtà rendeva l’esperienza sul motore di ricerca pessima.

Metriche che falliscono

Viene citato un problema che affliggeva Google nel 2008-2011, quello delle content farm. Quest’ultime possono produrre contenuto di bassa qualita ma molto rilevante: questo portava ad avere pagine ben posizionate ma di bassa qualità.

Furono proprio le content farm a spingere Google ad implementare la slider che giudica la qualità dei risultati di ricerca negli esperimenti con i rater. Questo gli ha permesso di definire segnali basati sulla qualità della pagina [ NDR: e rivoluzionare il motore di ricerca. ]

Non viene sorprendentemente nominato Google Panda, che è stata la vera e propria soluzione algoritmica proprio alle content farm.

Per gli ingegneri di Google si possono risolvere le problematiche legate alle metriche in 2 modi:

• modificare le linee guida dei rater;
• svilupparne di nuove;

Q&A su Google

Perchè confronta i segnali della pagina con i con segnali provenienti dalla query e altre fonti di informazioni.

Non ha detto molto, ma ha detto tanto allo stesso tempo.

Ad esempio, forse è ora di giudicare un sito web togliendo gli occhi dal proprio angolino di web e dai tool e iniziare a leggere le query pensando in modo più umano, e meno meccanico, perchè è esattamente dove Google vuole arrivare.

E’ il modo più cost effective per fare SEO.

Altri estratti:

• Ah, Illyes dice che c’è un team che sta ancora lavorando sul mitico “rel=author” , perchè “non si sa mai” , paura eh? Ehi, non correte a inserirlo, dice di non perderci tempo dietro ( per ora! ).
• Il CTR sulle SERP è utilizzato per la personalizzazione dei risultati, e lo sanno che ci sono persone che fanno cose pazzesche per manipolare la metrica… non perdeteci troppo tempo!
• L’esperimento che scambiava il quarto risultato con il secondo risultato… non ne avevo mai sentito parlare! Sapete l’effetto? Molti più click sul primo risultato! Il secondo faceva talmente schifo che non scrollavano più, affascinante!

Questo Q&A è MOLTO interessante, vi consiglio di guardarlo, io non ho più la forza di scrivere!

Cosa dobbiamo imparare da tutto questo ? ( Collins )

1. Bisogna leggere le  Search Quality Rater Guidelines. Vuoi veramente capire il ranking di Google? Leggile.
2. Google pensa mobile first ( update 17/10/2016: Google ha appena annunciato che nei prossimi mesi metterà online un indice mobile only che sarà tendenzialmente più aggiornato di quello Desktop );
3. Ogni sessione di ricerca contiene almeno un esperimento.
4. La rilevanza è la metrica numero uno di Google. Definiscono la rilevanza come la soddisfazione dei bisogni degli utenti espressi nell’atto della ricerca. Se vuoi posizionarti bene, devi riuscire a soddisfarli.
5. Google da un peso molto alto al primo risultato: ogni risultato successivo degrada del 50% dell’importanza ai loro occhi. Il risultato numero 1 vale 10 volte il numero 10.

Cosa dobbiamo imparare da tutto questo ? ( Vaccari )

Io aggiungerei alcune riflessioni:

1. I cosiddetti “test” lasciano sempre di più il tempo che trovano.
   Non ne ho mai visti di fatti con criteri veramente scientifici, come bisognerebbe fare per un vero e proprio test, ed è IMPOSSIBILE condurne uno su di un sistema come Google, di cui possiamo valutare empiricamente output e input e basta.
   Neanche Google capisce Google: guardate cosa dice l’ingegnere su Rankbrain qui https://youtu.be/eGSGZMI4Z_I?t=90

   …we still don’t understand what it ( RankBrain ) is doing exactly…

   UPDATE: ho adattato un interessante articolo proprio su RankBrain , dategli una letta!

2. Per capire cosa fare e come farlo nella SEO, usate la vostra esperienza pratica sul campo , se dovete cercare di capire come muovervi, usate il buonsenso e fatevi le domande giuste, come ad esempio “come posso servire l’utente che atterra sulla pagina nel miglior modo possibile?“
3. La rilevanza è il fattore numero uno di Google.
   Google sta cercando con tutte le sue forze di creare un meccanismo in grado di giudicare i siti come veri e propri rater umani.
   Gli umani non giudicano i link, gli umani giudicano la funzionalità delle pagine: servono o non servono ad un utente che digita una certa query? Quanto sono rilevanti rispetto alla sua domanda?
   Ogni aggiornamento che viene fatto vedo i miei siti inesorabilmente salire, sarà che è da un bel po’ che non perdo tempo a crearmi dei link fini a loro stessi, essere un SEO freelance ha i suoi vantaggi… per leggere esattamente come la penso o vi lascio la lettura di questo articolo sulla link building in Italia.

E’ stato un lungo viaggio, grazie a tutti per essere arrivati fin qua.

Spero di riuscire a discuterne con tutti voi lettori :).