Cum functioneaza un motor de cautare?

In prezent, pentru cei mai multi dintre noi, o sesiune de navigare pe Internet incepe cu Google, acesta fiind cel mai utilizat motor de cautare din intreaga lume, cu ajutorul caruia descoperim website-uri noi si ajungem la informatiile, produsele si serviciile de care suntem interesati. Google este una dintre cele mai importante inventii ale erei Internetului, fiind utilizat la scara globala atat in scop educativ sau de business, cat si pentru shopping si entertainment. Fara un motor de cautare, site-urile ar fi aproape innacesibile utilizatorilor, ramanand ascunse undeva in marele World Wide Web. 

Cu siguranta te-ai intrebat macar o data cum functioneaza un motor de cautare. La baza, acesta indeplineste trei functii esentiale: 
    • functia de scanare - cu ajutorul careia identifica continut nou pe Internet
    • functia de indexare - care consta in clasificarea si stocarea continutului pe serverele proprii
    • functia de afisare - listarea continutului in paginile de rezultate atunci cand utilizatorul efectueaza o interogare dupa un cuvant cheie; 
Iata, in continuare, mai multe detalii despre aceste 3 functii ale unui motor de cautare:

Scanarea
Cunoscuta si sub numele de "crawling", aceasta functie presupune detectarea fiecarei pagini web nou aparute si colectarea informatiilor de pe aceasta: titluri, imagini, text, cuvinte cheie, linkuri etc. Un bot automat, numit "spider" sau "crawler", viziteaza pagina dupa pagina cu o viteza foarte mare, utilizand structura de linkuri interne pentru a scana intreg website-ul. In prezent, un spider Google poate citi cateva mii de pagini pe secunda, aceasta viteza crescand pe zi ce trece.  
Astfel, la fiecare vizita a unui crawler, acesta colecteaza inclusiv linkurile externe (cele care fac trimitere catre un alt site), adaugandu-le la o lista lunga de adrese, pe care urmeaza sa le viziteze. De asemenea, de cate ori continutul paginilor deja indexate sufera modificari, crawlerii scaneaza din nou pagina pentru a o indexa cu continutul actualizat. 

Indexarea
Functia de indexare implica procesarea, clasificarea si stocarea paginilor web scanate in baza de date a motorului de cautare, care se regaseste pe servele sale proprii. Asemanator unei biblioteci imense, serverele Google stocheaza paginile web de pe Internet si le clasifica dupa familia semantica a continutului regasit pe acestea. Compania Google detine 16 Data Centers in intreaga lume (9 in SUA, 1 in America de Sud, 4 in Europa si 2 in Asia), acestea fiind pazite in conditii de maxima securitate. Practic, pe serverele Google se regaseste o copie offline a intregului World Wide Web.

Afisarea
Ultima dintre cele 3 functii, afisarea, implica un proces complex de returnare a celor mai relevante rezultate la interogarile efectuate de catre utilizatori in pagina de cautari. In acest proces, Google foloseste peste 200 de algoritmi si factori de listare pe baza carora ierarhizeaza site-urile in SERP (Search Engine Results Pages). Scopul final al unui motor de cautare este sa ofere utilizatorilor cele mai relevante rezultate la cautari, asadar o pagina web va ocupa pozitiile pe care algoritmii Google i le va aloca pentru a reflecta gradul sau de relevanta dupa anumite cuvinte cheie specifice familiei semantice de care apartine. 
Pentru a nu permite site-urilor cu continut irelevant sau de slaba calitate sa "manipuleze" algoritmii de listare, Google nu dezvaluie publicului cei mai multi factori de care tine cont in ierarhizarea site-urilor. In trecut, acesti algoritmi erau mai simpli, motiv pentru care multe site-uri de slaba calitate ajungeau in primele pozitii prin tehnici care nu aveau absolut nicio legatura cu calitatea continutului sau relevanta sa pentru utilizator. De exemplu, acum mai bine de 10 ani era suficient sa folosesti excesiv cuvinte cheie si sa obtii un numar mare de backlinkuri (de cele mai multe ori, contra-cost), pentru a aparea in prima pagina de rezultate Google. De-a lungul anilor, algoritmii au inceput sa devina din ce in ce mai complecsi si sa puna accentul pe calitatea continutului si experienta utilizatorilor, motiv pentru care astfel de tehnici invechite nu mai sunt valabile in prezent, si chiar prezinta un risc semnificativ de a primi o penalizare din partea lui Google. 

Care este viitorul motoarelor de cautare?

Incorporand din ce in ce mai mult tehnologie care are la baza inteligenta artificiala, viitorul celui mai popular motor de cautare din lume suna promitator, Google intentionand sa intampine cat mai precis nevoile utilizatorilor. Astfel, cautarile vocale (Google Voice Search) si Mobile-first Index au intrat deja in efect, iar Google SemanticExperiences, un nou tip de inteligenta artificiala, promite sa descifreze orice fel de limbaj. In scurt timp, vom putea purta convorbiri cu motorul de cautare, pentru a stabili cu exactitate pagina si continutul relevant pe care dorim sa le accesam.