Kilka słów o Google BERT

Ten jak, jest tak włochaty, jak nasz pies. I kto może być bardziej wolny od kogoś wolnego? 

O nowym algorytmie słyszał chyba każdy w branży. Wiele osób traktowało go jak problem, który wpłynie na wyniki pozycjonowanych przez nich stron. Inni podchodzili do niego z dystansem lub zobojętnieniem. Była jednak grupa osób, czekających na nowy algorytm Google z podekscytowaniem. Nie ukrywam, że właśnie do nich jest mi najbliżej. Czym jednak jest BERT? Jak działa i co może zmienić w procesie pozycjonowania? To właśnie omawiam w poniższym artykule.

Google BERT to algorytm stworzony po to, by pomóc w lepszym, łatwiejszym zrozumieniu języka naturalnego, zwłaszcza w procesie wyszukiwania oraz interpretacji intencji użytkownika. Jeśli chodzi o samo pozycjonowanie, to optymistycznie przewidywano, że wdrożenie omawianego algorytmu wpłynie na około 10 procent zapytań. Jeśli o mnie chodzi, to do takich prognoz mi daleko, 7-8 procent to maksymalna wartość.

Google wdrażając algorytm BERT przyjęło konkretne założenie – połączyć profilowanie użytkownika wprowadzającego zapytanie z właściwą interpretacją jego intencji. Ta stosunkowo prosta koncepcja, to prawdziwa rewolucja w indeksowaniu stron www. BERT powinien być postrzegany nie jako zwykła aktualizacja algorytmiczna w wyszukiwarce Google, ale przede wszystkim sposób wydajnego, maszynowego uczenia się języka naturalnego.

Czym jest Google BERT?

Kojarzysz poznańską gwarę? Jeśli tak, to pewnie wiesz, że dla osób spoza Poznania może być ona niekiedy ciężka do zrozumienia. Podobnie wygląda sytuacja z pełną nazwą algorytmu Google Bert. Mimo wszystko chcesz spróbować? Ok, do dzieła! BERT to skrót od Bidirectional Encoder Representations from Transformes (dwukierunkowe reprezentacje enkoderów od transformerów). Ciężko cokolwiek z tego zrozumieć, brzmi, jak czarna magia prawda?

Spróbujmy go w takim razie odczarować. Chociaż BERT jest najbardziej znany, jako przedsięwzięcie giganta z Mountain View, to także projekt badawczy typu Open Source i stojący za nim artykuł akademicki (link poniżej). W koncepcji Google ma on na celu zwiększenie zrozumienia rozmaitych niuansów językowych i kontekstu wyszukiwanych słów, a co za tym idzie trafności wyników (co przy okazji wpłynie na proces pozycjonowania).

BERT: Wstępny trening głębokich transformatorów dwukierunkowych na potrzeby zrozumienia języka. Autorzy: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
>> Kliknij tutaj <<

Wreszcie, BERT to platforma NLP, a więc rozwiązanie służące do przetwarzania języka naturalnego (NLP – natural language processing).

Kiedy piszę ten artykuł, kurz po wdrożeniu zdążył już opaść, a pierwsze korekty działań związanych z pozycjonowaniem i przetasowania wyników wyszukiwania również są za nami. Musimy pamiętać, że algorytm Google BERT nie do końca jest czymś nowym. Już przed jego wdrożeniem w sieci można było znaleźć szereg prac dotyczących NLP w kontekście owego algorytmu. Google oczywiście udoskonaliło go, połączyło ze sobą szereg dostępnych funkcjonalności, co zaowocowało przełomowym rozwiązaniem.

O jakiej skali przełomowości tutaj mówimy? Cóż, wykorzystanie przez Google projektu open source zmieniło przetwarzanie języka naturalnego na zawsze. Rozumienie języka zostało przyspieszone, szczególnie poprzez – co zauważa społeczność NLP – przeczytanie całej anglojęzycznej Wikipedii, liczącej 2500 milionów słów. Kosmos. Google BERT jest też zoptymalizowany pod kątem konkretnych zestawów pytań i odpowiedzi. Tutaj pojawia się wątek współpracy gigantów, ponieważ jeden z takich zestawów o nazwie MS MARCO opracował Microsoft, implementując pytania faktycznie zadane poprzez wyszukiwarkę Bing.

Wiele dużych, a więc bogatych firm buduje swoje wersje BERT:

• Microsoft rozszerza BERT o MT-DNN (Multi Task Deep Natural Network),
• Facebook rozwija RoBERTa,
• Benchmark stworzył SuperGLUE.

Google BERT na dobre rozwiązuje szereg wyzwań. Tylko, czy aby na pewno?

Język, którym się posługujemy tylko nam, ludziom, wydaje się zupełnie naturalny i w pełni zrozumiały. Od początku ery komputerów, problem stanowiło jego przełożenie na komunikaty zrozumiałe dla maszyn. Jasne, stosunkowo proste konstrukcje językowe nie są dziś problemem, ale te trudniejsze, oparte o kontekst, intencje, niuanse – już tak. Tutaj pojawia się Google BERT, a więc coś więcej niż zwyczajny algorytm mający wpływ na pozycjonowanie.

Problem ze… słowami

Słowa są wszędzie, a ich liczba nieustannie rośnie. Ten artykuł to kolejne kilka tysięcy znaków dorzuconych do niemal nieskończonej puli. Co więcej, są problematyczne, wieloznaczne, czasem synonimiczne. Niekiedy same znaczą jedno, by w parach, trójkach, czy dłuższych zdaniach znaczyć coś zupełnie innego. Google BERT ma pomóc rozwiązać ten problem. W założeniu będzie on potrafił rozstrzygnąć, czy np. pokój użyty w zapytaniu, to czas bez wojny, czy pomieszczenie.

Niejednoznaczność i polisemia

Słowo może mieć wiele znaczeń, to już wiemy. Dodatkowo istnieją np. homofony, a więc słowa dźwiękowo identyczne, jednak różniące się od siebie zapisem, np. morze i może, jak również konstrukcje typu four candles i fork handles (musimy pamiętać, że Google BERT operuje w wielu językach). Ludzki umysł bierze pod uwagę kontekst, potrafi myśleć abstrakcyjnie, dysponuje zwykłym rozsądkiem. Maszyna nie, dlatego powstał BERT.

Kontekst słowa

Słowa to pojedyncze klocki, które – wraz z szeregiem zasad – budują język. Ich prawdziwe znaczenie objawia się, dopiero gdy zostają użyte w konstrukcjach językowych. Osadzamy je wtedy w określonym kontekście, a ich pierwotne znaczenie może ulec zmianie.

Ten jak, jest tak włochaty, jak nasz pies.

W powyższym zdaniu dwukrotnie występuje słowo jak. Za każdym razem ma inne znaczenie, mamy do czynienia z wyrazem homonimicznym. To doskonały przykład tego, jak kontekst definiuje znaczenie. Im dłuższe zdanie, złożone z większej liczby wyrazów, tym ciężej jasno go określić i wyłapać wszelkie niuanse.

Po poznańsku – a więc zrozumiale – o NLR i o tym, jak wyszukiwarki wypełniają luki

Na wstępie musimy jasno określić jedną rzecz. NLR, czyli Natural Language Recognition nie polega na rozumieniu, a jedynie rozpoznawaniu. Chcąc zrozumieć język naturalny, musimy zrozumieć kontekst.

Znaczenie podstawowe wyrazu to nie wszystko. Musi ono zostać osadzone w kontekście wypowiedzi. Dopiero wtedy możemy ocenić, czy jest poprawne, a jeśli nie, to jak się zmieniło.

Pomocne w takiej ocenie może być rozpoznawanie zdań, konstrukcji, pojedynczych wyrazów, które współwystępują ze sobą najczęściej. W tej sytuacji współwystępowanie zapewnia kontekst, zmienia znaczenie słowa. Wyrazy dzielące zbliżone zdania, są często ze sobą silnie powiązane. Modele NLP poznają odległości, podobieństwa i pokrewieństwa słów, by lepiej je rozumieć.

Jak działa Google BERT i czym różni się od wcześniejszych modeli NLP?

Co świadczy o wyjątkowości algorytmu Google BERT? Przede wszystkim, wspominany już wielokrotnie kontekst. Poprzednie modele językowe wykorzystywały bezkontekstowe osadzanie słów, co w efekcie wielokrotnie sprawiało, że odpowiedź w żaden sposób nie korespondowała z zapytaniem. BERT zapewnia zrozumienie tła wypowiedzi. Aby lepiej to pojąć, warto przyjrzeć się pełnemu rozwinięciu skrótu BERT.

B – Bidirectional

Dotychczasowe modele były jednokierunkowe. Oznacza to, że analizując daną konstrukcję językową, mogły przesuwać okno kontekstowe wyłącznie w jednym kierunku, od lewej do prawej bądź odwrotnie. Ponadto nie w tym samym czasie. Google BERT analizuje zdanie dwukierunkowo, co więcej może analizować zarówno całe zdanie, jak i pojedyncze słowa, a wszystko to jednocześnie.

ER – Encoder Representations

To, co zostaje zakodowane, jest też dekodowane. To prosty mechanizm wejścia i wyjścia.

T – Transformatory

BERT używa transformatorów i zamaskowanego modelowania języka. Tutaj znowu pojawia się wiecznie problematyczny kontekst. To właśnie kłopoty z jego odczytaniem w przeszłości burzyły rozmaite modele NLP. Spójrzmy na przykład na zaimki. Często nawet ludzie w ciągu dłuższej, wieloosobowej dyskusji przestają się orientować, do kogo kierowany był konkretny komunikat. Problem z tym mają również wyszukiwarki, a to tylko jedna ze zmiennych.

Jeśli chodzi o algorytm Google BERT, to działa on w następujący sposób: część transformatorów skupia się właśnie na zaimkach oraz możliwych znaczeniach słów idących w parze, aby powiązać to z kim i o czym się rozmawia, biorąc pod uwagę kontekst. Maskowanie z kolei polega na nakładaniu maski na konkretne słowo, co finalnie zmusza algorytm do jego odgadnięcia, bazując na dostępnych informacjach, a więc słowach otaczających lukę. Pomaga w tym opisywane wcześniej rozpoznawanie określonych konstrukcji, czy nauka współwystępowania. To także część procesu dostrajania algorytmu BERT.

Wyjaśnijmy sobie, jakie rodzaje zadań realizuje Google BERT?

Aby BERT był skuteczny, musi działać na wielu polach. Jego konstrukcja umożliwia nie tylko określenie podmiotu wypowiedzi, ale też – uwaga – przewidywanie treści następnego zdania na podstawie dostępnego tekstu. Co więcej, Google BERT potrafi zaproponować odpowiedź na zadane pytanie, określić znaczenie słowa osadzonego w kontekście, podsumować zagadnienie oraz rozwiązać kłopot polisemii.

Nie wiem, jak sprawa wygląda za granicą, ale w Poznaniu wszyscy jesteśmy zgodni, ten Google BERT to mały geniusz!

Jak Google BERT wpłynie na wyszukiwanie i pozycjonowanie?

Wdrożenie algorytmu BERT to według mnie krok milowy dla Google. Pomoże on wyszukiwarce w lepszym zrozumieniu języka, jakim posługują się jej użytkownicy. Skoro BERT jest w stanie wyłapać wszelkie niuanse językowe, to oczywiste, że zmieni się interpretacja mnóstwa zapytań. Co za tym idzie, strony, które były pod pewne zapytania pozycjonowane mogą to wyraźnie odczuć. Przewiduję, że rozpowszechnienie wyszukiwania głosowego (voice search) będzie ściśle skorelowane z udoskonalaniem omawianego algorytmu. Ma to związek z tym, że zapytania głosowe są z natury dłuższe, a więc trudniejsze do interpretacji.

Pozycjonujesz? Spodziewaj się dużych przetasowań w wynikach SERP!

Google BERT działa już w wielu krajach. Tym samym potrafi pracować z wieloma językami. Co niezwykle ważne, szereg wzorców może być przeniesionych z jednego języka w drugi, co znacznie ułatwia naukę i pracę. Dzieje się tak nawet w przypadku, gdy algorytm niekoniecznie rozumie sam język. Wystarczy, że poznane konstrukcje językowe są zbieżne.

Na koniec chciałem na przykładzie pokazać, z jakimi trudnościami musi mierzyć się Google BERT. Myślę, że to uświadomi wielu osobom jego potencjał.

Omówmy przykładowe połączenie z niektórymi rzeczownikami. Polskie słowo wolny znaczy tyle co za darmo. Na przykład wstęp wolny. Równokształtność słowa wolny oznaczającego niezwykle pożądaną cechę swobody niezależności i słowa wolny odnoszącego się do niezwykle mało pożądanej cechy powolności. Wolny swobodny może być ten kto może być też w niewoli. Człowiek, grupa ludzi, naród kraju i nasz młodszy brat  zwierzę. Powolny ten co się porusza, ten co może być też szybki. Człowiek i zwierze również. Ale i same słowa bliźniaki starają się różnić. Przymiotniki takie same zgoda, odmieniają się tak samo przez rodzaje, liczby, ale stopniowanie jest już inne. Ten powolny jest kimś wolnym; jest wolniejszy i najwolniejszy.  Ale kto może być bardziej wolny od kogoś wolnego? Podobnie z przymiotnikami intensyfikującymi cechy. Wolniutki to tylko bardzo powolny, nie bardzo swobodny. Przysłówek wolno odnosi się głównie do tego, ze gdy słyszymy, że ktoś się wolno porusza to myślimy raczej o kimś powolnym niż o kimś chodzącym swobodnie. Choć i takie odniesienie jest możliwe. Jeśli chcemy zatem szukać pokrewieństwa pomiędzy wolnym i wolnym, mam pewien dylemat. Czy jeśli robimy coś powoli, dlatego że postępujemy według władnej woli- po woli, czy też dlatego, że jesteśmy pod wpływem czyjejś woli- będąc temu komuś powolnymi. Nie da się tego z pewnością szybko wyjaśnić.

(wypowiedź prof Bralczyka zanotowana z pamięci po wystąpieniu w Polskim Radio)