Jak algorytm BERT zmienia przetwarzanie języka naturalnego

BERT (Bidirectional Encoder Representations from Transformers) to model języka opracowany przez badaczy Google AI i opisany w publikacji z października 2018 roku. W wyszukiwarce Google zaczął działać w październiku 2019 roku (na początku dla angielskich zapytań), a w grudniu 2019 roku rozszerzono go na ponad 70 języków. BERT pomaga Google rozumieć kontekst słów w zapytaniu, zwłaszcza małych słów, takich jak przyimki, które zmieniają sens całej frazy. Nie da się go „zoptymalizować”: najlepsze, co możesz zrobić, to pisać jasno i naturalnie.

Jak BERT różni się od poprzednich modeli NLP

Starsze modele, takie jak LSTM czy GRU, przetwarzały tekst słowo po słowie, zwykle od lewej do prawej. BERT opiera się na architekturze Transformer i analizuje całe zdanie naraz, więc znaczenie każdego słowa zależy zarówno od tego, co stoi przed nim, jak i po nim (stąd „dwukierunkowy”).

Przykład podany przez Google przy premierze: w zapytaniu „2019 brazil traveler to usa need a visa” kluczowe jest słowo „to”. Starsze systemy mogły je pominąć i pokazać wyniki dla Amerykanów podróżujących do Brazylii, a BERT rozumie kierunek podróży. W języku polskim podobną rolę odgrywają przyimki i końcówki fleksyjne, np. „bilet do Krakowa” a „bilet z Krakowa”.

Główne cechy i innowacje wprowadzone przez BERT

Najważniejsze cechy BERT-a:

• Pre-trening na dużych zbiorach tekstu. Model uczy się najpierw ogólnych zależności językowych (w oryginale na Wikipedii i zbiorze książek), a dopiero potem jest dostrajany do konkretnego zadania, np. klasyfikacji czy odpowiadania na pytania. Dzięki temu do dostrojenia wystarcza mniej danych.
• Masked Language Model (MLM). Podczas treningu losowe słowa w zdaniu są ukrywane, a model ma je odgadnąć na podstawie otoczenia. To zmusza go do uczenia się kontekstu z obu stron.
• Przewidywanie kolejnego zdania. Drugie zadanie treningowe polega na ocenie, czy dwa zdania występują po sobie w tekście.

Praktyczne zastosowania BERT w przetwarzaniu języka

W Google BERT jest używany do lepszego rozumienia zapytań i fragmentów tekstu na stronach, co wpływa na to, jakie wyniki wyszukiwania i fragmenty wyróżnione zobaczysz. Google informował, że w chwili premiery dotyczył około 1 na 10 zapytań w języku angielskim w USA.

Poza wyszukiwarką modele z rodziny BERT stosuje się w klasyfikacji tekstów, analizie sentymentu opinii, systemach odpowiadania na pytania i rozpoznawaniu nazwanych jednostek (osób, miejsc, firm). Są dostępne jako otwarte modele, także w wersjach wytrenowanych na języku polskim.

Co BERT oznacza dla SEO

Google wprost zaznacza, że na BERT nie ma sposobu optymalizacji. Wpływ na praktykę SEO jest pośredni:

• Pisz pełnymi, poprawnymi zdaniami dla czytelnika. Upychanie fraz w nienaturalnej formie nie pomaga, bo Google lepiej rozumie sens niż dopasowanie słów.
• Dopasuj treść do intencji zapytania. Przy fraz długich i pytających (np. „czy można odliczyć VAT od samochodu”) odpowiadaj wprost, najlepiej w pierwszym akapicie sekcji.
• Nie zakładaj, że każda odmiana frazy wymaga osobnej podstrony. Zapytania o tym samym sensie często obsługuje jedna dobrze napisana strona.

BERT to tylko jeden z elementów rozumienia języka w Google, obok RankBrain i późniejszego modelu MUM. Zobacz też, jak działa algorytm Google.

Co po BERT-cie

BERT zapoczątkował falę modeli opartych na Transformerach. Dziś Google łączy je z modelami generatywnymi (Gemini) w funkcjach takich jak AI Overviews, które tworzą podsumowania odpowiedzi nad klasycznymi wynikami. Dla SEO oznacza to nadal to samo: jasne, wiarygodne treści, które odpowiadają na konkretne pytania, i dobra struktura strony ułatwiająca wyciągnięcie odpowiedzi.

ALGORYTM BERT – FAQ