Ciekawostki / modele językowe

Jak działa LLM

Model językowy nie myśli i nie szuka w bazie faktów. Liczy prawdopodobieństwa, czyta kontekst i zgaduje kolejny token. Poniżej 38 ciekawostek, które pokazują, co z tego wynika w praktyce.

Co się dzieje z jednym zdaniem

pięć kroków, jeden token na raz
  1. 01 · Tekst

    „Latem w Polsce pada”

    Zdanie od użytkownika. Na tym etapie to jeszcze zwykłe znaki.

  2. 02 · Tokeny
    LatemwPolscepada

    6 tokenów · 4 słowa

    Model dzieli tekst na kawałki. Jedno słowo może być kilkoma tokenami.

  3. 03 · Wektory

    0,21 · −0,08 · 0,44 …

    Każdy token zmienia się w listę liczb, czyli pozycję w przestrzeni znaczeń.

  4. 04 · Uwaga
    • Latem55%
    • Polsce30%
    • pada15%

    Tokeny patrzą na siebie. Waga mówi, jak mocno jeden wpływa na drugi.

  5. 05 · Token

    deszcz

    Model wybiera jeden token z rozkładu i dopisuje go do zdania.

Mapa kursu

Trzy części i 18 rozdziałów. Kliknij rozdział albo ciekawostkę, żeby przejść do treści.

4 rozdziałów · 8 ciekawostek

Jak czytać tę listę

Prosto

Każda ciekawostka zaczyna się od jednego zdania, które wystarczy znać, żeby zabłysnąć w rozmowie.

Głębiej

Po rozwinięciu karty dochodzą szczegóły: co dokładnie się dzieje i gdzie ludzie najczęściej się mylą.

Na żywo

Trzy ciekawostki mają demo. Można sprawdzić tokenizację, temperaturę próbkowania i uwagę bez instalowania czegokolwiek.

Filtruj po części kursu

38 z 38 ciekawostek

Fundamenty

Matematyka, Python, sieci neuronowe i NLP. Wystarczy tyle, żeby zrozumieć resztę.

Matematyka

Python i dane

Sieci neuronowe

Przetwarzanie języka

Naukowiec

Jak powstaje model: architektura, dane, trening, ocena i kompresja.

Architektura LLM

Jeden blok transformera
tokeny
powtarzane w każdej warstwie× N
attentionadd & normfeed-forwardadd & norm
logity

Uwaga miesza informację między tokenami, feed-forward przetwarza każdy token osobno. Dodawanie resztowe sprawia, że sygnał nie ginie po drodze.

Pre-training

Od danych do modelu
  1. 01Dane15 bln tokenów
  2. 02Filtrjakość i język
  3. 03Deduplikacjabez powtórek
  4. 04Tokenizacjakawałki tekstu
  5. 05Treningtysiące kart
  6. 06Modelgotowe wagi

Najdroższy etap to nie liczenie, tylko przygotowanie materiału. Duplikaty i śmieciowe treści uczą model złych wzorców.

Zbiory po treningu

Supervised fine-tuning

Preference alignment

Ocena modeli

Kwantyzacja

Ten sam model 7B w trzech formatach
  • FP1614 GBoryginalne wagi
  • INT87 GBpołowa pamięci
  • INT43,5 GBćwiartka pamięci

Im mniej bitów, tym mniej pamięci i szybszy start, ale większe ryzyko utraty precyzji. Rzeczywisty rozmiar pliku zależy od metody i kontekstu.

Nowe kierunki

Inżynier

Jak z modelu zrobić działającą aplikację: wyszukiwanie, agenci, wydajność.

Uruchamianie modeli

Baza wektorowa

RAG

Dwie pętle RAG

Indeksowanie

  1. 01DokumentPDF, strona, notatka
  2. 02Podziałchunki po kilkaset tokenów
  3. 03Embeddingkażdy chunk jako wektor
  4. 04Bazawektory i metadane

Odpowiedź

  1. 01Pytanietekst użytkownika
  2. 02Embeddingten sam model
  3. 03Wyszukiwanienajbliższe chunki
  4. 04Promptpytanie i kontekst

Indeksowanie robi się raz, przy dodawaniu dokumentów. Wyszukiwanie powtarza się przy każdym pytaniu, dlatego liczy się jego czas.

Zaawansowany RAG

Agenci

Optymalizacja wnioskowania

Skąd pochodzą te ciekawostki

Podstawa merytoryczna to kurs LLM Course Maxime Labonne. Podział na części i rozdziały odpowiada strukturze kursu, a treść jest polskim opracowaniem, nie tłumaczeniem. Tam, gdzie kurs upraszcza, mówimy o tym wprost: na przykład FlashAttention nie zmienia złożoności obliczeń, tylko sposób zarządzania pamięcią.

Chcesz wejść głębiej? Zajrzyj do kursu. Każda ciekawostka ma też własny adres, który można komuś wysłać.