Keelemudel

Keelemudel on arvutuslik mudel, mis ennustab järgnevusi loomulikus keeles. See on matemaatiline mudel, mis modelleerib jada elementide (näiteks loomulikus keeles tekstide puhul tähtede või sõnade) järgnevust, enamasti juhusliku protsessi kujul.

Keelemudelid etendavat keskset osa tänapäeva arvutilingvistikas ja on üks otsustav komponent selle praktilistes rakendustes, näiteks tekstigenereerimises masintõlke jaoks ja kõnetuvastuses. Tuntuks said need generatiivsete tehisarumudelite tulekuga. Näiteks on keelemudel ka juturoboti ChatGPT aluseks olev generatiivne eeltreenitud transformer ehk treenitud generatiivtransformer (GPT). Vaata ka suur keelemudel.

Matemaatiline kirjeldus

Keelemudelid modelleerivad jadasid (näiteks lauseid) elementide (näiteks tähtede või sõnade) järgnevustena. Stohhastilistes keelemudelites on need elemendid juhuslikud suurused ${\displaystyle X_{1},X_{2},\ldots }$ ja moodustavad diskreetse ajaga juhusliku protsessi. Selleks et sama mudelit saaks rakendada erineva pikkusega ${\displaystyle n}$ jadade korral, märgitakse nende algus ja lõpp tavaliselt täiendavate juhuslike suurustega ${\displaystyle X_{0}}$ ja ${\displaystyle X_{n+1}}$, millel on eriline väärtus (võimalik tähistus: ${\displaystyle \bot }$). Konkreetse jada ${\displaystyle w_{1},\ldots ,w_{n}}$ tõenäosust saab siis formuleerida konjunktsiooni

${\displaystyle P\left(X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\wedge X_{n+1}=\bot \right)}$ tõenäosusena.

Selle tõenäosuse sagedane lühinotatsioon on

${\displaystyle P\left(\bot ,w_{1},\ldots ,w_{n},\bot \right)}$.

Täieliku tõenäosuse seaduse järgi saab selle tõenäosuse kirjutada ka nii:

${\displaystyle {\begin{alignedat}{3}&P\left(X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\wedge X_{n+1}=\bot \right)&{}={}&&&P\left(X_{0}=\bot \right)\\&&&&{}\cdot {}&P\left(X_{1}=w_{1}\mid X_{0}=\bot \right)n\\&&&&{}\cdot {}&P\left(X_{2}=w_{2}\mid X_{0}=\bot \wedge X_{1}=w_{1}\right)\\&&&&&\vdots \\&&&&{}\cdot {}&P\left(X_{n}=w_{n}\mid X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n-1}=w_{n-1}\right)\\&&&&{}\cdot {}&P\left(X_{n+1}=\bot \mid X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\right){\text{.}}\end{alignedat}}}$

Ehk lühidalt:

${\displaystyle P\left(\bot ,w_{1},\ldots ,w_{n},\bot \right)=P\left(\bot \right)\cdot P\left(w_{1}\mid \bot \right)\cdot P\left(w_{2}\mid \bot ,w_{1}\right)\cdot \cdots \cdot P\left(w_{n}\mid \bot ,w_{1},\ldots ,w_{n-1}\right)\cdot P\left(\bot \mid \bot ,w_{1},\ldots ,w_{n}\right)}$.

Sõnadega: jada tõenäosus on korrutis järjekordsete elementide tõenäosustest eelnevate elementide korral.

Et mudelis kasutatakse ${\displaystyle X_{0}}$ korral alati väärtust ${\displaystyle \bot }$ (${\displaystyle X_{0}=\bot }$ peaaegu kindel), siis${\displaystyle P(X_{0}=\bot )=1}$. Selle teguri võib seetõttu välja jätta.

Erinevad stohhastilised keelemudelid erinevad selle poolest, kuidas nad modelleerivad tinglikke tõenäosusi ${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)}$. Juhtumit ${\displaystyle w_{i}=\bot }$ ei pruugita käsitleda eraldi. Sel juhul käsitletakse seda nii, nagu ${\displaystyle \bot }$ oleks ka jada element (näiteks sõna).

Artikli kirjutamine on sel kohal jäänud pooleli, jätkamine on kõigile lahkesti lubatud. (Veebruar 2026)

Viited

Vaata ka

• GPT-3
• Hallutsineerimine
• Statistiline masintõlge