Token

Til modeli matnni harfma-harf ham, soʻzma-soʻz ham oʻqimaydi. U matnni tokenlarga boʻladi. Qisqa va koʻp uchraydigan soʻz odatda bitta token boʻladi, uzun yoki kam uchraydigan soʻz esa bir nechta boʻlakka boʻlinadi. Model ichida har bir token raqamga aylantiriladi.

Birinchi sinf oʻquvchisini eslang: u yangi soʻzni boʻgʻinlab oʻqiydi. Model ham notanish soʻzni boʻlaklab "oʻqiydi", tanish soʻzni esa bir butun koʻradi.

Misol: "kitoblarimizdan" kabi uzun oʻzbekcha soʻz bir nechta tokenga boʻlinishi mumkin, taxminan "kitob", "lar", "imiz", "dan" kabi. Aniq boʻlinish modelga qarab farq qiladi. Modellar inglizcha matnni koʻproq koʻrgani uchun inglizcha soʻzlar koʻpincha kamroq boʻlakka boʻlinadi.

Token nega muhim?

• Yopiq modellarda API orqali ishlaganda har bir token uchun pul toʻlanadi.
• Kontekst oynasining hajmi ham tokenlarda oʻlchanadi.
• Model soʻzni harflar emas, boʻlaklar koʻrinishida koʻrgani uchun "bu soʻzda nechta harf bor?" kabi savollarda ilgari tez-tez adashardi.

Xato tushuncha: "bitta token bitta soʻzga teng". Baʼzan shunday, lekin koʻpincha emas.