Ўқитиш маълумотлари
Training data
Модел ўқитиладиган улкан матн, расм, овоз ва код тўплами; модел нимани билиши ва нимани билмаслиги шунга боғлиқ.
Модел ҳеч нарсани туғма билмайди. Унинг бор билими ўқитиш маълумотларидан келади. Тил моделлари учун булар интернетдаги саҳифалар, китоблар, илмий мақолалар ва дастур кодлари. Аввал улар тозаланади: реклама, такрорлар ва зарарли матнлар олиб ташланади. Натижада триллионлаб сўздан иборат улкан кутубхона ҳосил бўлади.
Мисол: Meta ўзининг энг катта Llama моделини 15 триллион токендан ортиқ матнда ўқитганини эълон қилган.
Ошпазни эсланг. Энг моҳир ошпаз ҳам сифатсиз гуруч ва гўштдан яхши ош дамлай олмайди. Модел ҳам шундай: маълумот қандай бўлса, натижа ҳам шунга яраша.
Бундан учта муҳим нарса келиб чиқади:
- Билим чегараси. Маълумот маълум санагача йиғилган, ундан кейинги воқеаларни модел ўзи билмайди.
- Тил фарқи. Интернетда ўзбекча матн кам. Шунинг учун моделлар ўзбек тилини инглизчадан заифроқ билади ва маҳаллий мавзуларда кўпроқ адашади.
- Тарафкашлик. Маълумотдаги қарашлар ва хатолар моделга ҳам ўтади.
Хато тушунча: "модел ўқиган ҳамма нарсасини сўзма-сўз сақлаб қўйган". Аслида у асосан матнлардаги қонуниятларни ўрганади, кутубхонанинг нусхасини эмас.