AI modellari qanday yaratiladi?

ChatGPTʼga savol berasiz, u bir zumda javob yozadi. Koʻpchilik bu javoblarni kimdir oldindan yozib qoʻygan, deb oʻylaydi. Aslida ChatGPTʼning birorta ham javobini dasturchi yozmagan.

Dasturchilar modelga bilim yozib bermaydi. Ular faqat oʻrganish usulini yozadi. Bilimni esa model oʻzi, ulkan hajmdagi matnlarni oʻqib oʻrganadi. Bu jarayon toʻrt bosqichdan iborat. Keling, ularni birma-bir koʻrib chiqamiz.

1. Maʼlumot yigʻish

Har qanday oʻqish kitobdan boshlanadi. Model uchun "kitob" bu internetdagi sahifalar, kitoblar, ilmiy maqolalar va dastur kodlari.

Lekin internetda hamma narsa ham foydali emas. Shuning uchun yigʻilgan matnlar avval tozalanadi: reklamalar, bir xil takrorlanadigan sahifalar va zararli matnlar olib tashlanadi. Buni kutubxonachining ishiga oʻxshatish mumkin. U javonga faqat kerakli kitoblarni qoʻyadi, keraksiz qogʻozlarni chiqarib tashlaydi.

Natijada trillionlab soʻzdan iborat ulkan kutubxona hosil boʻladi. Bu modelning oʻqitish maʼlumotlari. Model keyinchalik nimani bilsa, aynan shu kutubxonadan biladi.

2. Oldindan oʻqitish (pre-training)

Endi model shu kutubxonani oʻqiy boshlaydi. Uning vazifasi juda oddiy: matndagi keyingi soʻzni taxmin qilish.

Tasavvur qiling, siz kitob oʻqiyapsiz va kimdir har safar keyingi soʻzni barmogʻi bilan yopib turibdi. Siz "Men maktabga..." degan joyni oʻqib, keyingi soʻz "boraman" boʻlsa kerak, deb taxmin qilasiz. Keyin barmoq ochiladi va toʻgʻri javobni koʻrasiz. Model ham xuddi shunday qiladi, faqat milliardlab marta.

Boshida model deyarli har safar xato qiladi. Har bir xatodan keyin u oʻzini ozgina tuzatadi: ichidagi milliardlab sonlar, yaʼni parametrlar biroz oʻzgaradi. Bitta tuzatish deyarli hech narsa bermaydi. Lekin milliardlab tuzatishdan keyin model tilni, faktlarni va hatto mantiqni ham "his qila" boshlaydi.

Bunday oʻqitish oddiy kompyuterda boʻlmaydi. Buning uchun GPU deb ataladigan maxsus hisoblash chiplari kerak. Katta model oʻn minglab shunday chiplarda oylab oʻqitiladi.

Raqamlar bilan koʻrsak:

• Meta 2024-yilda oʻzining eng katta Llama modelini 15 trillion tokendan ortiq matnda va 16 mingta GPUʼda oʻqitganini eʼlon qilgan. Token soʻzning bir boʻlagi, model matnni shunday boʻlaklarga boʻlib oʻqiydi.
• DeepSeek oʻzining V3 modelining yakuniy oʻqitishiga taxminan 5,6 million dollar ketganini aytgan. Bu faqat oxirgi oʻqitishning narxi. Undan oldingi tajribalar va izlanishlar bu summaga kirmaydi.
• OpenAI rahbari Sam Altman esa 2023-yilda GPT-4 modelini oʻqitish 100 million dollardan qimmatga tushganini aytgan.

Yopiq modellarni chiqaradigan kompaniyalar odatda qancha maʼlumot va qancha kompyuter ishlatganini, modeli qanchalik katta ekanini oshkor qilmaydi. Ularning maʼlumotlari va usullari eng katta boyligi hisoblanadi.

Bu bosqichdan keyin model koʻp narsani biladi. Lekin u hali yordamchi emas. Uni "xom model" deyish mumkin. U faqat matnni davom ettirishni biladi. Masalan, unga savol yozsangiz, javob berish oʻrniga yana bir nechta savol yozib ketishi mumkin. Chunki internetda savollar koʻpincha roʻyxat boʻlib, ketma-ket keladi.

3. Qoʻshimcha oʻqitish (post-training)

Xom modelni yordamchiga aylantirish uchun uchinchi bosqich kerak. Buni universitetni tugatgan bitiruvchiga oʻxshatish mumkin. U koʻp narsani biladi, lekin ishga kirganda baribir tajribali ustoz yonida oʻrganadi.

Avval fine-tuning, yaʼni nozik sozlash boʻladi. Modelga odamlar yozgan minglab namunaviy savol-javoblar koʻrsatiladi: "mana shunday savolga mana shunday javob berish kerak". Model shu namunalardan yordamchi kabi gapirishni oʻrganadi.

Keyin odamlar modelning javoblarini baholaydi: qaysi biri yaxshi, qaysi biri yomon. Xuddi oʻqituvchi insho tekshirgandek. Model yaxshi deb topilgan javoblarga qarab oʻzini sozlaydi. Bu usul inson fikri bilan oʻqitish deyiladi.

Xavfsizlik qoidalari ham shu bosqichda oʻrgatiladi. Masalan, kimdir bomba yasashni soʻrasa, model bunga javob bermasligi kerak. Model buni oʻzi bilmaydi, unga aynan shu yerda oʻrgatiladi.

Eng yangi modellarga esa matematika va kod masalalarini yechtirib, "oʻylash" ham oʻrgatiladi. Bunday model javob berishdan oldin masalani qadamma-qadam oʻylab chiqadi.

Bu yerda muhim bir narsa bor. Ochiq modellarda bu bosqichni boshqa kompaniyalar ham qila oladi. Masalan, DeepSeek kompaniyasi va Kimi modelini yaratgan Moonshot AI oʻz modellarini ochiq eʼlon qilgan. Kichikroq kompaniyalar oldindan oʻqitishni noldan qilmaydi. Ular tayyor ochiq modelni olib, ustidan oʻz maʼlumotlari bilan qoʻshimcha oʻqitadi. Masalan, Cursor dasturlash vositasi oʻz modelini Kimi ochiq modeli ustiga qurgan. Shuning uchun bitta ochiq modeldan koʻplab "farzand" modellar paydo boʻladi.

4. Xizmat qilish

Model tayyor. Endi uni odamlar ishlatishi kerak. Tayyor model ulkan maʼlumot markazlaridagi serverlarda ishga tushiriladi.

Siz xabar yozasiz, xabaringiz internet orqali serverga boradi. Model javobni birdaniga emas, boʻlakma-boʻlak, token-token qilib hosil qiladi va sizga qaytaradi. Shuning uchun chatda javob xuddi kimdir yozayotgandek asta-sekin chiqadi.

Bu yerda yopiq va ochiq modellar oʻrtasidagi farq koʻrinadi:

• Yopiq modellarga faqat kompaniyaning oʻz ilovasi yoki API orqali kirasiz. API dasturlar modelga toʻgʻridan-toʻgʻri murojaat qiladigan "eshik". Bunda har bir token uchun pul toʻlanadi.
• Ochiq modellarni esa yuklab olib, oʻz serveringizda ishlatish mumkin. Yoki ularni oʻz serverida oʻrnatgan boshqa kompaniyalar orqali ishlatasiz.

Oxirgi qatlam: ilova

Koʻpchilik ChatGPT, Claude yoki Gemini ilovasini modelning oʻzi deb oʻylaydi. Aslida ilova bu model atrofidagi qobiq. Uni piyozga oʻxshatish mumkin: oʻrtada model, uning atrofida esa bir necha qatlam bor.

Birinchi qatlam tizim koʻrsatmalari. Bu modelga kimligini, qanday gapirishini va nima qilmasligini aytadigan uzun matn. Siz har safar savol yozganingizda, ilova shu matnni savolingizga qoʻshib, modelga yuboradi. Siz uni koʻrmaysiz, lekin model uni har safar oʻqiydi. Anthropic hatto oʻz ilovasidagi shu koʻrsatmalarni ochiq eʼlon qilib boradi.

Ilova javoblarni ham tekshirishi mumkin. Model javobi sizga yetib kelishidan oldin, unda oshkor qilinmasligi kerak boʻlgan narsa bor-yoʻqligi koʻrib chiqiladi.

Keyingi qatlam vositalar: internetda qidirish, rasm chizish, fayllar bilan ishlash, xotira. Model oʻzi faqat matn hosil qiladi. Vositalar esa unga "qoʻl" beradi.

Koʻrsatmalar va vositalarning hammasi birgalikda inglizcha harness deb ham ataladi. Soʻzma-soʻz tarjimasi "jabduq": otni aravaga ulab, uni kerakli tomonga yurgizadigan narsa. Hozir bu qatlam juda katta ahamiyatga ega.

Shuning uchun bitta model turli ilovalarda turlicha ishlaydi. Bitta Claude modeli chat ilovasida suhbatdosh boʻladi. Dasturchilar uchun moʻljallangan ilovada esa kodni oʻzi yozadi va oʻzi tekshiradi. Farq modelda emas, uning atrofidagi koʻrsatma va vositalarda. Bir xil savolga ikki xil ilovada ikki xil javob olsangiz, sababi koʻpincha shu.

Bir jumlada

Model oylab oʻqitilgan miya. Ilova esa unga berilgan koʻrsatma va qoʻllar.

Keyingi qismda

Ilovalar modelni koʻrsatmalar bilan boshqaradi. Siz ham shunday qila olasiz. Bir xil savol, bir xil AI, lekin javoblar yer bilan osmoncha farq qilishi mumkin. Sababi soʻrash usulida. Keyingi qismda AI bilan qanday qilib toʻgʻri gaplashishni, unga aniq topshiriq berishni oʻrganamiz.