AI моделлари қандай яратилади?

ChatGPTʼга савол берасиз, у бир зумда жавоб ёзади. Кўпчилик бу жавобларни кимдир олдиндан ёзиб қўйган, деб ўйлайди. Аслида ChatGPTʼнинг бирорта ҳам жавобини дастурчи ёзмаган.

Дастурчилар моделга билим ёзиб бермайди. Улар фақат ўрганиш усулини ёзади. Билимни эса модел ўзи, улкан ҳажмдаги матнларни ўқиб ўрганади. Бу жараён тўрт босқичдан иборат. Келинг, уларни бирма-бир кўриб чиқамиз.

1. Маълумот йиғиш

Ҳар қандай ўқиш китобдан бошланади. Модел учун "китоб" бу интернетдаги саҳифалар, китоблар, илмий мақолалар ва дастур кодлари.

Лекин интернетда ҳамма нарса ҳам фойдали эмас. Шунинг учун йиғилган матнлар аввал тозаланади: рекламалар, бир хил такрорланадиган саҳифалар ва зарарли матнлар олиб ташланади. Буни кутубхоначининг ишига ўхшатиш мумкин. У жавонга фақат керакли китобларни қўяди, кераксиз қоғозларни чиқариб ташлайди.

Натижада триллионлаб сўздан иборат улкан кутубхона ҳосил бўлади. Бу моделнинг ўқитиш маълумотлари. Модел кейинчалик нимани билса, айнан шу кутубхонадан билади.

2. Олдиндан ўқитиш (pre-training)

Энди модел шу кутубхонани ўқий бошлайди. Унинг вазифаси жуда оддий: матндаги кейинги сўзни тахмин қилиш.

Тасаввур қилинг, сиз китоб ўқияпсиз ва кимдир ҳар сафар кейинги сўзни бармоғи билан ёпиб турибди. Сиз "Мен мактабга..." деган жойни ўқиб, кейинги сўз "бораман" бўлса керак, деб тахмин қиласиз. Кейин бармоқ очилади ва тўғри жавобни кўрасиз. Модел ҳам худди шундай қилади, фақат миллиардлаб марта.

Бошида модел деярли ҳар сафар хато қилади. Ҳар бир хатодан кейин у ўзини озгина тузатади: ичидаги миллиардлаб сонлар, яъни параметрлар бироз ўзгаради. Битта тузатиш деярли ҳеч нарса бермайди. Лекин миллиардлаб тузатишдан кейин модел тилни, фактларни ва ҳатто мантиқни ҳам "ҳис қила" бошлайди.

Бундай ўқитиш оддий компьютерда бўлмайди. Бунинг учун GPU деб аталадиган махсус ҳисоблаш чиплари керак. Катта модел ўн минглаб шундай чипларда ойлаб ўқитилади.

Рақамлар билан кўрсак:

• Meta 2024-йилда ўзининг энг катта Llama моделини 15 триллион токендан ортиқ матнда ва 16 мингта GPUʼда ўқитганини эълон қилган. Токен сўзнинг бир бўлаги, модел матнни шундай бўлакларга бўлиб ўқийди.
• DeepSeek ўзининг V3 моделининг якуний ўқитишига тахминан 5,6 миллион доллар кетганини айтган. Бу фақат охирги ўқитишнинг нархи. Ундан олдинги тажрибалар ва изланишлар бу суммага кирмайди.
• OpenAI раҳбари Sam Altman эса 2023-йилда GPT-4 моделини ўқитиш 100 миллион доллардан қимматга тушганини айтган.

Ёпиқ моделларни чиқарадиган компаниялар одатда қанча маълумот ва қанча компьютер ишлатганини, модели қанчалик катта эканини ошкор қилмайди. Уларнинг маълумотлари ва усуллари энг катта бойлиги ҳисобланади.

Бу босқичдан кейин модел кўп нарсани билади. Лекин у ҳали ёрдамчи эмас. Уни "хом модел" дейиш мумкин. У фақат матнни давом эттиришни билади. Масалан, унга савол ёзсангиз, жавоб бериш ўрнига яна бир нечта савол ёзиб кетиши мумкин. Чунки интернетда саволлар кўпинча рўйхат бўлиб, кетма-кет келади.

3. Қўшимча ўқитиш (post-training)

Хом моделни ёрдамчига айлантириш учун учинчи босқич керак. Буни университетни тугатган битирувчига ўхшатиш мумкин. У кўп нарсани билади, лекин ишга кирганда барибир тажрибали устоз ёнида ўрганади.

Аввал фине-tuning, яъни нозик созлаш бўлади. Моделга одамлар ёзган минглаб намунавий савол-жавоблар кўрсатилади: "мана шундай саволга мана шундай жавоб бериш керак". Модел шу намуналардан ёрдамчи каби гапиришни ўрганади.

Кейин одамлар моделнинг жавобларини баҳолайди: қайси бири яхши, қайси бири ёмон. Худди ўқитувчи иншо текширгандек. Модел яхши деб топилган жавобларга қараб ўзини созлайди. Бу усул инсон фикри билан ўқитиш дейилади.

Хавфсизлик қоидалари ҳам шу босқичда ўргатилади. Масалан, кимдир бомба ясашни сўраса, модел бунга жавоб бермаслиги керак. Модел буни ўзи билмайди, унга айнан шу ерда ўргатилади.

Энг янги моделларга эса математика ва код масалаларини ечтириб, "ўйлаш" ҳам ўргатилади. Бундай модел жавоб беришдан олдин масалани қадамма-қадам ўйлаб чиқади.

Бу ерда муҳим бир нарса бор. Очиқ моделларда бу босқични бошқа компаниялар ҳам қила олади. Масалан, DeepSeek компанияси ва Kimi моделини яратган Moonshot AI ўз моделларини очиқ эълон қилган. Кичикроқ компаниялар олдиндан ўқитишни нолдан қилмайди. Улар тайёр очиқ моделни олиб, устидан ўз маълумотлари билан қўшимча ўқитади. Масалан, Cursor дастурлаш воситаси ўз моделини Kimi очиқ модели устига қурган. Шунинг учун битта очиқ моделдан кўплаб "фарзанд" моделлар пайдо бўлади.

4. Хизмат қилиш

Модел тайёр. Энди уни одамлар ишлатиши керак. Тайёр модел улкан маълумот марказларидаги серверларда ишга туширилади.

Сиз хабар ёзасиз, хабарингиз интернет орқали серверга боради. Модел жавобни бирданига эмас, бўлакма-бўлак, токен-токен қилиб ҳосил қилади ва сизга қайтаради. Шунинг учун чатда жавоб худди кимдир ёзаётгандек аста-секин чиқади.

Бу ерда ёпиқ ва очиқ моделлар ўртасидаги фарқ кўринади:

• Ёпиқ моделларга фақат компаниянинг ўз иловаси ёки API орқали кирасиз. API дастурлар моделга тўғридан-тўғри мурожаат қиладиган "эшик". Бунда ҳар бир токен учун пул тўланади.
• Очиқ моделларни эса юклаб олиб, ўз серверингизда ишлатиш мумкин. Ёки уларни ўз серверида ўрнатган бошқа компаниялар орқали ишлатасиз.

Охирги қатлам: илова

Кўпчилик ChatGPT, Claude ёки Gemini иловасини моделнинг ўзи деб ўйлайди. Аслида илова бу модел атрофидаги қобиқ. Уни пиёзга ўхшатиш мумкин: ўртада модел, унинг атрофида эса бир неча қатлам бор.

Биринчи қатлам тизим кўрсатмалари. Бу моделга кимлигини, қандай гапиришини ва нима қилмаслигини айтадиган узун матн. Сиз ҳар сафар савол ёзганингизда, илова шу матнни саволингизга қўшиб, моделга юборади. Сиз уни кўрмайсиз, лекин модел уни ҳар сафар ўқийди. Anthropic ҳатто ўз иловасидаги шу кўрсатмаларни очиқ эълон қилиб боради.

Илова жавобларни ҳам текшириши мумкин. Модел жавоби сизга етиб келишидан олдин, унда ошкор қилинмаслиги керак бўлган нарса бор-йўқлиги кўриб чиқилади.

Кейинги қатлам воситалар: интернетда қидириш, расм чизиш, файллар билан ишлаш, хотира. Модел ўзи фақат матн ҳосил қилади. Воситалар эса унга "қўл" беради.

Кўрсатмалар ва воситаларнинг ҳаммаси биргаликда инглизча harness деб ҳам аталади. Сўзма-сўз таржимаси "жабдуқ": отни аравага улаб, уни керакли томонга юргизадиган нарса. Ҳозир бу қатлам жуда катта аҳамиятга эга.

Шунинг учун битта модел турли иловаларда турлича ишлайди. Битта Claude модели чат иловасида суҳбатдош бўлади. Дастурчилар учун мўлжалланган иловада эса кодни ўзи ёзади ва ўзи текширади. Фарқ моделда эмас, унинг атрофидаги кўрсатма ва воситаларда. Бир хил саволга икки хил иловада икки хил жавоб олсангиз, сабаби кўпинча шу.

Бир жумлада

Модел ойлаб ўқитилган мия. Илова эса унга берилган кўрсатма ва қўллар.

Кейинги қисмда

Иловалар моделни кўрсатмалар билан бошқаради. Сиз ҳам шундай қила оласиз. Бир хил савол, бир хил AI, лекин жавоблар ер билан осмонча фарқ қилиши мумкин. Сабаби сўраш усулида. Кейинги қисмда AI билан қандай қилиб тўғри гаплашишни, унга аниқ топшириқ беришни ўрганамиз.