Vibecoding · 15-dars · 10–11-sinflar
Fan: AI Engineering & Vektor Tizimlar Kohorta: Senior 10-11 Hafta: 3 (Bilimlar Bloki)

RAG (Retrieval-Augmented Generation) va Vektor Qidiruv: Tashqi Bilimlarni LLM ga Ulash

Til modeli sizning kompaniyangizning ichki texnik hujjatlarini yoki kechagina e'lon qilingan yangiliklarni bila olmaydi. RAG arxitekturasi terabaytlab PDF, matn va ma'lumotlar bazalarini semantik vektor fazosiga aylantiradi hamda neyrotizimga nol gallyutsinatsiya bilan, aniq manbalarga tayangan holda javob berish imkonini beradi.

Bilimlar Chegarasi

Nega Fine-Tuning Korporativ Tizimlarda RAG ga Yutqazadi?

❌ Modelni Qayta O'qitish (Fine-Tuning)

  • Ulkan hisoblash narxi: Model vaznlarini yangilash o'n minglab dollarlik GPU klasterlarini (H100) haftalab band qiladi.
  • Eskirgan bilimlar: Kompaniya qoidasi bugun ertalab o'zgarsa, butun modelni qaytadan o'qitish kerak bo'ladi.
  • Shubhali manba: Javobdagi fakt qaysi kitob yoki shartnoma sahifasidan olinganini tekshirib bo'lmaydi.

✅ RAG (Retrieval-Augmented Generation)

  • Bir lahzada yangilanish: Yangi PDF ni bazaga yuklashingiz bilanoq, 2 soniyada agent undan iqtibos keltiradi.
  • 100% Tekshiriladigan iqtibos: Model javob tagiga fayl nomi, sahifa raqami va manba iqtibosini biriktirib beradi.
  • Ruxsatlar nazorati (RBAC): Har bir xodim faqat o'ziga ruxsat berilgan maxfiy hujjatlar bo'yicha qidiruv qila oladi.
Matematik Semantika

Text Embeddings Nima? Matn Ma'nosini Vektorga Aylantirish

So'zlardan Ko'p O'lchamli Koordinatalarga

Embedding — bu matnni qabul qilib, uning semantik ma'nosini belgilangan uzunlikdagi (masalan, 1536 yoki 768 ta suzuvchi vergulli son) vektor massiviga aylantiruvchi neyrotizimdir.

// "Moliya vazirligi yillik hisoboti" -> 1536D Vector
[0.0142, -0.0891, 0.4512, 0.0031, -0.1984, ... -0.0319]

Semantik Fazoning Geometrik Xususiyati

  • Ma'no yaqinligi = Masofa yaqinligi: "Dollar kursi ko'tarildi" va "Valyuta qimmatlashdi" jumlalarida birorta umumiy so'z bo'lmasa ham, ularning vektorlari bir-biriga juda yaqin bo'ladi.
  • Vektor arifmetikasi: Matematik qonuniyat: Vektor(Qirol) - Vektor(Erkak) + Vektor(Ayol) ≈ Vektor(Qirolicha).
O'xshashlik Metrikasi

Kosinus O'xshashlik: Ikki Vektor Qanchalik Yaqin?

Matematik Formula

Hujjatning qisqa yoki uzunligi qidiruvga xalal bermasligi uchun biz masofani emas, vektorlar orasidagi burchak kosinusini (cos θ) o'lchaymiz:

cos(θ) = (A · B) / (||A|| × ||B||)

Bu yerda A · B — skalyar ko'paytma (dot product), ||A|| esa vektorning L2 normasi.

Natijalar Shkalasi

Qiymat Burchak Semantik Ma'nosi
+1.0 0° Mutlaqo bir xil ma'no
0.7 – 0.9 25° – 45° Yuqori semantik bog'liqlik (Top-K nomzod)
0.0 90° Hech qanday aloqa yo'q
-1.0 180° Mutlaqo teskari ma'no
Hujjatlarni Bo'laklash

Chunking Strategiyalari: Katta Hujjatni Qanday Bo'laklash Kerak?

Fixed-Size + Overlap

Matn qat'iy 500 tokendan bo'linadi va har bir bo'lakka oldingi bo'lakning oxirgi 50 tokeni (10% Overlap) qo'shiladi.

Oddiy, ammo gaplarni bo'lib qo'yadi

Recursive Splitting

Avval abzaslar (\n\n), keyin gaplar (.) va faqat zarur bo'lsa so'zlar bo'yicha tabiiy chegaralarni saqlab bo'ladi.

Sanoat standarti (LangChain)

Semantik Bo'laklash

Har bir gapning vektorini o'lchaydi. Mavzu o'zgargan nuqtani matematik aniqlab, yangi bo'lak ochadi.

Eng aniq kontekst saqlovchi
Vektor Ma'lumotlar Bazalari

Millionlab Vektorlarni Qayerda Saqlaymiz? HNSW va IVF Indekslari

To'liq Qidiruv (Brute Force O(N)) Muammosi

Agar bazada 10 millionta hujjat bo'lsa, har bir savol uchun barcha 10 million vektor bilan kosinus hisoblash bir necha soniya vaqt oladi.

Yechim: HNSW algoritmi: Ko'p qatlamli graf tuzilmasi bo'lib, eng yaqin qo'shnilarni (ANN) bir necha millisekundda (O(log N)) topib beradi.

Yetakchi Vektor Bazalar Ekotizimi

  • Qdrant / ChromaDB: Rust va Python da yozilgan, mahalliy serverda va mikroxizmatlarda chaqmoqdek tez ishlovchi ochiq kodli bazalar.
  • Pinecone: Serverless bulutli baza. Korporativ tizimlarda milliardlab vektorlarni boshqarish uchun qulay.
  • pgvector (PostgreSQL): Oddiy Postgres bazasiga vektor qidiruv qo'shish. Alohida yangi baza o'rnatmasdan SQL va RAG ni birlashtiradi.
Ma'lumotlarni Yuklash Konveyeri

RAG Pipeline: 1-Bosqich — Hujjatlarni Indekslash va Saqlash

1. Xom Hujjatlar (PDF/TXT)
➔
2. Tozalash va Bo'laklash
➔
3. Embedding Yaratish
➔
4. Vektor Baza + Metadata

Metama'lumotlarning (Metadata) O'rni

Vektorni yolg'iz saqlash xatodir! Vektor yoniga albatta metama'lumotlar biriktiriladi:

  • text: Modelga jo'natiladigan asl matn parchasi.
  • source: Fayl nomi va sahifa raqami.
  • created_at: Hujjat yangilangan sana (eski qoidalarni chiqarib tashlash uchun).

Tozalash Qoidasi: Nopok Matn — Noto'g'ri Javob

Sahifa tepasidagi bir xil sarlavhalar, takrorlanuvchi raqamlar va keraksiz belgilarni tozalang. Aks holda vektor qidiruvi barcha sahifalarni bir xil deb o'ylab xato qiladi.

So'rov va Javob Sintezi

RAG Pipeline: 2-Bosqich — Top-K Qidiruv va Kengaytirilgan Prompt

Bosqichma-bosqich Algoritm

  1. Foydalanuvchi savoli: "Target School da ta'tilga qanday chiqiladi?"
  2. Savol vektori: Embedding modeli savolni Q vektoriga aylantiradi.
  3. Vektor qidiruv: Baza o'xshashligi > 0.82 bo'lgan Top-3 ta matn bo'lagini oladi.
  4. Promptni boyitish: Topilgan bo'laklar tizimli prompt ichiga kiritiladi.
  5. Faktga asoslangan javob: LLM faqat taqdim etilgan kontekst asosida javob yozadi.

Augmented Prompt Tuzilishi

SYSTEM PROMPT:
Siz Target School kompaniyasining AI yordamchisisiz.
Savollarga FAQAT quyidagi KONTEKST asosida javob bering.
Agar javob matnda bo'lmasa, "Bilmayman" deb yozing.

--- KONTEKST (TOP-3 HUJJAT) ---
[Manba: HR_Reglament_p12.pdf]
Xodimlar ta'til uchun arizani 14 kun oldin topshirishi shart.
[Manba: HR_Reglament_p14.pdf]
Ta'til davomiyligi yiliga 24 ish kunini tashkil etadi.
--------------------------------

FOYDALANUVCHI SAVOLI:
Ta'tilga ariza necha kun oldin yoziladi?
Kengaytirilgan RAG Texnikalari

Kengaytirilgan RAG: Re-ranking, HyDE va Semantik Siqish

Re-ranking (Qayta Tartiblash)

Tezkor vektor qidiruv 20 ta nomzodni oladi. So'ngra maxsus Cross-Encoder ularni qayta baholab, eng toza 3 tasini modelga uzatadi.

+35% aniqlik o'sishi

HyDE (Faraziy Hujjat)

Model avval savolga faraziy ideal javob qoralamasini yozadi. Keyin baza ichidan shu qoralamaga o'xshash real hujjatlar qidiriladi.

Mavhum savollarga a'lo yechim

Kontekstni Siqish

Har bir katta bo'lakdan faqat savolga aloqador 2 ta gap qirqib olinadi. Bu 70% tokenni tejaydi va model tezligini oshiradi.

Maksimal tejamkorlik
Amaliy Laboratoriya

Amaliyot: In-Memory Vektor Qidiruv Laboratoriyasi (`lab/index.html`)

Interaktiv Sinov Maydoni

Dars papkasidagi interaktiv stendda quyidagi amallar bajariladi:

  • Semantik qidiruv: Umumiy so'zlarsiz ma'nodosh so'rovlar ('maosh' vs 'oylik to'lov').
  • Kosinus kalkulyatori: Skalyar ko'paytma va vektor burchagini jonli ko'rish.
  • RAG Sintezi: Asoslangan javob va manba yorlig'ini hosil qilish.

Ish Varaqasidagi Topshiriq

  1. Brauzerda lab/index.html ni oching.
  2. "Wi-Fi paroli" bo'yicha qidiruv qilib, Top-1 kosinus qiymatini yozing.
  3. Begona mavzu kiriting va ball 0.25 dan pastligini tekshiring.
  4. Natijalarni chop etilgan ish varaqasiga qayd eting.
Ishlab Chiqarish Qopqonlari

RAG ning Bosh Xatolari: Lost in the Middle va Semantik Shovqin

"Lost in the Middle" Muammosi

Stenford universiteti tadqiqotlari isbotladi: LLM kontekstning boshidagi va oxiridagi ma'lumotlarni juda yaxshi eslab qoladi, ammo o'rtadagi (4-8 o'rindagi) faktlarni e'tibordan chetda qoldiradi.

Yechim: Eng muhim bo'lakni birinchi o'ringa, ikkinchi muhim bo'lakni esa promptning eng oxiriga joylashtiring!

Semantik Shovqin va Bo'lakning Buzilishi

  • Haddan tashqari mayda bo'laklar: Ma'no uzilib qoladi. "U bunga rozi bo'ldi" jumlasi kim haqida ekanligi yo'qoladi.
  • Juda katta bo'laklar: Vektor ma'nosi loyqalanadi. Kichik muhim raqam katta matn ichida yo'qolib ketadi.
15-Dars Yakuni · 10 Ball

Xulosa: Bilimlar Bazasini Loyihalash Muhandislik Darajasi

RAG ning 3 Ta Oltin Qoidasi

  • Vektor — bu ma'no koordinatasi: Semantik qidiruv birorta umumiy so'zsiz ham mavzuni topadi.
  • Chunking hamma narsani hal qiladi: 300-500 token va 10% overlap aniqlik garovidir.
  • Manbaga qat'iy bog'liqlik: Model o'zidan to'qimasdan faqat tasdiqlangan hujjatga tayanadi.

10 Ballik Baholash Mezoni

  • Kosinus Matematikasi: formulani tushunish va dot product hisobi — 3 ball
  • Vektor Laboratoriyasi: sinovlarni bajarish va ballarni qayd etish — 3 ball
  • RAG Arxitekturasi: Ingestion chizmasi va Lost in the Middle auditi — 4 ball
  • Rag'bat: Re-ranking yoki HyDE mexanizmini tahlil qilish — +2 ball
Target International School Введение 1 / 12 0–3