İçeriğe geç
RAG, adım adım

Günün sorusu

7 yıllık bir çalışanın yıllık izni kaç iş günü?
İngilizce, logların yazdığı gibi: “How many working days of annual leave does an employee with 7 years of service get?”

Şirketimiz kurgusal bir havayolu, Kraken Air. Bugün kuracağımız her parçayı bu tek soruyla deneyeceğiz.

npm run question — beş durak, aynı soruBaşlamadanmodel tek başınaB · fixed300 karakterde kesB · sectionbaşlıklardan kesD · Vector DBveritabanına yükleVeri değişince2026 sürümü25-30iş günü????

  1. Soru

    Doğru cevap için iki şey gerekir: Kraken Air’in izin politikası ve 7 yıllık kıdemin o politikada nereye düştüğü. İkisi de modelin eğitiminde yoktu.

  2. Önce tahmin

    Siz olsanız ne derdiniz? Sayıyı yukarıdaki kutuya yazın; Kapanış’ta günün bütün cevaplarının yanına gelir.

  3. Model tek başına

    npm run question soruyu modele tek başına sorar, yanında hiçbir doküman yok. Model cevabın şirketin politikasına göre değiştiğini söyledi (“depending on the company’s policy”), ama yine de sayı verdi: 25-30 iş günü.

    npm run question çalıştırın: HOW satırı bare model, no documents demeli.

  4. İki tahmin

    Sizin sayınız da modelin 25-30 aralığı da genel bilgiden gelen birer tahmin. Doğru cevap politikada; onu ne siz gördünüz ne model.

    Başka kelimelerle sorun: npm run step -- 0 "I have worked here for 7 years. How many days of annual leave do I get?". Sayı değişiyor mu?

  5. Aynı komut, beş durak

    Gün içinde dört durak daha var; her durakta bu komutu yeniden çalıştırıp modele bir şey daha vereceğiz. Her cevap bir deftere, LEDGER’a yazılır.

npm run question
$ npm run question


━━ QUESTION OF THE DAY  How many working days of annual leave does an employee with 7 years of service get?
   HOW   bare model, no documents


Typically, an employee with 7 years of service gets 25-30 working days of annual leave, depending on the company's policy.


   LEDGER (.cache/question-ledger.jsonl)
         12:52  Typically, an employee with 7 years of servic…  bare model, no documents

Çıktıda dört parça var:

  • QUESTION OF THE DAY: sorulan soru, her çalıştırmada aynı.
  • HOW: cevabın nasıl üretildiği. Şimdilik bare model, no documents: model yalnızca soruyu gördü.
  • Cevap: modelin yazdığı metin. Kaynak listesi yok, çünkü modele kaynak verilmedi; pipeline kurulunca altına kullandığı parçalar gelir, örneğin [1] hr-leave@2025#3.
  • LEDGER: defter. Her çalıştırma bir satır ekler; gün bitince her durağın cevabı burada alt alta durur.

Soru kodda tek bir satır:

src/lib/config.ts
  /** The day's question. Its answer moves as the pipeline grows. */
  dayQuestion: "How many working days of annual leave does an employee with 7 years of service get?",

npm run question her seferinde elindeki en eksiksiz pipeline’ı seçer:

src/cli/question.ts
// npm run question
// The day's question through whatever the pipeline can do RIGHT NOW, plus the ledger of every
// answer it gave today. Run it after each step and watch the answer move.
//   nothing built yet      → the bare model answers (step 0)
//   chunks exist (step 3)  → a black box searches them in memory (steps 4–5 are coming)
//   the store is filled    → the real pipeline: store → rerank → answer

1 · Çalıştırın. npm run question. HOW satırı bare model, no documents demeli; başka bir şey yazıyorsa aşağıdaki “Sık sorulan”a bakın.

2 · Başka kelimelerle sorun. Yine hiç doküman vermeden; sayı değişiyor mu?

Terminal window
npm run step -- 0 "I have worked here for 7 years. How many days of annual leave do I get?"

Elimizde ne var?

Bölüm başlığı “Elimizde ne var?”

Sizin tahmininiz sayfanın başındaki kutuda. Model 25-30 iş günü dedi. Sonra aynı şeyi başka kelimelerle sorduk:

npm run step -- 0 (aynı soru, başka kelimelerle)
$ npm run step -- 0 "I have worked here for 7 years. How many days of annual leave do I get?"


━━ STEP 0/8 · BARE MODEL
   IN    I have worked here for 7 years. How many days of annual leave do I get?
   WHAT  ask gemma3:4b directly — no documents, no search
   OUT   38 prompt tokens · 40 output tokens


It depends on your company's policy. Typically, 7 years of service earns you 15-20 days of annual leave. Check your employee handbook or HR department for specifics.


   TIME  1050 ms

Şimdi model 15-20 gün diyor. Kelimeler değişti, sayı da onlarla birlikte değişti. Model kaynak vermiyor; iki sayı da tahmin. Doğrusu Model bilmiyor sayfasında.

Sık sorulan

Bölüm başlığı “Sık sorulan”
Neden bütün gün aynı soru?

Aynı soru, her adımın etkisini aynı cevapta gösterir: bir adım cevabı düzeltiyor mu, bozuyor mu, hiç değiştirmiyor mu? Tek soru yine de bir ölçü değildir; kaliteyi bir soru setiyle Kaliteyi ölçmek sayfasında ölçüyoruz.

Model her seferinde aynı cevabı mı verir?

Evet, aynı prompt’la ve aynı makinede; M serisi bir Mac’te npm run step -- 0 ile npm run question aynı cevabı kelimesi kelimesine verdi. Repo bunu bilerek sağlar: temperature: 0 ve sabit bir seed. Farklı donanımlarda küçük farklar görülebilir; bunu ölçmedik.

HOW satırında “bare model” yerine “chroma store” yazıyor.

data/ klasöründe önceki adımların çıktısı duruyor; npm run question elindeki en eksiksiz pipeline’ı seçer. Güne baştan başlamak için npm run catchup -- 0: data/ boşalır ve vector DB sıfırlanır; komut soruyu yine modele tek başına sorar.

Tahminim nerede duruyor?

Bu tarayıcıda. Başka bir tarayıcıda ya da gizli pencerede kutu boş görünür; sayı hiçbir yere gönderilmez.

Defter nerede duruyor?

.cache/question-ledger.jsonl dosyasında, her çalıştırma bir satır. npm run question son 12 satırı gösterir. npm run catchup defteri silmez.

Soru aynı, model aynı: değişen, modele ne verdiğimiz.