{
  "meta": {
    "models": [
      "qwen3:8b"
    ],
    "test_revision": "neutral-roles-v2",
    "questions_sha256": "ef6edc4a487935bc1026970aca201dc96a273b42a9786e4d96ebb61ea14cfb97",
    "generated_at": "2026-09-05T18:14:06.799796+00:00",
    "ollama_url": "http://localhost:11434",
    "temperature": 0.0,
    "seed": 42,
    "num_ctx": 8192,
    "num_predict": 200,
    "prompt_sha256": "fc9a51b3518641e9ddafc74c27ab7cda9ef681d76f5c5508becf39ea7100937c",
    "model": "qwen3:8b",
    "repeats": 3,
    "test_scope": "grounding and response to missing context"
  },
  "summary": [
    {
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "without_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.2511,
        "median_tokens_per_second": 44.25,
        "human_score": null
      },
      "with_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.3756,
        "median_tokens_per_second": 43.8,
        "human_score": null
      }
    },
    {
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "without_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 0.0,
        "median_ttft_seconds": 0.2352,
        "median_tokens_per_second": 44.1,
        "human_score": null
      },
      "with_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.237,
        "median_tokens_per_second": 44.49,
        "human_score": null
      }
    },
    {
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "without_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.2277,
        "median_tokens_per_second": 44.04,
        "human_score": null
      },
      "with_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.2879,
        "median_tokens_per_second": 44.1,
        "human_score": null
      }
    },
    {
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "without_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 0.0,
        "median_ttft_seconds": 0.2567,
        "median_tokens_per_second": 44.0,
        "human_score": null
      },
      "with_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.2701,
        "median_tokens_per_second": 43.5,
        "human_score": null
      }
    },
    {
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "without_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.2451,
        "median_tokens_per_second": 44.95,
        "human_score": null
      },
      "with_context": {
        "measured_runs": 3,
        "median_keyword_coverage": 1.0,
        "median_ttft_seconds": 0.2337,
        "median_tokens_per_second": 44.62,
        "human_score": null
      }
    }
  ],
  "runs": [
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "without_context",
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwy w zależności od kontekstu organizacyjnego.  \n**Punkty:** W kontekście bezpieczeństwa informacji i GRC rejestr zgłoszeń może nazywać się np. „Rejestr incydentów”, „Rejestr zgłoszeń bezpieczeństwa” lub „Rejestr niezgodności”. Nazwa zależy od polityki organizacji i standardów stosowanych w ramach zarządzania ryzykiem. Brak informacji w dostarczonym kontekście.",
      "generation_time_seconds": 3.1769,
      "wall_time_seconds": 3.1769,
      "ttft_seconds": 0.2778,
      "total_duration_seconds": 3.1727,
      "load_duration_seconds": 0.2234,
      "prompt_eval_count": 188,
      "prompt_eval_duration_seconds": 0.0487,
      "eval_count": 128,
      "eval_duration_seconds": 2.8828,
      "tokens_per_second": 44.4,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "without_context",
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "**Wniosek:** Właścicielem procesu jest odpowiedzialny dział IT, a czerwony incydent musi być zgłoszony w ciągu 24 godzin od jego wykrycia.  \n**Punkty:**  \n- Właścicielem procesu jest dział IT.  \n- Czerwony incydent musi być zgłoszony w ciągu 24 godzin od momentu jego wykrycia.  \n- Zgłoszenie incydentu jest kluczowe dla szybkiego reagowania i minimalizacji szkód.",
      "generation_time_seconds": 3.2572,
      "wall_time_seconds": 3.2572,
      "ttft_seconds": 0.2301,
      "total_duration_seconds": 3.2539,
      "load_duration_seconds": 0.1774,
      "prompt_eval_count": 205,
      "prompt_eval_duration_seconds": 0.0387,
      "eval_count": 133,
      "eval_duration_seconds": 3.0073,
      "tokens_per_second": 44.23,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "without_context",
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Zatwierdzenie dostępu awaryjnego obowiązuje do momentu jego wycofania.  \n**Punkty:** Dostęp awaryjny jest udzielany na określony czas i musi być regularnie sprawdzany. W przypadku niepotrzebnej dalszej jego wydłużenia, należy wycofać dostęp. Zatwierdzenie nie jest nieograniczone i musi być zaktualizowane zgodnie z polityką bezpieczeństwa organizacji. Brak informacji w dostarczonym kontekście dotyczącej konkretnego terminu obowiązywania.",
      "generation_time_seconds": 3.6252,
      "wall_time_seconds": 3.6252,
      "ttft_seconds": 0.2277,
      "total_duration_seconds": 3.6225,
      "load_duration_seconds": 0.1874,
      "prompt_eval_count": 197,
      "prompt_eval_duration_seconds": 0.0359,
      "eval_count": 149,
      "eval_duration_seconds": 3.3795,
      "tokens_per_second": 44.09,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "without_context",
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "**Wniosek:** W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu awaryjnego, uprawnienie do zatwierdzenia może przejść do innej osoby zgodnie z zasadami delegacji uprawnień.  \n**Punkty kluczowe:** Dostęp awaryjny może być zatwierdzany przez osobę uprawnioną do tego w sytuacji awaryjnej, jeśli osoba zatwierdzająca jest niedostępna. Dodatkowy warunek to, że taka delegacja musi być zdefiniowana i zatwierdzona w polityce dostępu lub procedurach organizacyjnych.",
      "generation_time_seconds": 4.0497,
      "wall_time_seconds": 4.0497,
      "ttft_seconds": 0.244,
      "total_duration_seconds": 4.0465,
      "load_duration_seconds": 0.1884,
      "prompt_eval_count": 222,
      "prompt_eval_duration_seconds": 0.0533,
      "eval_count": 167,
      "eval_duration_seconds": 3.7823,
      "tokens_per_second": 44.15,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "without_context",
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:**  \nBrak informacji w dostarczonym kontekście.\n\n**Punkty:**  \nNie ma w dokumentacji danych dotyczących maksymalnej liczby incydentów, które można jednocześnie obsługiwać.",
      "generation_time_seconds": 1.3739,
      "wall_time_seconds": 1.3739,
      "ttft_seconds": 0.2328,
      "total_duration_seconds": 1.3715,
      "load_duration_seconds": 0.1942,
      "prompt_eval_count": 191,
      "prompt_eval_duration_seconds": 0.0337,
      "eval_count": 51,
      "eval_duration_seconds": 1.1335,
      "tokens_per_second": 44.99,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "with_context",
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwę i funkcję w instrukcji ORION-47.  \n**Punkty:** Rejestr zgłoszeń nazywa się **Kobalt-9**. Zapisuje się w nim kopię zgłoszenia incydentu klasy czerwonej, a rejestr przechowuje się przez 26 miesięcy.",
      "generation_time_seconds": 2.5961,
      "wall_time_seconds": 2.5961,
      "ttft_seconds": 0.3873,
      "total_duration_seconds": 2.593,
      "load_duration_seconds": 0.245,
      "prompt_eval_count": 445,
      "prompt_eval_duration_seconds": 0.1358,
      "eval_count": 96,
      "eval_duration_seconds": 2.1919,
      "tokens_per_second": 43.8,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "with_context",
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.3772,
      "wall_time_seconds": 1.3772,
      "ttft_seconds": 0.225,
      "total_duration_seconds": 1.3727,
      "load_duration_seconds": 0.1822,
      "prompt_eval_count": 462,
      "prompt_eval_duration_seconds": 0.0364,
      "eval_count": 51,
      "eval_duration_seconds": 1.145,
      "tokens_per_second": 44.54,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "with_context",
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego obowiązuje przez 6 godzin. W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, zgodę może wydać osoba uprawniona do obsługi incydentów, ale wymaga ona potwierdzenia w następnym dniu roboczym.",
      "generation_time_seconds": 2.2173,
      "wall_time_seconds": 2.2173,
      "ttft_seconds": 0.2506,
      "total_duration_seconds": 2.2113,
      "load_duration_seconds": 0.2083,
      "prompt_eval_count": 454,
      "prompt_eval_duration_seconds": 0.0355,
      "eval_count": 86,
      "eval_duration_seconds": 1.9502,
      "tokens_per_second": 44.1,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "with_context",
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Wniosek: W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, dostęp awaryjny może zatwierdzić osoba uprawniona do obsługi incydentów, pod warunkiem potwierdzenia przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.  \nNajważniejsze punkty: Osoba uprawniona do obsługi incydentów może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępna. Dodatkowy warunek to potwierdzenie przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 4.4014,
      "wall_time_seconds": 4.4014,
      "ttft_seconds": 0.256,
      "total_duration_seconds": 4.3979,
      "load_duration_seconds": 0.2079,
      "prompt_eval_count": 479,
      "prompt_eval_duration_seconds": 0.0419,
      "eval_count": 180,
      "eval_duration_seconds": 4.119,
      "tokens_per_second": 43.7,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "context_variant": "with_context",
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Brak informacji w dostarczonym kontekście.  \nInstrukcja ORION-47 nie określa maksymalnej liczby incydentów obsługiwanych jednocześnie.",
      "generation_time_seconds": 1.2003,
      "wall_time_seconds": 1.2003,
      "ttft_seconds": 0.2337,
      "total_duration_seconds": 1.1973,
      "load_duration_seconds": 0.187,
      "prompt_eval_count": 448,
      "prompt_eval_duration_seconds": 0.0334,
      "eval_count": 43,
      "eval_duration_seconds": 0.9585,
      "tokens_per_second": 44.86,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "with_context",
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwę i funkcję w instrukcji ORION-47.  \n**Punkty:** Rejestr zgłoszeń nazywa się **Kobalt-9**. Zapisuje się w nim kopię zgłoszenia incydentu klasy czerwonej, a rejestr przechowuje się przez 26 miesięcy.",
      "generation_time_seconds": 2.4917,
      "wall_time_seconds": 2.4917,
      "ttft_seconds": 0.2987,
      "total_duration_seconds": 2.4878,
      "load_duration_seconds": 0.2583,
      "prompt_eval_count": 445,
      "prompt_eval_duration_seconds": 0.0329,
      "eval_count": 96,
      "eval_duration_seconds": 2.1812,
      "tokens_per_second": 44.01,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "with_context",
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.3917,
      "wall_time_seconds": 1.3917,
      "ttft_seconds": 0.237,
      "total_duration_seconds": 1.3887,
      "load_duration_seconds": 0.1907,
      "prompt_eval_count": 462,
      "prompt_eval_duration_seconds": 0.0396,
      "eval_count": 51,
      "eval_duration_seconds": 1.1462,
      "tokens_per_second": 44.49,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "with_context",
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego obowiązuje przez 6 godzin. W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, zgodę może wydać osoba uprawniona do obsługi incydentów, ale wymaga ona potwierdzenia w następnym dniu roboczym.",
      "generation_time_seconds": 2.2452,
      "wall_time_seconds": 2.2452,
      "ttft_seconds": 0.2879,
      "total_duration_seconds": 2.241,
      "load_duration_seconds": 0.2353,
      "prompt_eval_count": 454,
      "prompt_eval_duration_seconds": 0.0373,
      "eval_count": 86,
      "eval_duration_seconds": 1.9493,
      "tokens_per_second": 44.12,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "with_context",
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Wniosek: W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, dostęp awaryjny może zatwierdzić osoba uprawniona do obsługi incydentów, pod warunkiem potwierdzenia przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.  \nNajważniejsze punkty: Osoba uprawniona do obsługi incydentów może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępna. Dodatkowy warunek to potwierdzenie przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 4.4295,
      "wall_time_seconds": 4.4295,
      "ttft_seconds": 0.2701,
      "total_duration_seconds": 4.4151,
      "load_duration_seconds": 0.2109,
      "prompt_eval_count": 479,
      "prompt_eval_duration_seconds": 0.0417,
      "eval_count": 180,
      "eval_duration_seconds": 4.1377,
      "tokens_per_second": 43.5,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "with_context",
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Brak informacji w dostarczonym kontekście.  \nInstrukcja ORION-47 nie określa maksymalnej liczby incydentów obsługiwanych jednocześnie.",
      "generation_time_seconds": 1.1926,
      "wall_time_seconds": 1.1926,
      "ttft_seconds": 0.2248,
      "total_duration_seconds": 1.1887,
      "load_duration_seconds": 0.1857,
      "prompt_eval_count": 448,
      "prompt_eval_duration_seconds": 0.0331,
      "eval_count": 43,
      "eval_duration_seconds": 0.9636,
      "tokens_per_second": 44.62,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "without_context",
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwy w zależności od kontekstu organizacyjnego.  \n**Punkty:** W kontekście bezpieczeństwa informacji i GRC rejestr zgłoszeń może nazywać się np. „Rejestr incydentów”, „Rejestr zgłoszeń bezpieczeństwa” lub „Rejestr niezgodności”. Nazwa zależy od polityki organizacji i standardów stosowanych w ramach zarządzania ryzykiem. Brak informacji w dostarczonym kontekście.",
      "generation_time_seconds": 3.1599,
      "wall_time_seconds": 3.1599,
      "ttft_seconds": 0.2511,
      "total_duration_seconds": 3.156,
      "load_duration_seconds": 0.208,
      "prompt_eval_count": 188,
      "prompt_eval_duration_seconds": 0.0342,
      "eval_count": 128,
      "eval_duration_seconds": 2.8925,
      "tokens_per_second": 44.25,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "without_context",
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "**Wniosek:** Właścicielem procesu jest odpowiedzialny dział IT, a czerwony incydent musi być zgłoszony w ciągu 24 godzin od jego wykrycia.  \n**Punkty:**  \n- Właścicielem procesu jest dział IT.  \n- Czerwony incydent musi być zgłoszony w ciągu 24 godzin od momentu jego wykrycia.  \n- Zgłoszenie incydentu jest kluczowe dla szybkiego reagowania i minimalizacji szkód.",
      "generation_time_seconds": 3.2686,
      "wall_time_seconds": 3.2686,
      "ttft_seconds": 0.2362,
      "total_duration_seconds": 3.2657,
      "load_duration_seconds": 0.1945,
      "prompt_eval_count": 205,
      "prompt_eval_duration_seconds": 0.0369,
      "eval_count": 133,
      "eval_duration_seconds": 3.0161,
      "tokens_per_second": 44.1,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "without_context",
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Zatwierdzenie dostępu awaryjnego obowiązuje do momentu jego wycofania.  \n**Punkty:** Dostęp awaryjny jest udzielany na określony czas i musi być regularnie sprawdzany. W przypadku niepotrzebnej dalszej jego wydłużenia, należy wycofać dostęp. Zatwierdzenie nie jest nieograniczone i musi być zaktualizowane zgodnie z polityką bezpieczeństwa organizacji. Brak informacji w dostarczonym kontekście dotyczącej konkretnego terminu obowiązywania.",
      "generation_time_seconds": 3.6546,
      "wall_time_seconds": 3.6546,
      "ttft_seconds": 0.2566,
      "total_duration_seconds": 3.6405,
      "load_duration_seconds": 0.2051,
      "prompt_eval_count": 197,
      "prompt_eval_duration_seconds": 0.0349,
      "eval_count": 149,
      "eval_duration_seconds": 3.3836,
      "tokens_per_second": 44.04,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "without_context",
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "**Wniosek:** W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu awaryjnego, uprawnienie do zatwierdzenia może przejść do innej osoby zgodnie z zasadami delegacji uprawnień.  \n**Punkty kluczowe:** Dostęp awaryjny może być zatwierdzany przez osobę uprawnioną do tego w sytuacji awaryjnej, jeśli osoba zatwierdzająca jest niedostępna. Dodatkowy warunek to, że taka delegacja musi być zdefiniowana i zatwierdzona w polityce dostępu lub procedurach organizacyjnych.",
      "generation_time_seconds": 4.0663,
      "wall_time_seconds": 4.0663,
      "ttft_seconds": 0.2567,
      "total_duration_seconds": 4.0628,
      "load_duration_seconds": 0.2098,
      "prompt_eval_count": 222,
      "prompt_eval_duration_seconds": 0.0424,
      "eval_count": 167,
      "eval_duration_seconds": 3.7951,
      "tokens_per_second": 44.0,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "context_variant": "without_context",
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:**  \nBrak informacji w dostarczonym kontekście.\n\n**Punkty:**  \nNie ma w dokumentacji danych dotyczących maksymalnej liczby incydentów, które można jednocześnie obsługiwać.",
      "generation_time_seconds": 1.3842,
      "wall_time_seconds": 1.3842,
      "ttft_seconds": 0.2451,
      "total_duration_seconds": 1.3816,
      "load_duration_seconds": 0.2054,
      "prompt_eval_count": 191,
      "prompt_eval_duration_seconds": 0.0349,
      "eval_count": 51,
      "eval_duration_seconds": 1.1345,
      "tokens_per_second": 44.95,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "without_context",
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwy w zależności od kontekstu organizacyjnego.  \n**Punkty:** W kontekście bezpieczeństwa informacji i GRC rejestr zgłoszeń może nazywać się np. „Rejestr incydentów”, „Rejestr zgłoszeń bezpieczeństwa” lub „Rejestr niezgodności”. Nazwa zależy od polityki organizacji i standardów stosowanych w danej firmie. Brak informacji w dostarczonym kontekście.",
      "generation_time_seconds": 3.1078,
      "wall_time_seconds": 3.1078,
      "ttft_seconds": 0.242,
      "total_duration_seconds": 3.1041,
      "load_duration_seconds": 0.2042,
      "prompt_eval_count": 188,
      "prompt_eval_duration_seconds": 0.033,
      "eval_count": 123,
      "eval_duration_seconds": 2.852,
      "tokens_per_second": 43.13,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "without_context",
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "**Wniosek:** Właścicielem procesu jest odpowiedzialny dział IT, a czerwony incydent musi być zgłoszony w ciągu 24 godzin od jego wykrycia.  \n**Punkty:**  \n- Właścicielem procesu jest dział IT.  \n- Czerwony incydent musi być zgłoszony w ciągu 24 godzin od momentu jego wykrycia.  \n- Zgłoszenie incydentu jest kluczowe dla szybkiego reagowania i minimalizacji szkód.",
      "generation_time_seconds": 3.3383,
      "wall_time_seconds": 3.3383,
      "ttft_seconds": 0.2352,
      "total_duration_seconds": 3.3351,
      "load_duration_seconds": 0.1908,
      "prompt_eval_count": 205,
      "prompt_eval_duration_seconds": 0.0389,
      "eval_count": 133,
      "eval_duration_seconds": 3.0853,
      "tokens_per_second": 43.11,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "without_context",
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Zatwierdzenie dostępu awaryjnego obowiązuje do momentu jego wycofania.  \n**Punkty:** Dostęp awaryjny jest udzielany na określony czas i musi być regularnie sprawdzany. W przypadku niepotrzebnej dalszej jego wydłużenia, należy wycofać dostęp. Zatwierdzenie nie jest nieograniczone i musi być zaktualizowane zgodnie z polityką bezpieczeństwa organizacji. Brak informacji w dostarczonym kontekście dotyczącej konkretnego terminu obowiązywania.",
      "generation_time_seconds": 3.7668,
      "wall_time_seconds": 3.7668,
      "ttft_seconds": 0.2207,
      "total_duration_seconds": 3.7638,
      "load_duration_seconds": 0.1788,
      "prompt_eval_count": 197,
      "prompt_eval_duration_seconds": 0.0368,
      "eval_count": 149,
      "eval_duration_seconds": 3.5247,
      "tokens_per_second": 42.27,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "without_context",
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "**Wniosek:** W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu awaryjnego, uprawnienie do zatwierdzenia może przejść do innej osoby zgodnie z zasadami delegacji uprawnień.  \n**Punkty kluczowe:** Dostęp awaryjny może być zatwierdzany przez osobę uprawnioną do tego w sytuacji awaryjnej, jeśli osoba zatwierdzająca jest niedostępna. Dodatkowy warunek to, że taka delegacja musi być zdefiniowana i zatwierdzona w polityce dostępu lub procedurach organizacyjnych.",
      "generation_time_seconds": 4.2629,
      "wall_time_seconds": 4.2629,
      "ttft_seconds": 0.2643,
      "total_duration_seconds": 4.2593,
      "load_duration_seconds": 0.216,
      "prompt_eval_count": 222,
      "prompt_eval_duration_seconds": 0.0417,
      "eval_count": 167,
      "eval_duration_seconds": 3.9688,
      "tokens_per_second": 42.08,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "without_context",
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:**  \nBrak informacji w dostarczonym kontekście.\n\n**Punkty:**  \nNie ma w dokumentacji danych dotyczących maksymalnej liczby incydentów, które można jednocześnie obsługiwać.",
      "generation_time_seconds": 1.4472,
      "wall_time_seconds": 1.4472,
      "ttft_seconds": 0.265,
      "total_duration_seconds": 1.4323,
      "load_duration_seconds": 0.2126,
      "prompt_eval_count": 191,
      "prompt_eval_duration_seconds": 0.0346,
      "eval_count": 51,
      "eval_duration_seconds": 1.1737,
      "tokens_per_second": 43.45,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "with_context",
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwę i funkcję w instrukcji ORION-47.  \n**Punkty:** Rejestr zgłoszeń nazywa się **Kobalt-9**. Zapisuje się w nim kopię zgłoszenia incydentu klasy czerwonej, a rejestr przechowuje się przez 26 miesięcy.",
      "generation_time_seconds": 2.6408,
      "wall_time_seconds": 2.6408,
      "ttft_seconds": 0.3756,
      "total_duration_seconds": 2.6371,
      "load_duration_seconds": 0.2347,
      "prompt_eval_count": 445,
      "prompt_eval_duration_seconds": 0.1338,
      "eval_count": 96,
      "eval_duration_seconds": 2.2481,
      "tokens_per_second": 42.7,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "with_context",
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.4623,
      "wall_time_seconds": 1.4623,
      "ttft_seconds": 0.2388,
      "total_duration_seconds": 1.4587,
      "load_duration_seconds": 0.1957,
      "prompt_eval_count": 462,
      "prompt_eval_duration_seconds": 0.0368,
      "eval_count": 51,
      "eval_duration_seconds": 1.2092,
      "tokens_per_second": 42.18,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "with_context",
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego obowiązuje przez 6 godzin. W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, zgodę może wydać osoba uprawniona do obsługi incydentów, ale wymaga ona potwierdzenia w następnym dniu roboczym.",
      "generation_time_seconds": 2.4364,
      "wall_time_seconds": 2.4364,
      "ttft_seconds": 0.29,
      "total_duration_seconds": 2.4312,
      "load_duration_seconds": 0.2489,
      "prompt_eval_count": 454,
      "prompt_eval_duration_seconds": 0.0355,
      "eval_count": 86,
      "eval_duration_seconds": 2.1138,
      "tokens_per_second": 40.69,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "with_context",
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Wniosek: W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, dostęp awaryjny może zatwierdzić osoba uprawniona do obsługi incydentów, pod warunkiem potwierdzenia przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.  \nNajważniejsze punkty: Osoba uprawniona do obsługi incydentów może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępna. Dodatkowy warunek to potwierdzenie przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 4.5954,
      "wall_time_seconds": 4.5954,
      "ttft_seconds": 0.3018,
      "total_duration_seconds": 4.5905,
      "load_duration_seconds": 0.2481,
      "prompt_eval_count": 479,
      "prompt_eval_duration_seconds": 0.0455,
      "eval_count": 180,
      "eval_duration_seconds": 4.2565,
      "tokens_per_second": 42.29,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "context_variant": "with_context",
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Brak informacji w dostarczonym kontekście.  \nInstrukcja ORION-47 nie określa maksymalnej liczby incydentów obsługiwanych jednocześnie.",
      "generation_time_seconds": 1.3307,
      "wall_time_seconds": 1.3307,
      "ttft_seconds": 0.2797,
      "total_duration_seconds": 1.3253,
      "load_duration_seconds": 0.2389,
      "prompt_eval_count": 448,
      "prompt_eval_duration_seconds": 0.0335,
      "eval_count": 43,
      "eval_duration_seconds": 1.0383,
      "tokens_per_second": 41.41,
      "done_reason": "stop"
    }
  ]
}