{
  "meta": {
    "models": [
      "mistral",
      "qwen3:8b"
    ],
    "test_revision": "neutral-roles-v2",
    "questions_sha256": "ef6edc4a487935bc1026970aca201dc96a273b42a9786e4d96ebb61ea14cfb97",
    "generated_at": "2026-09-05T18:16:53.050716+00:00",
    "ollama_url": "http://localhost:11434",
    "temperature": 0.0,
    "seed": 42,
    "num_ctx": 8192,
    "num_predict": 200,
    "prompt_sha256": "fc9a51b3518641e9ddafc74c27ab7cda9ef681d76f5c5508becf39ea7100937c"
  },
  "summary": [
    {
      "model": "mistral",
      "measured_runs": 15,
      "median_ttft_seconds": 0.0822,
      "median_tokens_per_second": 54.22,
      "median_total_duration_seconds": 1.4828,
      "median_keyword_coverage": 1.0,
      "human_score": null
    },
    {
      "model": "qwen3:8b",
      "measured_runs": 15,
      "median_ttft_seconds": 0.2495,
      "median_tokens_per_second": 43.18,
      "median_total_duration_seconds": 2.2376,
      "median_keyword_coverage": 1.0,
      "human_score": null
    }
  ],
  "runs": [
    {
      "model": "mistral",
      "repetition": 1,
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Rejestrem zgłoszeń w instrukcji ORION-47, wydanie 3 nazywany jest Kobalt-9.",
      "generation_time_seconds": 0.7851,
      "wall_time_seconds": 0.7851,
      "ttft_seconds": 0.0788,
      "total_duration_seconds": 0.7712,
      "load_duration_seconds": 0.0427,
      "prompt_eval_count": 526,
      "prompt_eval_duration_seconds": 0.0197,
      "eval_count": 37,
      "eval_duration_seconds": 0.6179,
      "tokens_per_second": 59.88,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 1,
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić właścicielowi procesu w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.5089,
      "wall_time_seconds": 1.5089,
      "ttft_seconds": 0.0801,
      "total_duration_seconds": 1.505,
      "load_duration_seconds": 0.0416,
      "prompt_eval_count": 544,
      "prompt_eval_duration_seconds": 0.0316,
      "eval_count": 69,
      "eval_duration_seconds": 1.3028,
      "tokens_per_second": 52.96,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 1,
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego ważne jest 6 godzin, ale w przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, osoba uprawniona do obsługi incydentów może wydać wyjątkowe zgodę, która wymaga potwierdzenia od osoby uprawnionej do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.4473,
      "wall_time_seconds": 2.4473,
      "ttft_seconds": 0.0816,
      "total_duration_seconds": 2.444,
      "load_duration_seconds": 0.0414,
      "prompt_eval_count": 535,
      "prompt_eval_duration_seconds": 0.029,
      "eval_count": 119,
      "eval_duration_seconds": 2.0284,
      "tokens_per_second": 58.67,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 1,
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "W przypadku nieobecności osoby uprawnionej do zatwierdzania dostępu awaryjnego, tę funkcję może pełnić osoba uprawniona do obsługi incydentów. Dodatkowym warunkiem jest potwierdzenie osoby uprawnionej do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.0647,
      "wall_time_seconds": 2.0647,
      "ttft_seconds": 0.0822,
      "total_duration_seconds": 2.0611,
      "load_duration_seconds": 0.0376,
      "prompt_eval_count": 566,
      "prompt_eval_duration_seconds": 0.0376,
      "eval_count": 99,
      "eval_duration_seconds": 1.8257,
      "tokens_per_second": 54.22,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 1,
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "W instrukcji ORION-47 nie określono maksymalnej liczby incydentów, które mogą być obsługiwane jednocześnie.",
      "generation_time_seconds": 0.9423,
      "wall_time_seconds": 0.9423,
      "ttft_seconds": 0.0744,
      "total_duration_seconds": 0.9391,
      "load_duration_seconds": 0.0372,
      "prompt_eval_count": 534,
      "prompt_eval_duration_seconds": 0.0286,
      "eval_count": 44,
      "eval_duration_seconds": 0.8148,
      "tokens_per_second": 54.0,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 2,
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Rejestrem zgłoszeń w instrukcji ORION-47, wydanie 3 nazywany jest Kobalt-9.",
      "generation_time_seconds": 0.8035,
      "wall_time_seconds": 0.8035,
      "ttft_seconds": 0.0764,
      "total_duration_seconds": 0.8,
      "load_duration_seconds": 0.0403,
      "prompt_eval_count": 526,
      "prompt_eval_duration_seconds": 0.0296,
      "eval_count": 37,
      "eval_duration_seconds": 0.6994,
      "tokens_per_second": 52.9,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 2,
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić właścicielowi procesu w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.4866,
      "wall_time_seconds": 1.4866,
      "ttft_seconds": 0.0877,
      "total_duration_seconds": 1.4828,
      "load_duration_seconds": 0.0485,
      "prompt_eval_count": 544,
      "prompt_eval_duration_seconds": 0.0311,
      "eval_count": 69,
      "eval_duration_seconds": 1.2435,
      "tokens_per_second": 55.49,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 2,
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego ważne jest 6 godzin, ale w przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, osoba uprawniona do obsługi incydentów może wydać wyjątkowe zgodę, która wymaga potwierdzenia od osoby uprawnionej do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.4592,
      "wall_time_seconds": 2.4592,
      "ttft_seconds": 0.0787,
      "total_duration_seconds": 2.4561,
      "load_duration_seconds": 0.0354,
      "prompt_eval_count": 535,
      "prompt_eval_duration_seconds": 0.0323,
      "eval_count": 119,
      "eval_duration_seconds": 2.2177,
      "tokens_per_second": 53.66,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 2,
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "W przypadku nieobecności osoby uprawnionej do zatwierdzania dostępu awaryjnego, tę funkcję może pełnić osoba uprawniona do obsługi incydentów. Dodatkowym warunkiem jest potwierdzenie osoby uprawnionej do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.0725,
      "wall_time_seconds": 2.0725,
      "ttft_seconds": 0.0858,
      "total_duration_seconds": 2.0692,
      "load_duration_seconds": 0.0418,
      "prompt_eval_count": 566,
      "prompt_eval_duration_seconds": 0.0253,
      "eval_count": 99,
      "eval_duration_seconds": 1.8271,
      "tokens_per_second": 54.18,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 2,
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "W instrukcji ORION-47 nie określono maksymalnej liczby incydentów, które mogą być obsługiwane jednocześnie.",
      "generation_time_seconds": 0.9563,
      "wall_time_seconds": 0.9563,
      "ttft_seconds": 0.0876,
      "total_duration_seconds": 0.9526,
      "load_duration_seconds": 0.0514,
      "prompt_eval_count": 534,
      "prompt_eval_duration_seconds": 0.0292,
      "eval_count": 44,
      "eval_duration_seconds": 0.8264,
      "tokens_per_second": 53.24,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 3,
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Rejestrem zgłoszeń w instrukcji ORION-47, wydanie 3 nazywany jest Kobalt-9.",
      "generation_time_seconds": 0.8079,
      "wall_time_seconds": 0.8079,
      "ttft_seconds": 0.0838,
      "total_duration_seconds": 0.8035,
      "load_duration_seconds": 0.0452,
      "prompt_eval_count": 526,
      "prompt_eval_duration_seconds": 0.0281,
      "eval_count": 37,
      "eval_duration_seconds": 0.6913,
      "tokens_per_second": 53.52,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 3,
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić właścicielowi procesu w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.4667,
      "wall_time_seconds": 1.4667,
      "ttft_seconds": 0.0821,
      "total_duration_seconds": 1.4622,
      "load_duration_seconds": 0.0429,
      "prompt_eval_count": 544,
      "prompt_eval_duration_seconds": 0.0318,
      "eval_count": 69,
      "eval_duration_seconds": 1.2292,
      "tokens_per_second": 56.13,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 3,
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego ważne jest 6 godzin, ale w przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, osoba uprawniona do obsługi incydentów może wydać wyjątkowe zgodę, która wymaga potwierdzenia od osoby uprawnionej do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.4578,
      "wall_time_seconds": 2.4578,
      "ttft_seconds": 0.0863,
      "total_duration_seconds": 2.4543,
      "load_duration_seconds": 0.051,
      "prompt_eval_count": 535,
      "prompt_eval_duration_seconds": 0.0296,
      "eval_count": 119,
      "eval_duration_seconds": 2.0967,
      "tokens_per_second": 56.76,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 3,
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "W przypadku nieobecności osoby uprawnionej do zatwierdzania dostępu awaryjnego, tę funkcję może pełnić osoba uprawniona do obsługi incydentów. Dodatkowym warunkiem jest potwierdzenie osoby uprawnionej do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.076,
      "wall_time_seconds": 2.076,
      "ttft_seconds": 0.0991,
      "total_duration_seconds": 2.0586,
      "load_duration_seconds": 0.0396,
      "prompt_eval_count": 566,
      "prompt_eval_duration_seconds": 0.0376,
      "eval_count": 99,
      "eval_duration_seconds": 1.6276,
      "tokens_per_second": 60.83,
      "done_reason": "stop"
    },
    {
      "model": "mistral",
      "repetition": 3,
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 0.0,
      "human_score": null,
      "answer": "W instrukcji ORION-47 nie określono maksymalnej liczby incydentów, które mogą być obsługiwane jednocześnie.",
      "generation_time_seconds": 0.9616,
      "wall_time_seconds": 0.9616,
      "ttft_seconds": 0.0887,
      "total_duration_seconds": 0.9463,
      "load_duration_seconds": 0.0388,
      "prompt_eval_count": 534,
      "prompt_eval_duration_seconds": 0.0317,
      "eval_count": 44,
      "eval_duration_seconds": 0.6967,
      "tokens_per_second": 63.15,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń nosi nazwę Kobalt-9.  \n**Punkty:** Rejestr Kobalt-9 przechowuje kopie zgłoszeń incydentów klasy czerwonej przez 26 miesięcy.",
      "generation_time_seconds": 1.6388,
      "wall_time_seconds": 1.6388,
      "ttft_seconds": 0.2413,
      "total_duration_seconds": 1.6256,
      "load_duration_seconds": 0.2011,
      "prompt_eval_count": 445,
      "prompt_eval_duration_seconds": 0.0232,
      "eval_count": 62,
      "eval_duration_seconds": 1.3903,
      "tokens_per_second": 44.6,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.4453,
      "wall_time_seconds": 1.4453,
      "ttft_seconds": 0.2495,
      "total_duration_seconds": 1.4412,
      "load_duration_seconds": 0.2044,
      "prompt_eval_count": 462,
      "prompt_eval_duration_seconds": 0.0392,
      "eval_count": 51,
      "eval_duration_seconds": 1.1841,
      "tokens_per_second": 43.07,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego obowiązuje przez 6 godzin. W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, zgodę może wydać osoba uprawniona do obsługi incydentów, ale wymaga ona potwierdzenia w następnym dniu roboczym.",
      "generation_time_seconds": 2.2774,
      "wall_time_seconds": 2.2774,
      "ttft_seconds": 0.2702,
      "total_duration_seconds": 2.2741,
      "load_duration_seconds": 0.2276,
      "prompt_eval_count": 454,
      "prompt_eval_duration_seconds": 0.0362,
      "eval_count": 86,
      "eval_duration_seconds": 1.9882,
      "tokens_per_second": 43.25,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Wniosek: W sytuacji niedostępności osoby uprawnionej do zatwierdzania dostępu, dostęp awaryjny może zatwierdzić osoba uprawniona do obsługi incydentów, ale pod warunkiem potwierdzenia przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.3419,
      "wall_time_seconds": 2.3419,
      "ttft_seconds": 0.249,
      "total_duration_seconds": 2.3385,
      "load_duration_seconds": 0.1979,
      "prompt_eval_count": 479,
      "prompt_eval_duration_seconds": 0.0434,
      "eval_count": 90,
      "eval_duration_seconds": 2.0807,
      "tokens_per_second": 43.25,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 1,
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Brak informacji w dostarczonym kontekście.  \nInstrukcja ORION-47 nie określa maksymalnej liczby incydentów obsługiwanych jednocześnie.",
      "generation_time_seconds": 1.269,
      "wall_time_seconds": 1.269,
      "ttft_seconds": 0.2654,
      "total_duration_seconds": 1.2651,
      "load_duration_seconds": 0.2246,
      "prompt_eval_count": 448,
      "prompt_eval_duration_seconds": 0.0344,
      "eval_count": 43,
      "eval_duration_seconds": 0.9913,
      "tokens_per_second": 43.38,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwę i funkcję w instrukcji ORION-47.  \n**Punkty:** Rejestr zgłoszeń nazywa się **Kobalt-9**. Zapisuje się w nim kopię zgłoszenia incydentu klasy czerwonej, a rejestr przechowuje się przez 26 miesięcy.",
      "generation_time_seconds": 2.4876,
      "wall_time_seconds": 2.4876,
      "ttft_seconds": 0.2604,
      "total_duration_seconds": 2.4842,
      "load_duration_seconds": 0.2202,
      "prompt_eval_count": 445,
      "prompt_eval_duration_seconds": 0.0331,
      "eval_count": 96,
      "eval_duration_seconds": 2.2197,
      "tokens_per_second": 43.25,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.4368,
      "wall_time_seconds": 1.4368,
      "ttft_seconds": 0.2464,
      "total_duration_seconds": 1.433,
      "load_duration_seconds": 0.202,
      "prompt_eval_count": 462,
      "prompt_eval_duration_seconds": 0.0382,
      "eval_count": 51,
      "eval_duration_seconds": 1.182,
      "tokens_per_second": 43.15,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego obowiązuje przez 6 godzin. W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, zgodę może wydać osoba uprawniona do obsługi incydentów, ale wymaga ona potwierdzenia w następnym dniu roboczym.",
      "generation_time_seconds": 2.241,
      "wall_time_seconds": 2.241,
      "ttft_seconds": 0.2396,
      "total_duration_seconds": 2.2376,
      "load_duration_seconds": 0.1974,
      "prompt_eval_count": 454,
      "prompt_eval_duration_seconds": 0.0361,
      "eval_count": 86,
      "eval_duration_seconds": 1.9916,
      "tokens_per_second": 43.18,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Wniosek: W sytuacji niedostępności osoby uprawnionej do zatwierdzania dostępu, dostęp awaryjny może zatwierdzić osoba uprawniona do obsługi incydentów, ale pod warunkiem potwierdzenia przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.3481,
      "wall_time_seconds": 2.3481,
      "ttft_seconds": 0.2491,
      "total_duration_seconds": 2.3445,
      "load_duration_seconds": 0.1994,
      "prompt_eval_count": 479,
      "prompt_eval_duration_seconds": 0.0437,
      "eval_count": 90,
      "eval_duration_seconds": 2.0859,
      "tokens_per_second": 43.15,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 2,
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Brak informacji w dostarczonym kontekście.  \nInstrukcja ORION-47 nie określa maksymalnej liczby incydentów obsługiwanych jednocześnie.",
      "generation_time_seconds": 1.2387,
      "wall_time_seconds": 1.2387,
      "ttft_seconds": 0.2377,
      "total_duration_seconds": 1.2346,
      "load_duration_seconds": 0.197,
      "prompt_eval_count": 448,
      "prompt_eval_duration_seconds": 0.0338,
      "eval_count": 43,
      "eval_duration_seconds": 0.9949,
      "tokens_per_second": 43.22,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "id": "T1",
      "question": "Jak nazywa się rejestr zgłoszeń?",
      "expected": [
        "Kobalt-9"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "**Wniosek:** Rejestr zgłoszeń ma określone nazwę i funkcję w instrukcji ORION-47.  \n**Punkty:** Rejestr zgłoszeń nazywa się **Kobalt-9**. Zapisuje się w nim kopię zgłoszenia incydentu klasy czerwonej, a rejestr przechowuje się przez 26 miesięcy.",
      "generation_time_seconds": 2.5149,
      "wall_time_seconds": 2.5149,
      "ttft_seconds": 0.2574,
      "total_duration_seconds": 2.5109,
      "load_duration_seconds": 0.2187,
      "prompt_eval_count": 445,
      "prompt_eval_duration_seconds": 0.0327,
      "eval_count": 96,
      "eval_duration_seconds": 2.2386,
      "tokens_per_second": 42.88,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "id": "T2",
      "question": "Kto jest właścicielem procesu i w jakim czasie trzeba zgłosić czerwony incydent?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "17 minut"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Właścicielem procesu obsługi incydentów jest osoba uprawniona do obsługi incydentów. Czerwony incydent należy zgłosić w ciągu 17 minut od wykrycia.",
      "generation_time_seconds": 1.46,
      "wall_time_seconds": 1.46,
      "ttft_seconds": 0.2694,
      "total_duration_seconds": 1.4555,
      "load_duration_seconds": 0.2266,
      "prompt_eval_count": 462,
      "prompt_eval_duration_seconds": 0.0367,
      "eval_count": 51,
      "eval_duration_seconds": 1.1829,
      "tokens_per_second": 43.11,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "id": "T3",
      "question": "Jak długo obowiązuje zatwierdzenie dostępu awaryjnego?",
      "expected": [
        "6 godzin"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Zatwierdzenie dostępu awaryjnego obowiązuje przez 6 godzin. W przypadku niedostępności osoby uprawnionej do zatwierdzania dostępu, zgodę może wydać osoba uprawniona do obsługi incydentów, ale wymaga ona potwierdzenia w następnym dniu roboczym.",
      "generation_time_seconds": 2.3165,
      "wall_time_seconds": 2.3165,
      "ttft_seconds": 0.2825,
      "total_duration_seconds": 2.3123,
      "load_duration_seconds": 0.2402,
      "prompt_eval_count": 454,
      "prompt_eval_duration_seconds": 0.0358,
      "eval_count": 86,
      "eval_duration_seconds": 2.0199,
      "tokens_per_second": 42.58,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "id": "T4",
      "question": "Kto może zatwierdzić dostęp awaryjny, gdy osoba uprawniona do zatwierdzania dostępu jest niedostępny, i jaki jest dodatkowy warunek?",
      "expected": [
        "osoba uprawniona do obsługi incydentów",
        "następnym dniu roboczym"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Wniosek: W sytuacji niedostępności osoby uprawnionej do zatwierdzania dostępu, dostęp awaryjny może zatwierdzić osoba uprawniona do obsługi incydentów, ale pod warunkiem potwierdzenia przez osobę uprawnioną do zatwierdzania dostępu w następnym dniu roboczym.",
      "generation_time_seconds": 2.352,
      "wall_time_seconds": 2.352,
      "ttft_seconds": 0.2626,
      "total_duration_seconds": 2.3487,
      "load_duration_seconds": 0.212,
      "prompt_eval_count": 479,
      "prompt_eval_duration_seconds": 0.044,
      "eval_count": 90,
      "eval_duration_seconds": 2.0749,
      "tokens_per_second": 43.38,
      "done_reason": "stop"
    },
    {
      "model": "qwen3:8b",
      "repetition": 3,
      "id": "T5",
      "question": "Ile incydentów można maksymalnie obsługiwać jednocześnie?",
      "expected": [
        "Brak informacji w dostarczonym kontekście"
      ],
      "keyword_coverage": 1.0,
      "human_score": null,
      "answer": "Brak informacji w dostarczonym kontekście.  \nInstrukcja ORION-47 nie określa maksymalnej liczby incydentów obsługiwanych jednocześnie.",
      "generation_time_seconds": 1.2401,
      "wall_time_seconds": 1.2401,
      "ttft_seconds": 0.2366,
      "total_duration_seconds": 1.2362,
      "load_duration_seconds": 0.1971,
      "prompt_eval_count": 448,
      "prompt_eval_duration_seconds": 0.0341,
      "eval_count": 43,
      "eval_duration_seconds": 0.9959,
      "tokens_per_second": 43.18,
      "done_reason": "stop"
    }
  ]
}