48 lines
1.1 KiB
Bash
48 lines
1.1 KiB
Bash
#!/usr/bin/env bash
|
|
set -euo pipefail
|
|
|
|
python evaluation/evaluate_rag_answers.py \
|
|
--split dev \
|
|
--question-id q0039 \
|
|
--question-id q0042 \
|
|
--question-id q0046 \
|
|
--question-id q0105 \
|
|
--question-id q0130 \
|
|
--question-id q0143 \
|
|
--question-id q0146 \
|
|
--question-id q0243 \
|
|
--question-id q0334 \
|
|
--question-id q0337 \
|
|
--question-id q0341 \
|
|
--question-id q0345 \
|
|
--question-id q0376 \
|
|
--question-id q0387 \
|
|
--question-id q0393 \
|
|
--question-id q0435 \
|
|
--question-id q0438 \
|
|
--question-id q0439 \
|
|
--question-id q0450 \
|
|
--question-id q0551 \
|
|
--question-id q0556 \
|
|
--question-id q0570 \
|
|
--question-id q0572 \
|
|
--question-id q0575 \
|
|
--question-id q0579 \
|
|
--question-id q0580 \
|
|
--question-id q0582 \
|
|
--question-id q0597 \
|
|
--question-id q0598 \
|
|
--question-id q0604 \
|
|
--question-id q0616 \
|
|
--question-id q0621 \
|
|
--question-id q0622 \
|
|
--question-id q0624 \
|
|
--question-id q0632 \
|
|
--question-id q0687 \
|
|
--question-id q0688 \
|
|
--question-id q0689 \
|
|
--question-id q0690 \
|
|
--results-dir evaluation/results/e5_regression \
|
|
--delay 0 \
|
|
--overwrite
|