#!/usr/bin/env bash
set -euo pipefail

python evaluation/evaluate_rag_answers.py \
  --split dev \
  --question-id q0039 \
  --question-id q0042 \
  --question-id q0046 \
  --question-id q0105 \
  --question-id q0130 \
  --question-id q0143 \
  --question-id q0146 \
  --question-id q0243 \
  --question-id q0334 \
  --question-id q0337 \
  --question-id q0341 \
  --question-id q0345 \
  --question-id q0376 \
  --question-id q0387 \
  --question-id q0393 \
  --question-id q0435 \
  --question-id q0438 \
  --question-id q0439 \
  --question-id q0450 \
  --question-id q0551 \
  --question-id q0556 \
  --question-id q0570 \
  --question-id q0572 \
  --question-id q0575 \
  --question-id q0579 \
  --question-id q0580 \
  --question-id q0582 \
  --question-id q0597 \
  --question-id q0598 \
  --question-id q0604 \
  --question-id q0616 \
  --question-id q0621 \
  --question-id q0622 \
  --question-id q0624 \
  --question-id q0632 \
  --question-id q0687 \
  --question-id q0688 \
  --question-id q0689 \
  --question-id q0690 \
  --results-dir evaluation/results/e5_regression \
  --delay 0 \
  --overwrite