Răsfoiți Sursa

fix: add `ignored_seq_groups` in `_schedule_chunked_prefill`

AlpinDale 7 luni în urmă
părinte
comite
3f92035bf1
1 a modificat fișierele cu 2 adăugiri și 1 ștergeri
  1. 2 1
      aphrodite/processing/scheduler.py

+ 2 - 1
aphrodite/processing/scheduler.py

@@ -903,7 +903,8 @@ class Scheduler:
             blocks_to_swap_out=running_scheduled.blocks_to_swap_out,
             blocks_to_copy=running_scheduled.blocks_to_copy +
             swapped_in.blocks_to_copy,
-            ignored_seq_groups=prefills.ignored_seq_groups,
+            ignored_seq_groups=prefills.ignored_seq_groups +
+            swapped_in.infeasible_seq_groups,
             num_lookahead_slots=running_scheduled.num_lookahead_slots,
             running_queue_size=len(self.running),
             preempted=(len(running_scheduled.preempted) +