Przeglądaj źródła

fix: wrong multi_modal_input format for CPU

AlpinDale 7 miesięcy temu
rodzic
commit
fdabb55a4d
1 zmienionych plików z 2 dodań i 2 usunięć
  1. 2 2
      aphrodite/task_handler/cpu_model_runner.py

+ 2 - 2
aphrodite/task_handler/cpu_model_runner.py

@@ -340,8 +340,8 @@ class CPUModelRunner:
             "kv_caches": kv_caches,
             "attn_metadata": attn_metadata,
         }
-        if self.vision_language_config:
-            execute_model_kwargs.update({"image_input": multi_modal_input})
+        if self.vision_language_config and multi_modal_input is not None:
+            execute_model_kwargs.update(multi_modal_input)
 
         hidden_states = model_executable(**execute_model_kwargs)