Преглед на файлове

fix: inline model loading conflicts with lora (#930)

AlpinDale преди 2 месеца
родител
ревизия
a3c03db735
променени са 1 файла, в които са добавени 6 реда и са изтрити 3 реда
  1. 6 3
      aphrodite/endpoints/openai/api_server.py

+ 6 - 3
aphrodite/endpoints/openai/api_server.py

@@ -215,9 +215,12 @@ async def _maybe_switch_model(
     
     if not model_is_loaded:
         return None
-        
-    if request_model in served_model_names:
-        return None
+
+    models = await openai_serving_completion.show_available_models()
+
+    for model in models.data:
+        if request_model in (model.id, model.root):
+            return None
 
     if not app_state.args.allow_inline_model_loading:
         return JSONResponse(