Selaa lähdekoodia

fix: logprobs at -inf (#219)

AlpinDale 1 vuosi sitten
vanhempi
commit
3188d5690c
1 muutettua tiedostoa jossa 6 lisäystä ja 0 poistoa
  1. 6 0
      aphrodite/endpoints/openai/api_server.py

+ 6 - 0
aphrodite/endpoints/openai/api_server.py

@@ -262,6 +262,12 @@ def create_logprobs(
                 tokenizer.convert_ids_to_tokens(i): p
                 for i, p in step_top_logprobs.items()
             } if step_top_logprobs else None)
+
+    logprobs.top_logprobs = [
+        {k: v if v > -1000 else -1000 for k, v in top_logprob.items()}
+        for top_logprob in logprobs.top_logprobs if top_logprob is not None
+    ]
+
     return logprobs