瀏覽代碼

fix: logprobs at -inf (#219)

AlpinDale 1 年之前
父節點
當前提交
3188d5690c
共有 1 個文件被更改,包括 6 次插入0 次删除
  1. 6 0
      aphrodite/endpoints/openai/api_server.py

+ 6 - 0
aphrodite/endpoints/openai/api_server.py

@@ -262,6 +262,12 @@ def create_logprobs(
                 tokenizer.convert_ids_to_tokens(i): p
                 for i, p in step_top_logprobs.items()
             } if step_top_logprobs else None)
+
+    logprobs.top_logprobs = [
+        {k: v if v > -1000 else -1000 for k, v in top_logprob.items()}
+        for top_logprob in logprobs.top_logprobs if top_logprob is not None
+    ]
+
     return logprobs