소스 검색

fix: logprobs at -inf (#219)

AlpinDale 1 년 전
부모
커밋
3188d5690c
1개의 변경된 파일6개의 추가작업 그리고 0개의 파일을 삭제
  1. 6 0
      aphrodite/endpoints/openai/api_server.py

+ 6 - 0
aphrodite/endpoints/openai/api_server.py

@@ -262,6 +262,12 @@ def create_logprobs(
                 tokenizer.convert_ids_to_tokens(i): p
                 for i, p in step_top_logprobs.items()
             } if step_top_logprobs else None)
+
+    logprobs.top_logprobs = [
+        {k: v if v > -1000 else -1000 for k, v in top_logprob.items()}
+        for top_logprob in logprobs.top_logprobs if top_logprob is not None
+    ]
+
     return logprobs