Przeglądaj źródła

fix memory usage with ngram spec decoding

AlpinDale 8 miesięcy temu
rodzic
commit
6e63d7a9db
1 zmienionych plików z 1 dodań i 1 usunięć
  1. 1 1
      aphrodite/spec_decode/ngram_worker.py

+ 1 - 1
aphrodite/spec_decode/ngram_worker.py

@@ -137,7 +137,7 @@ class NGramWorker(LoraNotSupportedWorkerBase):
                 SamplerOutput(
                     outputs=None,
                     sampled_token_probs=token_probs[i],
-                    logprobs=token_logprobs,
+                    logprobs=token_logprobs[i],
                     sampled_token_ids=token_ids[i],
                 ))
         return outputs, False