Browse Source

chore: enable bias w/ FP8 layers in CUTLASS kernels

AlpinDale 7 tháng trước cách đây
mục cha
commit
b5d23ab6d4
1 tập tin đã thay đổi với 3 bổ sung2 xóa
  1. 3 2
      aphrodite/quantization/utils/w8a8_utils.py

+ 3 - 2
aphrodite/quantization/utils/w8a8_utils.py

@@ -112,7 +112,7 @@ def apply_fp8_linear(
     #   If dynamic, layer.input_scale is None and x_scale computed from x.
     #   If static, layer.input_scale is scalar and x_scale is input_scale.
 
-    if bias is None and cutlass_fp8_supported:
+    if cutlass_fp8_supported:
         qinput, x_scale = ops.scaled_fp8_quant(input, input_scale)
 
         # Fused GEMM_DQ
@@ -120,7 +120,8 @@ def apply_fp8_linear(
                                        weight,
                                        out_dtype=input.dtype,
                                        scale_a=x_scale,
-                                       scale_b=weight_scale)
+                                       scale_b=weight_scale,
+                                       bias=bias)
 
     else:
         qinput, x_scale = ops.scaled_fp8_quant(input,