AlpinDale ae04f57ec1 feat: Pipeline Parallel support (#581) 7 tháng trước cách đây
..
__init__.py 9d81716bfd [v0.5.3] Release Candidate (#388) 10 tháng trước cách đây
batch_expansion.py af43576da0 feat: add MLPSpeculator speculative decoding support (#572) 7 tháng trước cách đây
draft_model_runner.py ae04f57ec1 feat: Pipeline Parallel support (#581) 7 tháng trước cách đây
interfaces.py af43576da0 feat: add MLPSpeculator speculative decoding support (#572) 7 tháng trước cách đây
metrics.py 7253e9052d feat: integrate typical acceptance sampling for spec decoding 7 tháng trước cách đây
mlp_speculator_worker.py 405bb74612 Control plane comms refactor (#573) 7 tháng trước cách đây
multi_step_worker.py cdff8e89f9 feat: introduce `DraftModelRunner` 7 tháng trước cách đây
ngram_worker.py e0886ee929 feat: add `ProposerWorkerBase` abstract class 7 tháng trước cách đây
proposer_worker_base.py abbb730607 feat: support draft model on different tensor parallel size 7 tháng trước cách đây
smaller_tp_proposer_worker.py b6ff0623a6 chore: clean up branding 7 tháng trước cách đây
spec_decode_worker.py dd378ea063 feat: MLPSpeculator with tensor parallel 7 tháng trước cách đây
top1_proposer.py af43576da0 feat: add MLPSpeculator speculative decoding support (#572) 7 tháng trước cách đây
util.py af43576da0 feat: add MLPSpeculator speculative decoding support (#572) 7 tháng trước cách đây