AlpinDale ac79d115b3 add guards for prefix caching, fp8, chunked, etc 5 månader sedan
..
backends 696f2cd59c add phi3_small support with blocksparse attention 5 månader sedan
ops 696f2cd59c add phi3_small support with blocksparse attention 5 månader sedan
__init__.py a94de94c44 refactor: combine the prefill and decode into a single API (#553) 6 månader sedan
layer.py ac79d115b3 add guards for prefix caching, fp8, chunked, etc 5 månader sedan
selector.py 696f2cd59c add phi3_small support with blocksparse attention 5 månader sedan