Mini GGUF models

101 GGUF models in the Mini family, quantized by 49 uploaders. Sizes run from 18M to 30.5B parameters. The longest trained context is 1000K tokens.

TinySmallMediumLarge
Most downloadedNewestLargestLongest contextSmallest
MI
D1G1T3L DR34MZ MINI
Mini · TheMindExpansionNetwork
Params3.09B
Context32K
Q4_K_M1.9 GB
Tool use
MI
Mini Spyra V.1.2
Mini · Kwokou
Params8.03B
Context8K
Smallest8.5 GB
GGUF
MI
Mini Spyra V.2.1
Mini · Kwokou
Params8.03B
Context128K
Smallest8.5 GB
GGUF
MI
P3 mini v3 Q8 0
Mini · Ramikan-BR
Params3.82B
Context4K
Smallest4.1 GB
GGUF
MI
Mini
Mini · Inserian
Params8.03B
Context8K
Smallest16.1 GB
GGUF
MI
Mini_Synatra_SFT
Mini · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
MI
P3 mini v6 Q8 0
Mini · Ramikan-BR
Params3.82B
Context4K
Smallest4.1 GB
GGUF
MI
2 mini Q4 K S
Mini · NikolayKozloff
Params14.8B
Context128K
Smallest8.6 GB
ReasoningTool use
MI
mini rp zh
Mini · kefany
Params1.54B
Context32K
Q4_K_M1.0 GB
RoleplayTool use
MI
Mini Spyra V.3.6
Mini · Kwokou
Params8.03B
Context128K
Smallest8.5 GB
GGUF
MI
Mini Fit Tinyllama Sft
Mini · mradermacher
Params1.1B
Context2K
Q4_K_M0.7 GB
GGUF

Keep browsing