Mini GGUF models

101 GGUF models in the Mini family, quantized by 49 uploaders. Sizes run from 18M to 30.5B parameters. The longest trained context is 1000K tokens.

TinySmallMediumLarge
Most downloadedNewestLargestLongest contextSmallest
MI
s1 mini IQ3 variants
Mini · PrathamGhaywat
Params752M
Context40K
Smallest0.3 GB
ReasoningTool use
MI
Mini Magnum 12b v1.1
Mini · newsletter
Params12.2B
Context1000K
Smallest10.1 GB
GGUF
MI
Mini Overthinker
Mini · mradermacher
Params23.6B
Context40K
Q4_K_M14.3 GB
Reasoning
MI
Mini Coder 1.7b
Mini · sizzlebop
Params1.72B
Context40K
Smallest1.1 GB
Coding
MI
mini-mcqueen-1.1b
Mini · mbahrsnc
Params1.06B
Context2K
Q4_K_M0.6 GB
GGUF
MI
Mini 2.0
Mini · waddie
Params7.62B
Context32K
Q4_K_M4.7 GB
Tool use
MI
Mini Coder 1.7b
Mini · sizzlebop
Params1.72B
Context40K
Smallest1.8 GB
Coding
MI
mini-mcqueen-1.1b
Mini · mbahrsnc
Params1.06B
Context2K
Smallest0.6 GB
GGUF
MI
mini neville ia
Mini · Geovana0
Params12.2B
Context128K
Q4_K_M7.5 GB
Tool use
MI
Mini Magnum Unboxed 12B
Mini · mradermacher
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
X mini 1B
Mini · saberbx
Params1.24B
Context128K
Smallest1.0 GB
GGUF
MI
Mini Spyra V.3.6
Mini · Kwokou
Params8.03B
Context128K
Q4_K_M4.9 GB
GGUF
MI
D1G1T4L DR34MZ MINI MULTIMODAL
Mini · TheMindExpansionNetwork
Params14.7B
Context16K
Q4_K_M8.9 GB
GGUF
MI
Mini Magnum 12b v1.1
Mini · itlwas
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
Mini_DPO_7b_01
Mini · RichardErkhov
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
MI
S1 mini Q8 0 Q6 K
Mini · stanthegorilla
Params752M
Context40K
Smallest0.6 GB
ReasoningTool use
MI
mini-mcqueen
Mini · mbahrsnc
Params1.06B
Context2K
Q4_K_M0.6 GB
GGUF
MI
mini-mcqueen
Mini · mbahrsnc
Params1.06B
Context2K
Smallest0.4 GB
GGUF
MI
s1mini
Mini · AaronLiang
Params752M
Context40K
Q4_K_M0.5 GB
ReasoningTool use
MI
PJ MINI MODEL FINAL
Mini · RichardErkhov
Params1.38B
Context2K
Q4_K_M0.9 GB
GGUF
MI
T1 Mini Preview
Mini · Bc-AI
Params4.21B
Context256K
Smallest1.9 GB
Vision
MI
2 mini Q4 K M
Mini · NikolayKozloff
Params14.8B
Context128K
Q4_K_M9.0 GB
ReasoningTool use
MI
Mini Gpt Tinystories
Mini · bhautikv
Params18M
Context256
Smallest0.1 GB
GGUF
MI
mini fined
Mini · AhmedSaghir
Params3.82B
Context128K
Smallest7.6 GB
GGUF
MI
Mini AI v1.5
Mini · minihizme
Params630M
Context32K
Smallest0.7 GB
GGUF
MI
2 mini Q5 K S
Mini · NikolayKozloff
Params14.8B
Context128K
Smallest10.3 GB
ReasoningTool use
MI
Mini Spyra v.1
Mini · Kwokou
Params8.03B
Context128K
Smallest8.5 GB
GGUF
MI
Mini Spyra V.1.3
Mini · Kwokou
Params8.03B
Context8K
Smallest8.5 GB
GGUF
MI
r1 mini
Mini · C10X
Params1.78B
Context128K
Q4_K_M1.1 GB
ReasoningTool use
MI
Victoria 3.2 1B V4 Mini Think
Mini · Novaciano
Params1.24B
Context128K
Smallest0.9 GB
ReasoningRoleplayTool use

Keep browsing