Mini GGUF models

101 GGUF models in the Mini family, quantized by 49 uploaders. Sizes run from 18M to 30.5B parameters. The longest trained context is 1000K tokens.

TinySmallMediumLarge
Most downloadedNewestLargestLongest contextSmallest
MI
Mini Magnum 12b v1.1
Mini · starble-dev
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
Mini Magnum 12b v1.1
Mini · Lewdiculous
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
mini Cogito R1
Mini · mradermacher
Params1.78B
Context24K
Q4_K_M1.1 GB
ReasoningTool use
MI
Mini Magnum 12b v1.1
Mini · Reiterate3680
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
Mini Higgs TTS
Mini · mradermacher
Params1.25B
Context128K
Q4_K_M0.8 GB
GGUF
MI
Mini Cogito R1
Mini · mradermacher
Params1.78B
Context24K
Q4_K_M1.1 GB
ReasoningTool use
MI
erhj3eh3ehweg/mini-pozor
Mini · featherless-ai-quants
Params2.61B
Context8K
Q4_K_M1.7 GB
GGUF
MI
PJ MINI MODEL FINAL
Mini · mradermacher
Params1.38B
Context2K
Q4_K_M0.9 GB
GGUF
MI
S1 4o mini i1
Mini · mradermacher
Params7.62B
Context32K
Q4_K_M4.7 GB
Tool use
MI
intervitens/mini-magnum-12b-v1.1
Mini · featherless-ai-quants
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
d3 mini calibrated
Mini · Agentware
Params4.84B
Context256K
Smallest5.9 GB
ReasoningTool use
MI
Mini Think Base 1B
Mini · mradermacher
Params1.24B
Context128K
Q4_K_M0.8 GB
ReasoningTool use
MI
MN 12B Starcannon v2
Mini · QuantFactory
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
S1 4o mini
Mini · mradermacher
Params7.62B
Context32K
Q4_K_M4.7 GB
Tool use
MI
Mini Spyra V.3.6
Mini · mradermacher
Params8.03B
Context128K
Q4_K_M4.9 GB
GGUF
MI
MN 12B Starcannon v1
Mini · QuantFactory
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
Mini Overthinker
Mini · mradermacher
Params23.6B
Context40K
Q4_K_M14.3 GB
Reasoning
MI
Mini AGI 4B
Mini · mradermacher
Params4.02B
Context40K
Q4_K_M2.5 GB
ReasoningTool use
MI
Mini Magnum Unboxed 12B
Mini · concedo
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
MI
Mini Coder
Mini · PeaEnterprises
Params4.02B
Context256K
Smallest1.9 GB
CodingReasoningTool use
MI
Mini Cogito R1
Mini · mradermacher
Params1.78B
Context24K
Q4_K_M1.1 GB
ReasoningTool use
MI
Minirecord/Mini_DPO_test02
Mini · featherless-ai-quants
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
MI
Mini Pandor Base
Mini · mradermacher
Params596M
Context40K
Q4_K_M0.4 GB
ReasoningTool use
MI
Mini DPO test02
Mini · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
MI
S1 4o mini
Mini · MaziyarPanahi
Params7.62B
Context32K
Smallest5.3 GB
Tool use
MI
Mini Coder 4b
Mini · 4iqq
Params4.02B
Context256K
Smallest4.3 GB
Coding
MI
Intervitens Mini Magnum 12b v1.1
Mini · tensorblock
Params12.2B
Context1000K
Smallest4.8 GB
GGUF
MI
Dh2.0 Mini
Mini · mradermacher
Params4.02B
Context256K
Q4_K_M2.5 GB
Tool use
MI
s1-mini-de
Mini · Joni000000000
Params596M
Context40K
Q4_K_M0.4 GB
ReasoningTool use
MI
Mini Magnum 12b v1.1
Mini · Ransss
Params12.2B
Context1000K
Smallest13.0 GB
GGUF

Keep browsing