Sauerkrautlm GGUF models

74 GGUF models in the Sauerkrautlm family, quantized by 22 uploaders. Sizes run from 1M to 69B parameters. The longest trained context is 1000K tokens.

TinySmallMediumLarge
Most downloadedNewestLargestLongest contextSmallest
SA
SauerkrautLM Nemo 12b Instruct
Sauerkrautlm · RichardErkhov
Params12.2B
Context1000K
Q4_K_M7.5 GB
GGUF
SA
SauerkrautLM v2 14b SFT
Sauerkrautlm · mradermacher
Params14.8B
Context32K
Q4_K_M9.0 GB
GGUF
SA
SauerkrautLM 14b MoE LaserChat
Sauerkrautlm · RichardErkhov
Params12.9B
Context8K
Q4_K_M7.8 GB
GGUF
SA
SauerkrautLM-1.5b
Sauerkrautlm · RichardErkhov
Params1.54B
Context32K
Q4_K_M1.0 GB
GGUF
SA
SauerkrautLM MoEdernColBERT 27M CrispEmbed
Sauerkrautlm · cstr
Params27M
Context—
Smallest0.0 GB
GGUF
SA
SauerkrautLM SOLAR Instruct
Sauerkrautlm · mradermacher
Params10.7B
Context8K
Q4_K_M6.5 GB
GGUF
SA
49 SauerkrautLM 8B Instruct
Sauerkrautlm · mradermacher
Params8.03B
Context8K
Q4_K_M4.9 GB
GGUF
SA
SauerkrautLM MoEdernColBERT 115M CrispEmbed
Sauerkrautlm · cstr
Params115M
Context—
Smallest0.1 GB
GGUF
SA
SauerkrautLM MoEdernColBERT 27M
Sauerkrautlm · VAGOsolutions
Params27M
Context—
Smallest0.0 GB
GGUF
SA
SauerkrautLM v2 14b DPO
Sauerkrautlm · DevQuasar-5
Params14.8B
Context32K
Q4_K_M9.0 GB
GGUF
SA
SauerkrautLM 1.5b
Sauerkrautlm · tensorblock
Params1.54B
Context32K
Smallest0.7 GB
GGUF
SA
SauerkrautLM MoEdernColBERT 115M
Sauerkrautlm · VAGOsolutions
Params115M
Context—
Smallest0.1 GB
GGUF
SA
SauerkrautLM MoEdernColBERT 1.5M
Sauerkrautlm · VAGOsolutions
Params1M
Context—
Smallest0.0 GB
GGUF
SA
SauerkrautLM v2 14b DPO
Sauerkrautlm · Alcoft
Params14.8B
Context32K
Q4_K_M9.0 GB
GGUF
SA
SauerkrautLM Multi ColBERT 33m
Sauerkrautlm · mradermacher
Params33M
Context8K
Q4_K_M0.0 GB
Embedding
SA
SauerkrautLM Nemo 12b Instruct
Sauerkrautlm · tensorblock
Params12.2B
Context1000K
Smallest4.8 GB
GGUF
SA
VAGOsolutions/SauerkrautLM-SOLAR-Instruct
Sauerkrautlm · featherless-ai-quants
Params10.7B
Context8K
Q4_K_M6.5 GB
GGUF
SA
SauerkrautLM UNA SOLAR Instruct
Sauerkrautlm · tensorblock
Params10.7B
Context4K
Smallest4.0 GB
GGUF
SA
SauerkrautLM 7b HerO
Sauerkrautlm · mradermacher
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
SA
SauerkrautLM 7b HerO
Sauerkrautlm · sroecker
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
SA
SauerkrautLM Nemo 12b Instruct
Sauerkrautlm · NikolayKozloff
Params12.2B
Context1000K
Smallest8.7 GB
GGUF
SA
SauerkrautLM UNA SOLAR Instruct
Sauerkrautlm · QuantFactory
Params10.7B
Context4K
Q4_K_M6.5 GB
GGUF
SA
SauerkrautLM Translator LFM2.5 1.2B
Sauerkrautlm · glemji
Params1.17B
Context125K
Smallest2.3 GB
Tool use
SA
SauerkrautLM MoEdernColBERT 1.5M CrispEmbed
Sauerkrautlm · cstr
Params1M
Context—
Smallest0.0 GB
GGUF
SA
SauerkrautLM Nemo 12b Instruct
Sauerkrautlm · Stark2008
Params12.2B
Context1000K
Smallest6.6 GB
GGUF
SA
SauerkrautLM-1.5b
Sauerkrautlm · NikolayKozloff
Params1.54B
Context32K
Smallest1.1 GB
GGUF
SA
SauerkrautLM 7b HerO q8 0
Sauerkrautlm · eramax
Params7.24B
Context32K
Smallest7.7 GB
GGUF
SA
SauerkrautLM v2 14b DPO
Sauerkrautlm · NikolayKozloff
Params14.8B
Context32K
Smallest10.5 GB
GGUF
SA
SauerkrautLM v2 14b DPO
Sauerkrautlm · christofon
Params14.8B
Context32K
Smallest15.7 GB
GGUF
SA
SauerkrautLM v2 14b DPO
Sauerkrautlm · Aashraf995
Params14.8B
Context32K
Q4_K_M9.0 GB
GGUF

Keep browsing