Zephyr GGUF models

250 GGUF models in the Zephyr family, quantized by 70 uploaders. Sizes run from 7M to 141B parameters. The longest trained context is 195K tokens.

TinySmallMediumLarge
Most downloadedNewestLargestLongest contextSmallest
ZE
jikaixuan zephyr ds
Zephyr · tensorblock
Params7B
Context32K
Smallest0.0 GB
GGUF
ZE
Weyaxi/zephyr-alpha-Nebula-v2-7B
Zephyr · featherless-ai-quants
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr-7b-dpo-full-ultrabin-2
Zephyr · mradermacher
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr 7b sft full SPIN iter3
Zephyr · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · arunvpp05
Params7.24B
Context32K
Smallest5.1 GB
GGUF
ZE
zephyr 7B ggml model Q4 K M
Zephyr · SaffalPoosh
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
orpo zephyr 8x22 EdgeQuants
Zephyr · nisten
Params141B
Context64K
Smallest46.2 GB
GGUF
ZE
ZoraBetaA1 Q8
Zephyr · N-Bot-Int
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
zephyr neural chat 1.0
Zephyr · bluuwhale
Params7.24B
Context32K
Smallest5.1 GB
GGUF
ZE
DPO_Zephyr_7B_TESSSST_01
Zephyr · JW0721
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
lumynax infused zephyr 7b beta
Zephyr · AbteeXAILab
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
Zephyr beta 32k 7B
Zephyr · mradermacher
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr 7b r2d2
Zephyr · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
dj zephyr 7b Q5 K M
Zephyr · deepanshdj
Params7.24B
Context32K
Smallest5.1 GB
GGUF
ZE
Zephyr-3B-Legal
Zephyr · Shreyas0706
Params2.8B
Context4K
Smallest5.6 GB
GGUF
ZE
Zephyr 7b Alpha
Zephyr · ICEPVP8977
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
Zephyr Finetuned Legal
Zephyr · Sleem247
Params7M
Context—
Smallest0.0 GB
GGUF
ZE
zephyr 7b beta rocio 3
Zephyr · dmntrd
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr 7b alpha.Q4 K M
Zephyr · linxule
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr 7B ggml model q5 k m
Zephyr · SaffalPoosh
Params7.24B
Context32K
Smallest5.1 GB
GGUF
ZE
dj zephyr 7b F16
Zephyr · deepanshdj
Params7.24B
Context32K
Smallest14.5 GB
GGUF
ZE
zephyr history chat v1.0
Zephyr · ambrosfitz
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
zephyr Saul Base 7b merged Q8 0
Zephyr · Sleem247
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
Zephyr 7B beta
Zephyr · SinpxAI
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · peterpeter8585
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
RikkiXu zephyr 7b dpo full
Zephyr · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · peterpeter8585
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
MyBloggerV0.20
Zephyr · andrewatef
Params7.24B
Context32K
Smallest7.7 GB
GGUF

Keep browsing