Zephyr GGUF models

250 GGUF models in the Zephyr family, quantized by 70 uploaders. Sizes run from 7M to 141B parameters. The longest trained context is 195K tokens.

TinySmallMediumLarge
Most downloadedNewestLargestLongest contextSmallest
ZE
zephyr 7b beta
Zephyr · glnarayanan
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
zephyr 7b dpo full Q8 0
Zephyr · paultimothymooney
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · peterpeter8585
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
zephyr 7b beta quijote
Zephyr · dmntrd
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
Zephyr Finetuned Legal
Zephyr · Sleem247
Params7M
Context—
Smallest0.0 GB
GGUF
ZE
zephyr 3b corrections
Zephyr · zabirauf
Params2.8B
Context4K
Smallest5.6 GB
Coding
ZE
zephyr 7b beta GGUF fp16
Zephyr · ddh0
Params7.24B
Context32K
Smallest14.5 GB
GGUF
ZE
gguf sharded zephyr 220m dpo full
Zephyr · Felladrin
Params218M
Context2K
Smallest0.2 GB
GGUF
ZE
Zephyr-SFT
Zephyr · gustavomacedo
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
zephyr 7b rdpo full 0.2
Zephyr · mradermacher
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr 7b beta pruned50
Zephyr · Semantically-AI
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
Miss.Z V0.1 Q4 K M
Zephyr · amazeble
Params7.24B
Context32K
Q4_K_M4.4 GB
Tool use
ZE
Herdolphy q8
Zephyr · JDBMG
Params7.24B
Context32K
Smallest7.7 GB
Tool use
ZE
zephyr 3b GGML Q4 K M
Zephyr · rexionmars
Params2.8B
Context4K
Q4_K_M1.7 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · Denny09310
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr mj 7b v1
Zephyr · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
zephyr 7b beta quijote movie
Zephyr · dmntrd
Params7.24B
Context32K
Q4_K_M4.4 GB
GGUF
ZE
zephyr merged 7b v1.5
Zephyr · Jayem-11
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
zephyr merged 7b travellers 02
Zephyr · nelsond
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · Sri-Vigneshwar-DJ
Params7.24B
Context32K
Smallest14.5 GB
GGUF
ZE
zephyr 7b sft full Q8 0
Zephyr · paultimothymooney
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
Zephyr Sft
Zephyr · tensorblock
Params7.24B
Context32K
Smallest2.7 GB
GGUF
ZE
zephyr 7b dpo lora pubmedqa mix2 F16
Zephyr · leon9851
Params42M
Context—
Smallest0.2 GB
GGUF
ZE
zephyr 7b alpha 4bit
Zephyr · SamTheDev
Params7.24B
Context32K
Smallest4.4 GB
GGUF
ZE
zephyr 7b dpo lora F16
Zephyr · leon9851
Params55M
Context—
Smallest0.2 GB
GGUF
ZE
zephyr dpo v2
Zephyr · BarraHome
Params7.24B
Context32K
Smallest5.1 GB
GGUF
ZE
zephyr history chat Q8
Zephyr · ambrosfitz
Params7.24B
Context32K
Smallest7.7 GB
GGUF
ZE
Zephyr 7b Beta Lora
Zephyr · leon9851
Params168M
Context—
Smallest0.7 GB
GGUF
ZE
Zephyr 7b Beta
Zephyr · arracleai
Params7.24B
Context32K
Smallest14.5 GB
GGUF
ZE
zephyr
Zephyr · HarishB
Params7.24B
Context32K
Smallest4.4 GB
GGUF

Keep browsing