GGUF models by YorkieOH10
82 GGUF models quantized by YorkieOH10 on Hugging Face. Sizes run from 134M to 46.7B parameters. The longest trained context is 1024K tokens.
DE
DeepSeek V2 Lite Chat
DeepSeek · YorkieOH10
Params15.7B
Context160K
Q4_K_M10.4 GB
IN
Internlm2_5 20b Chat
InternLM · YorkieOH10
Params19.9B
Context32K
Smallest21.1 GB
LL
CodeLlama-7B-Kexer
Llama · YorkieOH10
Params6.74B
Context16K
Smallest7.2 GB
IN
InternLM2
InternLM · YorkieOH10
Params7.74B
Context8K
Smallest8.2 GB
LL
AMD Llama 135m code Q8 0
Llama · YorkieOH10
Params134M
Context2K
Smallest0.1 GB
DE
DeepSeek V2 Lite Chat
DeepSeek · YorkieOH10
Params15.7B
Context160K
Smallest16.7 GB
LL
AMD Llama 135m Q8 0
Llama · YorkieOH10
Params134M
Context2K
Smallest0.1 GB
PH
Phi 3 medium 128k instruct Q8 0
Phi · YorkieOH10
Params14B
Context128K
Smallest14.8 GB
MI
Mistral-7B-Base-SFT-SimPO
Mistral · YorkieOH10
Params7.24B
Context32K
Q4_K_M4.4 GB
MI
MistralHermesPipe-7B-slerp
Mistral · YorkieOH10
Params7.24B
Context32K
Smallest7.7 GB
PH
Cream Phi 3 14B v1 Q8 0
Phi · YorkieOH10
Params14B
Context4K
Smallest14.8 GB
AL
AlchemistCoder-DS-6.7B
Alchemistcoder · YorkieOH10
Params6.74B
Context16K
Smallest7.2 GB
LL
Llama-3-8B-Instruct-Gradient-1048k
Llama · YorkieOH10
Params8.03B
Context1024K
Smallest8.5 GB
LL
openchat-3.6-8b-20240522
Llama · YorkieOH10
Params8.03B
Context8K
Smallest8.5 GB
ME
Meltemi-7B-Instruct-v1
Meltemi · YorkieOH10
Params7.48B
Context32K
Smallest5.3 GB
GE
Gemma 2b
Gemma · YorkieOH10
Params2.51B
Context8K
Smallest2.7 GB
LL
Llama-3-Instruct-8B-SimPO
Llama · YorkieOH10
Params8.03B
Context8K
Q4_K_M4.9 GB
YI
Yi-1.5-9B-Chat
Yi · YorkieOH10
Params8.83B
Context4K
Smallest9.4 GB
LL
CodeLlama-7B-KStack
Llama · YorkieOH10
Params6.74B
Context16K
Smallest7.2 GB
YI
Yi-1.5-34B
Yi · YorkieOH10
Params34.4B
Context4K
Smallest36.5 GB
LL
Llama-3-MahouDevil-8B
Llama · YorkieOH10
Params8.03B
Context8K
Smallest8.5 GB
LL
Llama-3-MahouDevil-8B
Llama · YorkieOH10
Params8.03B
Context8K
Q4_K_M4.9 GB