llama.cpp backend: настоящий по-токенный стриминг, лок на контекст, отмена при обрыве клиента - #1

Merged

Ferraronp merged 2 commits into

Ferraronp:mainfrom

zttoyk-create:fix/llamacpp-streaming-races

Jun 17, 2026

Commits on Jun 10, 2026

llama.cpp: по-токенный стриминг в tokens_list, лок на общий контекст, отмена и join в finally
zttoyk-create
committed
99f3ed2
model: condition-based ожидание токенов вместо sleep(0.1), hift_cache pop в finally
zttoyk-create
committed
6889f8b