ayrisdev/lagos-back
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix: raise num_predict for interactive chat to stop mid-sentence cutoffs

Browse Source 
800 token sınırı çok düşüktü — çok bölümlü hukuki cevaplar (kira feshi,
tazminat hesabı gibi) bu sınıra çarpıp cümlenin ortasında kesiliyordu.
Varsayılan ve chatMessage/sendThreadMessage'ın kullandığı num_predict
2048'e çıkarıldı. Ayrıca Ollama done_reason:"length" döndürdüğünde
(yanıt sınıra çarpıp kesildiğinde) sunucu loglarına uyarı yazılıyor.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
This commit is contained in:
mstfyldz
2026-08-10 00:35:00 +03:00
co-authored by Claude Sonnet 5
parent ea5211e05d
commit 029402a620
2 changed files with 12 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files
src/controllers/chat.controller.ts
+2 -2
View File
@@ -122,7 +122,7 @@ export const chatMessage = async (req: AuthenticatedRequest, res: Response) => {
}
startSse(res);
const aiContent = await streamOllama(messages, (delta) => sseWrite(res, { delta }), { numPredict: 800 });
const aiContent = await streamOllama(messages, (delta) => sseWrite(res, { delta }), { numPredict: 2048 });
const { data: aiMessage, error: aiMsgError } = await supabase
.from('chat_messages')
@@ -207,7 +207,7 @@ export const sendThreadMessage = async (req: AuthenticatedRequest, res: Response
}
startSse(res);
const aiContent = await streamOllama(messages, (delta) => sseWrite(res, { delta }), { numPredict: 800 });
const aiContent = await streamOllama(messages, (delta) => sseWrite(res, { delta }), { numPredict: 2048 });
const { data: aiMessage, error: aiMsgError } = await supabase
.from('thread_messages')