win10的cmd输入不了中文吗？输入英文回答中文
wscsjnhboy opened this issue · comments
看一下这个issue：#11
看了issue用wsl可以跑，不过配置低太卡。半天挤出一丢丢字。如下
可以使用nodejs执行效率好很多，代码如下：
child_process = require('child_process')
child = child_process.spawn('D:\proj\llama.cpp-master\bin\main', [
'-m', 'D:\proj\llama.cpp-master\models\zh-models\7B\ggml-model-q4_0.bin',
'--color', '-f', 'D:\proj\llama.cpp-master\prompts\alpaca.txt', '-ins',
'-c', '2048', '--temp', '0.2', '-n', '256', '--repeat_penalty', '1.3'])
child.stdout.pipe(process.stdout)
child.stdin.setEncoding('utf-8')
process.stdin.pipe(child.stdin)
感谢提供方案，已添加到FAQ#6。
#106 此外，这个issue中 @YukinoshitaKaren 尝试了本issue中的方法，速度仍然较慢，我认为过早地Closed本issue。
经查，的确减少线程数量，有助于提高性能。增加参数： -t 4