想问一下作者，量化成int4 int8 之后为什么模型大小没有变化，都是240g
GXKIM opened this issue · comments
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py
--input-folder <SRC_CKPT_PATH>
--output-folder <DST_CKPT_PATH>
--target-tp 4
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4
想问下，在进行转换的时候，你的机器有多少的内存 大于260GB吗
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4
我也是，
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4我也是，
哈哈哈我也，所以想不通
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4想问下，在进行转换的时候，你的机器有多少的内存 大于260GB吗
嗯是的
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4我也是，
我猜量化文档命令有点问题，需要--quantization-bit-width，也就是python tools/convert_tp.py --input-folder THUDM/chatglm-130b/glm-130b-sat --output-folder THUDM/chatglm-130b-int4-test --target-tp 4 --quantization-bit-width 4，这样模型就小了
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4我也是，
我猜量化文档命令有点问题，需要--quantization-bit-width，也就是python tools/convert_tp.py --input-folder THUDM/chatglm-130b/glm-130b-sat --output-folder THUDM/chatglm-130b-int4-test --target-tp 4 --quantization-bit-width 4，这样模型就小了
不过为什么没有一些配置文件呢？
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4想问下，在进行转换的时候，你的机器有多少的内存 大于260GB吗
我是120G就可以了，swap空间大点就ok
执行的这一段代码，改的路径和target-tp 4，target-tp 8
python tools/convert_tp.py --input-folder <SRC_CKPT_PATH> --output-folder <DST_CKPT_PATH> --target-tp 4想问下，在进行转换的时候，你的机器有多少的内存 大于260GB吗
我是120G就可以了，swap空间大点就ok
好的，多谢，我试试
int8 120g int4 60g左右
不能直接下载，需要在docs.google填写申请表格，审批后下载url会发到邮箱里
不能直接下载，需要在docs.google填写申请表格，审批后下载url会发到邮箱里
文件里面有链接啊，直接下载就行了啊
文件里面有链接啊，直接下载就行了啊
哪个文件
文件里面有链接啊，直接下载就行了啊
哪个文件
填表，之后不是给你一个txt文件吗，你就按照那个下载，命令都有