[BUG]Mac M2机器运行遇到的问题
mobguang opened this issue · comments
是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?
- 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions
该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?
- 我已经搜索过FAQ | I have searched FAQ
当前行为 | Current Behavior
你好，请教一下，有两个问题：
- 问题一：我在Mac M2的机器上运行PYTORCH_ENABLE_MPS_FALLBACK=1 python3.11 web_demo_2.5.py --device mps（模型是MiniCPM-Llama3-V-2_5），Decode Type选择Sampling和Beam Search会有不同的结果。如果是Sampling返回的结果不可用，请见截图。
所以对于Decode Type的选择，何时用Sampling，何时用Beam Search（Beam Search的耗时好像比较长），谢谢。
- 问题二： 我后来接着问了一句：图中异常信息的文字内容是什么，结果后台报了下面这个error，请问要如何处理。
: 图片中异常信息的文字内容是什么
Error: command buffer exited with error status.
The Metal Performance Shaders operations encoded on it may not have completed.
Error:
(null)
Internal Error (0000010a:Internal Error)
<AGXG14XFamilyCommandBuffer: 0x453e50a10>
label =
device = <AGXG14DDevice: 0x106b51600>
name = Apple M2 Ultra
commandQueue = <AGXG14XFamilyCommandQueue: 0x106b65600>
label =
device = <AGXG14DDevice: 0x106b51600>
name = Apple M2 Ultra
retainedReferences = 1
期望行为 | Expected Behavior
No response
复现方法 | Steps To Reproduce
No response
运行环境 | Environment
- OS:MacOS 14.5
- Python: Python3.11
- Transformers: 4.40.0
- PyTorch: 2.1.2
- MPS备注 | Anything else?
No response
关于Decode Type的选择，对于信息提取类需要严格标准结果的任务，推荐使用Beam Search，确实也会需要更大计算开销；
第二个问题，请提供可复现的图像和prompt以便我们分析调试～
谢谢回复。
对于问题二，现在没法复现，后续我持续观察。
另外，今天遇到一个新问题，我尝试识别照片中的信息，例如希望提取截图中仪表盘显示的“限速已激活”这几个文字，但模型反馈：
不能提供，因为涉及到敏感和隐私。
以下是我提问的prompt：
图片中的数字异常码是多少，如果没有请返回""。数字异常码只包含纯数字和逗号，不包含其他符号，例如，“/”。数字异常码在时间的正下方，并且紧靠这时间区域。请返回完整的信息，包括中间的逗号。
图片中的异常信息文字内容是什么，如果没有请返回""。
图片中对话框的文字内容是什么，如果没有请返回""。以上3项内容请以json格式返回，key的安排如下：
异常文字信息的key为: error_message
数字异常码的key为: error_code
对话框的文字内容key为：dialog_message请注意，图片中，异常信息的文字紧挨着时间的正下方，数字异常码在异常信息文字结尾处的括号中。
请问要如何处理这类问题，我提取的信息不涉及任何敏感和隐私内容，在提问是要注意些什么呢，谢谢。
@mobguang 您好，目前我们的模型经过对齐可能有了一些保守化回答情况。若您希望在特定场景下非常符合您的回答，可采用以下方法
- 使用完整的提示词和few shot激活能力
- 经过简单的微调，模型的拒绝回答行为将得到更好的改善。