binary-husky / gpt_academic

Class | 类型

函数插件

Feature Request | 功能请求

在使用插件分析一个cpp项目时，可能时因为cpp项目文件过多，调用API过于频繁，就会导致报错。
提示如下：RuntimeError: OpenAI拒绝了请求：{"code":429,"error":"rate limit exceeded\n"}。
也有可能本人使用的是copilot学生认证的API速率限制较低，希望开发者大佬们能给点指导，是否能限制函数插件调用api接口的速率。

Hi，

请查看

gpt_academic/config.py

Lines 67 to 69 in ae44071

    
           # 多线程函数插件中，默认允许多少路线程同时访问OpenAI。Free trial users的限制是每分钟3次，Pay-as-you-go users的限制是每分钟3500次 
        
           # 一言以蔽之：免费（5刀）用户填3，OpenAI绑了信用卡的用户可以填 16 或者更高。提高限制请查询：https://platform.openai.com/docs/guides/rate-limits/overview 
        
           DEFAULT_WORKER_NUM = 3

您好，十分感谢您的解答，但我在config文件中设置的默认访问线程数3，并没有变动，我觉得在使用批量分析整个cpp项目函数插件处理大量的cpp项目文件时，应该并没有触发线程数上限，而是可能达到了单位时间内token字节数量的限制，如果是这种原因该如何避免，同时我也会将访问线程数将为2或1再次尝试，再次感谢您的解答。

…

________________________________ From: ***@***.*** ***@***.***> on behalf of Yuki ***@***.***> Sent: Saturday, April 20, 2024 8:10 PM To: binary-husky/gpt_academic ***@***.***> Cc: Liu Chen ***@***.***>; Author ***@***.***> Subject: Re: [binary-husky/gpt_academic] RuntimeError: OpenAI拒绝了请求 (Issue #1726) Hi，请查看 https://github.com/binary-husky/gpt_academic/blob/ae4407135db8a8910755cf6895cf90037b651d34/config.py#L69 ― Reply to this email directly, view it on GitHub<#1726 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AUJTMTTJEHV6NHQZ6YFM3MLY6JLLPAVCNFSM6AAAAABGQIPHKSVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANRXGY2TIMZUGI>. You are receiving this because you authored the thread.Message ID: ***@***.***>

不好意思请确认一下您用的是逆向的 copilot吗？Copilot 不支持并发吧？

代码这块在

gpt_academic/crazy_functions/crazy_utils.py

Lines 158 to 173 in 09990d4

    
           def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency( 
        
                   inputs_array, inputs_show_user_array, llm_kwargs, 
        
                   chatbot, history_array, sys_prompt_array, 
        
                   refresh_interval=0.2, max_workers=-1, scroller_max_len=30, 
        
                   handle_token_exceed=True, show_user_at_complete=False, 
        
                   retry_times_at_unknown_error=2, 
        
                   ): 
        
               """ 
        
               Request GPT model using multiple threads with UI and high efficiency 
        
               请求GPT模型的[多线程]版。 
        
               具备以下功能： 
        
                   实时在UI上反馈远程数据流 
        
                   使用线程池，可调节线程池的大小避免openai的流量限制错误 
        
                   处理中途中止的情况 
        
                   网络等出问题时，会把traceback和已经接收的数据转入输出

gpt_academic/crazy_functions/解析项目源代码.py

Lines 52 to 103 in 09990d4

    
           ############################## <第二步，综合，单线程，分组+迭代处理> ################################## 
        
           batchsize = 16  # 10个文件为一组 
        
           report_part_2 = [] 
        
           previous_iteration_files = [] 
        
           last_iteration_result = "" 
        
           while True: 
        
               if len(file_manifest) == 0: break 
        
               this_iteration_file_manifest = file_manifest[:batchsize] 
        
               this_iteration_gpt_response_collection = gpt_response_collection[:batchsize*2] 
        
               file_rel_path = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)] 
        
               # 把“请对下面的程序文件做一个概述” 替换成 精简的 "文件名：{all_file[index]}" 
        
               for index, content in enumerate(this_iteration_gpt_response_collection): 
        
                   if index%2==0: this_iteration_gpt_response_collection[index] = f"{file_rel_path[index//2]}" # 只保留文件名节省token 
        
               this_iteration_files = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)] 
        
               previous_iteration_files.extend(this_iteration_files) 
        
               previous_iteration_files_string = ', '.join(previous_iteration_files) 
        
               current_iteration_focus = ', '.join(this_iteration_files) 
        
               if summary_batch_isolation: focus = current_iteration_focus 
        
               else:                       focus = previous_iteration_files_string 
        
               i_say = f'用一张Markdown表格简要描述以下文件的功能：{focus}。根据以上分析，用一句话概括程序的整体功能。' 
        
               if last_iteration_result != "": 
        
                   sys_prompt_additional = "已知某些代码的局部作用是:" + last_iteration_result + "\n请继续分析其他源代码，从而更全面地理解项目的整体功能。" 
        
               else: 
        
                   sys_prompt_additional = "" 
        
               inputs_show_user = f'根据以上分析，对程序的整体功能和构架重新做出概括，由于输入长度限制，可能需要分组处理，本组文件为 {current_iteration_focus} + 已经汇总的文件组。' 
        
               this_iteration_history = copy.deepcopy(this_iteration_gpt_response_collection) 
        
               this_iteration_history.append(last_iteration_result) 
        
               # 裁剪input 
        
               inputs, this_iteration_history_feed = input_clipping(inputs=i_say, history=this_iteration_history, max_token_limit=2560) 
        
               result = yield from request_gpt_model_in_new_thread_with_ui_alive( 
        
                   inputs=inputs, inputs_show_user=inputs_show_user, llm_kwargs=llm_kwargs, chatbot=chatbot, 
        
                   history=this_iteration_history_feed,   # 迭代之前的分析 
        
                   sys_prompt="你是一个程序架构分析师，正在分析一个项目的源代码。" + sys_prompt_additional) 
        
               diagram_code = make_diagram(this_iteration_files, result, this_iteration_history_feed) 
        
               summary = "请用一句话概括这些文件的整体功能。\n\n" + diagram_code 
        
               summary_result = yield from request_gpt_model_in_new_thread_with_ui_alive( 
        
                   inputs=summary, 
        
                   inputs_show_user=summary, 
        
                   llm_kwargs=llm_kwargs, 
        
                   chatbot=chatbot, 
        
                   history=[i_say, result],   # 迭代之前的分析 
        
                   sys_prompt="你是一个程序架构分析师，正在分析一个项目的源代码。" + sys_prompt_additional) 
        
               report_part_2.extend([i_say, result]) 
        
               last_iteration_result = summary_result 
        
               file_manifest = file_manifest[batchsize:] 
        
               gpt_response_collection = gpt_response_collection[batchsize*2:] 
        
           ############################## <END> ################################## 
        
           history_to_return.extend(report_part_2) 
        
           res = write_history_to_file(history_to_return)

DEFAULT_WORKER_NUM 改成 1 试试，也不需要只看openai的模型

	# 多线程函数插件中，默认允许多少路线程同时访问OpenAI。Free trial users的限制是每分钟3次，Pay-as-you-go users的限制是每分钟3500次
	# 一言以蔽之：免费（5刀）用户填3，OpenAI绑了信用卡的用户可以填 16 或者更高。提高限制请查询：https://platform.openai.com/docs/guides/rate-limits/overview
	DEFAULT_WORKER_NUM = 3

	def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(
	inputs_array, inputs_show_user_array, llm_kwargs,
	chatbot, history_array, sys_prompt_array,
	refresh_interval=0.2, max_workers=-1, scroller_max_len=30,
	handle_token_exceed=True, show_user_at_complete=False,
	retry_times_at_unknown_error=2,
	):
	"""
	Request GPT model using multiple threads with UI and high efficiency
	请求GPT模型的[多线程]版。
	具备以下功能：
	实时在UI上反馈远程数据流
	使用线程池，可调节线程池的大小避免openai的流量限制错误
	处理中途中止的情况
	网络等出问题时，会把traceback和已经接收的数据转入输出

	############################## <第二步，综合，单线程，分组+迭代处理> ##################################
	batchsize = 16 # 10个文件为一组
	report_part_2 = []
	previous_iteration_files = []
	last_iteration_result = ""
	while True:
	if len(file_manifest) == 0: break
	this_iteration_file_manifest = file_manifest[:batchsize]
	this_iteration_gpt_response_collection = gpt_response_collection[:batchsize*2]
	file_rel_path = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)]
	# 把“请对下面的程序文件做一个概述” 替换成精简的 "文件名：{all_file[index]}"
	for index, content in enumerate(this_iteration_gpt_response_collection):
	if index%2==0: this_iteration_gpt_response_collection[index] = f"{file_rel_path[index//2]}" # 只保留文件名节省token
	this_iteration_files = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)]
	previous_iteration_files.extend(this_iteration_files)
	previous_iteration_files_string = ', '.join(previous_iteration_files)
	current_iteration_focus = ', '.join(this_iteration_files)
	if summary_batch_isolation: focus = current_iteration_focus
	else: focus = previous_iteration_files_string
	i_say = f'用一张Markdown表格简要描述以下文件的功能：{focus}。根据以上分析，用一句话概括程序的整体功能。'
	if last_iteration_result != "":
	sys_prompt_additional = "已知某些代码的局部作用是:" + last_iteration_result + "\n请继续分析其他源代码，从而更全面地理解项目的整体功能。"
	else:
	sys_prompt_additional = ""
	inputs_show_user = f'根据以上分析，对程序的整体功能和构架重新做出概括，由于输入长度限制，可能需要分组处理，本组文件为 {current_iteration_focus} + 已经汇总的文件组。'
	this_iteration_history = copy.deepcopy(this_iteration_gpt_response_collection)
	this_iteration_history.append(last_iteration_result)
	# 裁剪input
	inputs, this_iteration_history_feed = input_clipping(inputs=i_say, history=this_iteration_history, max_token_limit=2560)
	result = yield from request_gpt_model_in_new_thread_with_ui_alive(
	inputs=inputs, inputs_show_user=inputs_show_user, llm_kwargs=llm_kwargs, chatbot=chatbot,
	history=this_iteration_history_feed, # 迭代之前的分析
	sys_prompt="你是一个程序架构分析师，正在分析一个项目的源代码。" + sys_prompt_additional)

	diagram_code = make_diagram(this_iteration_files, result, this_iteration_history_feed)
	summary = "请用一句话概括这些文件的整体功能。\n\n" + diagram_code
	summary_result = yield from request_gpt_model_in_new_thread_with_ui_alive(
	inputs=summary,
	inputs_show_user=summary,
	llm_kwargs=llm_kwargs,
	chatbot=chatbot,
	history=[i_say, result], # 迭代之前的分析
	sys_prompt="你是一个程序架构分析师，正在分析一个项目的源代码。" + sys_prompt_additional)

	report_part_2.extend([i_say, result])
	last_iteration_result = summary_result
	file_manifest = file_manifest[batchsize:]
	gpt_response_collection = gpt_response_collection[batchsize*2:]

	############################## <END> ##################################
	history_to_return.extend(report_part_2)
	res = write_history_to_file(history_to_return)