关于模型初始化和超参数

[Aolong]

在main.py文件里开始训练的时候需要加载模型，模型内容包括了训练时的参数'args'，但是初次训练的话并没有这个参数，请问该如何获得？

bert_ckpt= torch.load(args.bert_path)
bert_args = bert_ckpt['args']

而且，在加载模型的时候需要bert_args.embed_dim这些参数，代码里也没有找到，想问一下是否能够开源一个已经训练好的模型？

bert_model = BERTLM(device, bert_vocab, bert_args.embed_dim, bert_args.ff_embed_dim, bert_args.num_heads, \
                                     bert_args.dropout, bert_args.layers, bert_args.approx)

另外，模型训练的超参数是和train.sh里一致的吗？

[lismin]

看下bert的实现代码吧，看了就知道这些参数信息了，虽然本人也还没认真看过bert的源码。

[chaohen]

看下bert的实现代码吧，看了就知道这些参数信息了，虽然本人也还没认真看过bert的源码。

你好请问这个模型有成功运行吗？ 求一下运行方法

[lismin]

可以成功的

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2021年9月9日(星期四) 晚上8:05 收件人: ***@***.***>; 抄送: "(∩_∩) ***@***.***>; ***@***.***>; 主题: Re: [lipiji/TtT] 关于模型初始化和超参数 (#1) 看下bert的实现代码吧，看了就知道这些参数信息了，虽然本人也还没认真看过bert的源码。 你好请问这个模型有成功运行吗？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[fujunying2018]

您好，您在下面的代码模块儿做了哪些处理呢，可以举个例子吗
bert_ckpt= torch.load(args.bert_path)
bert_args = bert_ckpt['args']

[Aolong]

您好，您在下面的代码模块儿做了哪些处理呢，可以举个例子吗
bert_ckpt= torch.load(args.bert_path)
bert_args = bert_ckpt['args']

@lixumin-zai

[fujunying2018]

在main.py文件里开始训练的时候需要加载模型，模型内容包括了训练时的参数'args'，但是初次训练的话并没有这个参数，请问该如何获得？

bert_ckpt= torch.load(args.bert_path)
bert_args = bert_ckpt['args']

而且，在加载模型的时候需要bert_args.embed_dim这些参数，代码里也没有找到，想问一下是否能够开源一个已经训练好的模型？

bert_model = BERTLM(device, bert_vocab, bert_args.embed_dim, bert_args.ff_embed_dim, bert_args.num_heads, \
                                     bert_args.dropout, bert_args.layers, bert_args.approx)

另外，模型训练的超参数是和train.sh里一致的吗？

您好，您这块儿运行起来了吗？如果运行起来是否可以分享下这块儿的修改代码

[Aolong]

@fujunying2018 没跑起来，最近也没看了，上边有人说成功了，我给你@了

[fujunying2018]

好的，谢谢

[Piji Li]

Will release it before 31 Dec.