Model Fine-Tunning 數個問題

[Polun Lin]

您好，

1. 請問模型中各個模型的NLP Task Models 是如何訓練的?是基於Language Models 進行fine tune嗎?
2. 是否能透過ckiplab/albert-base-chinese-ws 模型 進行fine tune 我自己本身的資料集(希望可以訓練一個新的模型以利新資料斷詞) 若可以，資料集是否需要事先label (tokens) 還是透過raw data即可
3. 訓練出來的模型，可以透過NLP tool 來使用嗎? 因目前的套件提供的方式，似乎是使用數字代表模型 (不能客製化使用自己finetune的模型)

[Mu Yang]

你好～
感謝使用我們的模型

1. 是的，這些 NLP Task Models 都是從對應的 Language Models 進行fine tune 的。
2. 可以直接以 ckiplab/albert-base-chinese-ws 作為起始，進行 fine tune 你自己的模型。我是使用 huggingface 的 ner examples 做訓練，需事先做 label （使用 BI 標記）。可參考官方範例

• https://github.com/huggingface/transformers/tree/v3.5.1/examples/token-classification
• https://github.com/huggingface/transformers/tree/master/examples/token-classification

3. 欲使用自己訓練的模型，可於模型宣告時指定 model_name 參數（這部分的文件會於下個版本加入）。

[Mu Yang]

Document updated in v0.2.3.