下载bert的预训练模型并加载训练

总结

• 使用 huggingface下载预训练好的bert模型，并加载。
• 文章来源：csdn：LawsonAbs
• 文章写于[20201205]

---

1.具体步骤

• step1.进入网址 https://huggingface.co 搜索自己需要的模型名(下面以bert-base-uncased 为例)
• step2.在如下的界面中，找到一个 Files and versions
  
• step3. 进入如下的界面，（这里以下载pytorch版的模型为例）
  下载如下三个红框中的内容即可。
  
• step4.具体使用
  我将上述下载好的内容放到了 /home/lawson/pretrain/bert-base-uncased 文件夹下。那么我就可以在程序中这么用：

import torch as t
from transformers import BertTokenizer,BertModel
str = "I used to be a bank, but I lose interest." 
tokenzier = BertTokenizer.from_pretrained("/home/lawson/pretrain/bert-base-uncased")
bert = BertModel.from_pretrained("/home/lawson/pretrain/bert-base-uncased")

2.文件释义

2.1 模型文件

pytorch_model.bin 就是一个pytorch版的模型文件，同样可以在链接中下载tensorflow，或者是rust的模型文件。

2.2 配置文件

config.json 是预训练模型的配置文件，内容如下所示：

3.其它问题

可能有的时候加载训练好的模型会报错，明明操作是对的，但是就是报错，常见的错误有：OSError: Couldn't reach server at '/home/lawson/pretrain/.... to download configuration...'，如下所示：
这种情况的出现是因为 config.json 这个文件中的内容是错误的，导致程序无法识别，删除掉重新下载就好了。【这种情况常出现在网络不佳时下载文件导致】