transformers Jupyter Notebooks

pytorch • 2020年3月4日 pm12:50 • pytorch, transformers

作者|huggingface
编译|VK
来源|Github

Jupyter Notebooks

我们包括三个Jupyter Notebooks，可以用来检查Pythorch模型的预测是否与原始TensorFlow模型的预测相同。

第一个Notebooks(Comparing-TF-and-PT-models.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models.ipynb)提取了TensorFlow和PyTorch模型每一层上完整序列的隐藏状态，并计算了它们之间的标准差。在给定的例子中，我们得到模型的各种隐藏状态的标准差为1.5e-7到9e-7。

第二个Notebooks(Comparing-TF-and-PT-models-SQuAD.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models-SQuAD.ipynb)比较了TensorFlow和PyTorch模型计算的BertForQuestionAnswering微调层相同初始化的损耗，并计算了它们之间的标准偏差。在给定的例子中，我们得到模型之间的标准偏差为2.5e-7。

第三个Notebooks(Comparing-TF-and-PT-models-MLM-NSP.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models-MLM-NSP.ipynb) 比较了TensorFlow和PyTorch模型计算的预测，并使用预训练的掩码语言模型对掩码标记语言进行建模。

请按照Notebooks中的说明运行和修改它们。

原文链接：https://huggingface.co/transformers/notebooks.html

原创文章，作者：pytorch，如若转载，请注明出处：https://pytorchchina.com/2020/03/04/transformers-jupyter-notebooks/

赞 (0)
pytorch pytorch
transformers 预训练模型
« 上一篇 2020年3月4日 pm12:48
transformers 模型上传和共享
下一篇 » 2020年3月4日 pm12:51

相关推荐

QR code