transformers Jupyter Notebooks

作者|huggingface
编译|VK
来源|Github

Jupyter Notebooks

我们包括三个Jupyter Notebooks,可以用来检查Pythorch模型的预测是否与原始TensorFlow模型的预测相同。

第一个Notebooks(Comparing-TF-and-PT-models.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models.ipynb)提取了TensorFlow和PyTorch模型每一层上完整序列的隐藏状态,并计算了它们之间的标准差。在给定的例子中,我们得到模型的各种隐藏状态的标准差为1.5e-7到9e-7。

第二个Notebooks(Comparing-TF-and-PT-models-SQuAD.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models-SQuAD.ipynb)比较了TensorFlow和PyTorch模型计算的BertForQuestionAnswering微调层相同初始化的损耗,并计算了它们之间的标准偏差。在给定的例子中,我们得到模型之间的标准偏差为2.5e-7。

第三个Notebooks(Comparing-TF-and-PT-models-MLM-NSP.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models-MLM-NSP.ipynb) 比较了TensorFlow和PyTorch模型计算的预测,并使用预训练的掩码语言模型对掩码标记语言进行建模。

请按照Notebooks中的说明运行和修改它们。

原文链接:https://huggingface.co/transformers/notebooks.html

原创文章,作者:pytorch,如若转载,请注明出处:http://pytorchchina.com/2020/03/04/transformers-jupyter-notebooks/

QR code