transformers 安装

transformers

作者|huggingface
编译|VK
来源|Github

安装

此仓库已在Python 3.5 +,PyTorch 1.0.0+和TensorFlow 2.0.0-rc1上进行了测试

你应该安装虚拟环境中的transformers。如果你不熟悉Python虚拟环境,请查看用户指南。

使用你要使用的Python版本创建一个虚拟环境并激活它。

现在,如果你想使用transformers,你可以使用pip进行安装。如果你想使用这些示例,则必须从源代码安装它。

pip安装

首先,你需要安装TensorFlow 2.0或PyTorch。有关适用于你平台的特定安装命令,请参阅TensorFlow安装页面和/或PyTorch安装页面。

安装TensorFlow 2.0或PyTorch后,可以使用pip如下安装transformers:

pip install transformers

获取源码

同样在这里,你首先需要安装TensorFlow 2.0或PyTorch中。有关适用于你平台的特定安装命令,请参阅TensorFlow安装页面和/或PyTorch安装页面。

在安装TensorFlow 2.0或PyTorch之后,你可以通过克隆存储库并运行以下命令从源代码进行安装:

git clone https://github.com/huggingface/transformers
cd transformers
pip install .

更新存储库时,应按以下方式升级transformers及其依赖项:

git pull 
pip install --upgrade .

运行示例

示例包含在存储库中,但未随库一起提供。

因此,为了运行示例的最新版本,你需要如上所述从源代码安装。

查看自述文件,了解如何运行示例。

测试

该库和一些示例脚本包括一系列测试。可以在tests文件夹中找到库测试,而在examples文件夹中可以找到示例测试。

根据安装的框架(TensorFlow 2.0或PyTorch),不相关的测试将被跳过。如果要执行所有测试,请确保两个框架都已安装。

这是为库运行测试的最简单方法:

pip install -e ".[testing]"
make test

对于示例:

pip install -e ".[testing]"
pip install -r examples/requirements.txt
make test-examples

有关详细信息,请参阅提供指南。

你要在移动设备上运行Transformer模型吗?

你应该查看我们的swift-coreml-transformers仓库。

https://github.com/huggingface/swift-coreml-transformers

它包含了一套工具来转换PyTorch或TensorFlow 2.0训练的transformers模型(目前包含GPT-2,DistilGPT-2,BERT和DistilBERT)以CoreML模型运行在iOS设备上。

在将来的某个时候,你将能够从预训练或微调模型无缝过渡到在CoreML中进行生产,或者在CoreML中对模型或应用进行原型设计,然后从TensorFlow 2.0和研究其超参数或体系结构!

原创文章,作者:pytorch,如若转载,请注明出处:https://pytorchchina.com/2020/02/29/transformers-%e5%ae%89%e8%a3%85/

QR code