通用公用事业
译者:片刻小哥哥
项目地址:https://huggingface.apachecn.org/docs/transformers/internal/file_utils
原始地址:https://huggingface.co/docs/transformers/internal/file_utils
此页面列出了文件中找到的所有 Transformer 通用实用函数
utils.py
。
其中大多数仅在您学习库中的通用代码时才有用。
枚举和命名元组
班级
变压器.utils。
显式枚举
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/generic.py#L448)
(
价值
名字
= 无
模块
= 无
限定名
= 无
类型
= 无
开始
= 1
)
带有更明确的缺失值错误消息的枚举。
班级
变压器.utils。
填充策略
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/generic.py#L460)
(
价值
名字
= 无
模块
= 无
限定名
= 无
类型
= 无
开始
= 1
)
可能的值
填充
论证中
PreTrainedTokenizerBase.
称呼
()
。对于制表符补全很有用
IDE。
班级
变压器。
张量类型
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/generic.py#L471)
(
价值
名字
= 无
模块
= 无
限定名
= 无
类型
= 无
开始
= 1
)
可能的值
返回张量
论证中
PreTrainedTokenizerBase.
称呼
()
。对...有用
IDE 中的制表符补全。
特别装饰者
Transformers.add_start_docstrings
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/doc.py#L23)
(
* 文档字符串
)
Transformers.utils.add_start_docstrings_to_model_forward
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/doc.py#L31)
(
* 文档字符串
)
Transformers.add_end_docstrings
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/doc.py#L53)
(
* 文档字符串
)
Transformers.utils.add_code_sample_docstrings
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/doc.py#L1064)
(
* 文档字符串
处理器_class
= 无
检查站
= 无
输出_类型
= 无
配置_class
= 无
面具
= '[掩码]'
qa_target_start_index
= 14
qa_target_end_index
= 15
型号_cls
= 无
情态
= 无
预期_输出
= 无
预期损失
= 无
真实_检查点
= 无
)
Transformers.utils.replace_return_docstrings
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/doc.py#L1152)
(
输出_类型
= 无
配置_class
= 无
)
特殊属性
班级
变压器.utils。
缓存_属性
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/generic.py#L36)
(
得到
= 无
偏移量
= 无
弗德尔
= 无
文档
= 无
)
模仿@property但将输出缓存在成员变量中的描述符。
来自张量流_数据集
Python 3.8 中内置 functools。
其他实用程序
班级
变压器.utils。
_LazyModule
[<
来源
](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/utils/import_utils.py#L1304)
(
姓名
模块_文件
导入_结构
模块_spec
= 无
额外_对象
= 无
)
显示所有对象但仅在请求对象时执行关联导入的模块类。