跳转至

管道公用设施

译者:片刻小哥哥

项目地址:https://huggingface.apachecn.org/docs/transformers/internal/pipelines_utils

原始地址:https://huggingface.co/docs/transformers/internal/pipelines_utils

此页面列出了该库为管道提供的所有实用函数。

其中大多数仅在您研究库中模型的代码时才有用。

参数处理

班级

变压器.管道。

参数处理程序

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L425)

(

)

用于处理每个参数的基本接口 管道 。

班级

变压器.管道。

ZeroShotClassificationArgumentHandler

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/zero_shot_classification.py#L14)

(

)

通过将每个可能的标签转换为 NLI 来处理文本分类的零样本参数 前提/假设对。

班级

变压器.管道。

问题回答参数处理程序

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/question_answering.py#L150)

(

)

QuestionAnsweringPipeline 要求用户提供要映射到的多个参数(即问题和上下文) 内部的 小队示例 。

QuestionAnsweringArgumentHandler 管理所有可能的创建 小队示例 从命令行 提供的参数。

数据格式

班级

变压器。

管道数据格式

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L435)

(

输出_路径

: 打字.可选[str]

输入_路径

: 打字.可选[str]

柱子

: 打字.可选[str]

覆盖

:布尔=假

)

参数

  • 输出_路径 ( str ) — 保存传出数据的位置。
  • 输入_路径 ( str ) — 在哪里查找输入数据。
  • 柱子 ( str ) — 要读取的列。
  • 覆盖 ( 布尔 , 选修的 ,默认为 ‘假’ )— 是否覆盖 输出路径 。

所有管道支持的读取和写入数据格式的基类。支持的数据格式 目前包括:

  • JSON
  • CSV
  • 标准输入/标准输出(管道)

管道数据格式 还包括一些用于处理多列的实用程序,例如从数据集列映射到 通过管道传递关键字参数 dataset_kwarg_1=dataset_column_1 格式。

来自_str

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L512)

(

格式

: 字符串

输出_路径

: 打字.可选[str]

输入_路径

: 打字.可选[str]

柱子

: 打字.可选[str]

覆盖

= 假

)

→

导出常量元数据='未定义';

PipelineDataFormat

参数

  • 格式 ( str )— 所需管道的格式。可接受的值为 “json” , “csv” 或者 “管道” 。
  • 输出_路径 ( str , 选修的 )— 保存传出数据的位置。
  • 输入_路径 ( str , 选修的 )— 在哪里查找输入数据。
  • 柱子 ( str , 选修的 )— 要阅读的专栏。
  • 覆盖 ( 布尔 , 选修的 ,默认为 ‘假’ )— 是否覆盖 输出路径 。

退货

导出常量元数据='未定义';

PipelineDataFormat

导出常量元数据='未定义';

正确的数据格式。

创建右子类的实例 PipelineDataFormat 根据 格式 。

节省

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L484)

(

数据

: 打字.Union[dict, 打字.List[dict]]

)

参数

  • 数据 ( 字典 或列表 字典 ) — 要存储的数据。

将提供的数据对象与当前的表示一起保存 PipelineDataFormat 。

保存_binary

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L494)

(

数据

: 打字.Union[dict, 打字.List[dict]]

)

→

导出常量元数据='未定义';

str

参数

  • 数据 ( 字典 或列表 字典 ) — 要存储的数据。

退货

导出常量元数据='未定义';

str

导出常量元数据='未定义';

数据保存的路径。

将提供的数据对象作为 pickle 格式的二进制数据保存在磁盘上。

班级

变压器。

CsvPipeline数据格式

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L548)

(

输出_路径

: 打字.可选[str]

输入_路径

: 打字.可选[str]

柱子

: 打字.可选[str]

覆盖

= 假

)

参数

  • 输出_路径 ( str ) — 保存传出数据的位置。
  • 输入_路径 ( str ) — 在哪里查找输入数据。
  • 柱子 ( str ) — 要读取的列。
  • 覆盖 ( 布尔 , 选修的 ,默认为 ‘假’ )— 是否覆盖 输出路径 。

支持使用 CSV 数据格式的管道。

节省

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L578)

(

数据

: 打字.List[字典]

)

参数

  • 数据 ( 列表[字典] ) — 要存储的数据。

将提供的数据对象与当前的表示一起保存 PipelineDataFormat 。

班级

变压器。

JsonPipeline数据格式

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L592)

(

输出_路径

: 打字.可选[str]

输入_路径

: 打字.可选[str]

柱子

: 打字.可选[str]

覆盖

= 假

)

参数

  • 输出_路径 ( str ) — 保存传出数据的位置。
  • 输入_路径 ( str ) — 在哪里查找输入数据。
  • 柱子 ( str ) — 要读取的列。
  • 覆盖 ( 布尔 , 选修的 ,默认为 ‘假’ )— 是否覆盖 输出路径 。

支持使用 JSON 文件格式的管道。

节省

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L623)

(

数据

: 字典

)

参数

  • 数据 ( 字典 ) — 要存储的数据。

将提供的数据对象保存在 json 文件中。

班级

变压器。

PipedPipeline数据格式

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L634)

(

输出_路径

: 打字.可选[str]

输入_路径

: 打字.可选[str]

柱子

: 打字.可选[str]

覆盖

:布尔=假

)

参数

  • 输出_路径 ( str ) — 保存传出数据的位置。
  • 输入_路径 ( str ) — 在哪里查找输入数据。
  • 柱子 ( str ) — 要读取的列。
  • 覆盖 ( 布尔 , 选修的 ,默认为 ‘假’ )— 是否覆盖 输出路径 。

从管道输入读取数据到 python 进程。对于多列数据,列应该用分隔符分隔

如果提供了列,则输出将是带有 {column_x: value_x} 的字典

节省

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L663)

(

数据

: 字典

)

参数

  • 数据 ( 字典 ) — 要存储的数据。

打印数据。

公用事业

班级

变压器.管道。

管道异常

[<

来源

](https://github.com/huggingface/transformers/blob/v4.35.2/src/transformers/pipelines/base.py#L408)

(

任务

: 字符串

模型

: 字符串

原因

: 字符串

)

参数

  • 任务 ( str ) — 管道的任务。
  • 模型 ( str ) — 管道使用的模型。
  • 原因 ( str ) — 要显示的错误消息。

由一个 管道 处理时 称呼 。



回到顶部