Dataphin离线管道任务报错“获取元数据失败...
问题描述 Dataphin离线管道任务报错“获取元数据失败SqlSyntaxErrorException DB2 SQL Error:SQLCODE=-418,SQLSTATE=42610,SQLERRMC=null,DRIVER=xxx"是什么原因？解决方案 连接使用的DB2数据源的版本不支持，当前的Dataphin数据源只支持DB...
什么是阿里云Logstash
阿里云Logstash作为服务器端的数据处理管道，提供了100%兼容开源Logstash的能力。Logstash能够动态地从多个来源采集数据、转换数据，并且将数据存储到所选位置。通过输入、过滤和输出插件，Logstash可以加工和转换任何类型的事件。为什么...
创建管道
如果需要根据优先级和提交顺序依次执行媒体处理任务，您可以创建管道，然后在创建媒体处理任务时指定优先级（部分任务类型支持）和对应的管道。使用限制 不同类型管道的创建数量、适用功能、并发能力不同，如果提交不适用的任务会执行失败...
管道概述
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文介绍MPS中管道的基本概念及使用限制。基本概念 管道有启用、禁用两种状态，管道被暂停时，媒体处理服务不再调度此管道中的作业...
管理文件访问权限
权限类型 描述 权限值 继承Bucket（默认权限）当Object未设置读写权限时，该Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。Aliyun:OSS:ACL:DEFAULT 私有 只有Object的拥有者可以对该Object进行读写操作，其他人...
管理文件访问权限
权限类型 描述 权限值 继承Bucket（默认权限）当Object未设置访问权限时，该Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。default 私有 只有Object的拥有者可以对该Object进行读写操作，其他人无法访问该Object。...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细操作请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细说明请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
管理文件访问权限
权限类型 描述 权限值 继承Bucket（默认权限）当Object未设置访问权限时，该Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。CannedAccessControlList.Default 私有 只有Object的拥有者可以对该Object进行读写操作，...
SearchPipeline-搜索管道
通过管道状态搜索管道。接口说明 本接口通过管道状态搜索管道，如果不指定管道状态则默认搜索全部管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 ...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
QueryPipelineList-查询管道
通过管道ID查询管道。接口说明 本接口一次最多可查询 10 个管道。当返回值为"Code":"InvalidIdentity.ServiceDisabled","Message":"The request identity was not allowed operated.","Recommend"时，请检查您是否拥有 MPS 权限（是否授权 ...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
UpdatePipeline-更新管道：名称、状态及通知设定
更新管道。接口说明 本接口可以修改指定管道的名称、状态及通知设定。暂停管道后，如果工作流或其他单任务（如视频审核、视频 DNA 等）中选择使用状态为已暂停的管道，会导致任务失败无法进行。注意 暂停管道后，不会影响已经提交的任务。...
Dataphin如何理解管道集成任务中加载策略中的"覆盖...
研发，集成，管道任务 概述 本文为您介绍Dataphin管道集成任务中目标库的加载策略的机制是怎样的 问题描述 请教个问题，加载策略选”覆盖数据“的情况下，现在测试的结果是覆盖不了数据，必须还需要填写准备语句才能覆盖得了，这是为什么呢...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
管道
管道组件应用于工业水务、工业配电等场景，用户可用其绘制连续的折线或曲线管道。本文介绍管道组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布左侧...
管理文件访问权限
权限类型 描述 权限值 继承Bucket（默认权限）当Object未设置访问权限时，该Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。CannedAccessControlList.Default 私有 只有Object的拥有者可以对该Object进行读写操作，...
ALIYUN:MPS:Pipeline
ALIYUN:MPS:Pipeline类型用于创建媒体处理的管道。语法 {"Type":"ALIYUN:MPS:Pipeline","Properties":{"Role":String,"Speed":String,"SpeedLevel":Integer,"State":String,"NotifyConfig":Map,"Name":String } } 属性 属性名称 类型 必须 ...
CreatePipeline-创建管道
创建管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Name string 是 ...
数据集成概述
适用场景说明 场景 描述 操作指导 通过管道脚本构建同步任务 基于已有的管道脚本开发管道任务，实现数据同步。下载已开发的管道脚本，详情请参见 通过单条管道创建集成任务。上传创建管道开发脚本，详情请参见 通过单条管道创建集成任务。...
管理文件访问权限
权限类型 描述 权限值 继承Bucket（默认权限）当Object未设置访问权限时，该Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。OSS_ACL_DEFAULT 私有 只有Object的拥有者可以对该Object进行读写操作，其他人无法访问该...
管理文件访问权限
权限类型 描述 权限值 继承Bucket（默认权限）当Object未设置访问权限时，该Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。CannedAccessControlList.Default 私有 只有Object的拥有者可以对该Object进行读写操作，...
0006-00000115
取值如下：default（默认值）：Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。private：只有Object的拥有者可以对该Object进行读写操作，其他人无法访问该Object。public-read：只有该Object的拥有者可以对该...
AddPipeline-添加管道
新增一个管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Name string...
管道管理
本文提供了Python SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。搜索管道 可以直接通过 SearchPipeline 接口搜索管道信息。import os from aliyunsdkcore.client import AcsClient from aliyunsdkcore.acs_...
0006-00000114
取值如下：default（默认值）：Object遵循Bucket的读写权限，即Bucket是什么权限，Object就是什么权限。private：只有Object的拥有者可以对该Object进行读写操作，其他人无法访问该Object。public-read：只有该Object的拥有者可以对该...
使用Logstash管道配置调试功能
当Logstash管道配置出现错误时，可能导致输出数据结果不符合预期，需要反复去目标端确认数据格式，再返回控制台修改配置，这样会耗费大量的时间和人力。对于这种情况，您可以通过阿里云Logstash提供的管道配置调试功能，在管道配置完成后，...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。创建管道 可以通过AddPipeline接口...
数据集成权限列表
管道任务目录权限列表 权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 查看管道任务目录 Y Y Y Y Y N 新建管道任务目录 Y Y Y N N N 编辑管道任务目录 Y Y Y N N N 确定管道任务目录 Y Y Y N N N 删除管道任务目录 Y...
数据集成权限列表
管道任务目录权限列表 权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 查看管道任务目录 Y Y Y Y Y N 新建管道任务目录 Y Y Y N N N 编辑管道任务目录 Y Y Y N N N 确定管道任务目录 Y Y Y N N N 删除管道任务目录 Y...
ListPipelines-获取管道列表
PipelineId string 管道 ID*20b48fb04483915d4f2cd8ac*Name string 管道名称 test-pipeline Speed string 管道类型 Standard Priority integer 管道优先级 6 Status string 管道状态 枚举值：Active：正常。Paused：停用。Active ...
如何开启和禁止FTP匿名登录
本文主要介绍如何开启和禁止FTP匿名登录。详细信息 Windows 2003系统设置FTP匿名登录 登录实例，打开IIS管理器，右键单击需要修改的FTP站点，选择属性。单击安全账户，按照需求，勾选或取消勾选允许匿名连接。单击确认即可。Windows 2008...
查询日志
当您需要查看集群中各节点的运行状况及管道的运行情况，例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息时，可查看主日志进行排查。注意 如果您的业务侧出现问题，建议优先查看主日志和 集群监控，排除集群自身的...
GetPipeline-获取管道详细信息
获取用户管道详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
智能生产
如果管道列表中没有智能封面管道，请先开启智能封面管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
智能审核
如果管道列表中没有智能审核管道，请先开启智能审核管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
- 产品推荐
- 这些文档可能帮助您