查看历史信息
本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建，详情请参见 通过离线单条管道配置集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 ...
DescribePipeline
调用DescribePipeline，获取Logstash实例的管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见...
视频DNA
如果管道列表中没有视频DNA管道，请先开启视频DNA管道。按需调用 提交新建DNA库 接口，创建DNA库。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成...
新手指引
步骤三、开启管道 各类任务所使用的管道类型不同，详细管道类型及开启说明请参见 开启管道。登录 媒体处理控制台。在顶部导航栏左侧选择与您的OSS Bucket一致的 地域。在左侧导航栏，选择 全局设置>管道及回调。找到所需管道类型，单击 ...
管道管理
本文提供了Node.js SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。添加管道 可以通过 添加管道 接口新增一个管道。import Console from '@alicloud/tea-console';import OpenApi,*as$OpenApi from '@...
查看历史信息
本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建，详情请参见 通过单条管道创建集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入...
DBMS_PIPE
DBMS_PIPE子程序总览 子程序 说明 CREATE_PIPE Function 创建一个命名管道。NEXT_ITER_TYPE Function 返回缓冲区中下一个数据成员的数据类型。PACK_MESSAGE Procedures 将一个数据项放入会话的本地消息缓冲区中。UNPACK_MESSAGE Procedures...
ListPipelineIds
调用ListPipelineIds，设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。说明 管道管理方式分为配置文件管理和Kibana管道管理，部分区域控制台不开放Kibana管道管理。调试 您可以在OpenAPI ...
Logstash性能排查
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input阶段将事件写入到内存（默认）或磁盘的中央队列，每个管道工作线程从此...
一字管道
该组件可作为连接组件静态展示，也可关联数据展示和控制管道内的流动效果和方向。下文介绍组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布左侧组件...
管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对图像的不同处理。访问规则<图片URL>@|<action2>URL通过@符号后面的处理参数（action1,action2）来实现即时云处理，如果有多任务（比如先做缩略，...
集成组件库开发说明
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。可视化组件开发方式不仅能降低开发难度和效率，还方便您快速梳理来源与去向数据源。本文为您介绍如何...
创建窄带高清TM2.0转码任务
定制模板可以使用标准管道或倍速管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket在媒体处理MPS中绑定...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先安装及完成...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
DeletePipeline-删除管道
删除管道。接口说明 本接口一次只能删除一个管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 QPS 限制。调试 您可以在OpenAPI Explorer中直接运行...
DBMS_PIPE
只有创建管道的用户才能访问一个私有管道，超级用户不能访问由其他用户创建的管道。任何能够访问 DBMS_PIPE 包的用户均可以访问公有管道。通过管道发送消息和接受消息。通过管道发送消息。第一次在本地消息缓冲区创建的单独数据项或者消息...
管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对文件的不同处理。访问规则 URL通过处理参数 action1、action2 实现数据处理。如果有多任务，执行顺序按管道指定顺序执行，管道的分隔符是竖线（|...
UpdatePipelines
调用UpdatePipelines，更新Logstash管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
CreatePipelines
调用CreatePipelines，创建Logstash管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求参数...
UpdatePipeline-更新管道信息
更新用户管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
创建窄带高清TM1.0转码任务
PipelineId，管道ID：请使用标准管道、倍速转码类型的管道ID。TemplateId，转码模板ID：请使用窄带高清™1.0的定制模板或预置窄带高清模板。其他参数请参见 SubmitJobs-提交转码作业 接口说明。接收回调消息。完成转码作业后，如果配置了...
基于Logstash迁移OSS数据
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为来目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或...
通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或错误...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
腾讯云ES数据迁移至阿里云
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
创建分辨率倍增任务
开启管道。分辨率倍增转码可选择窄带高清2.0管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket在媒体...
智能标签
如果管道列表中没有智能标签管道，请先开启智能标签管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
Dataphin管道任务速度为0
问题描述 用户使用管道任务同步数据，同步速度为Speed 0B/s,0 records/s。问题原因 这种速度为Speed 0B/s,0 records/s，就是典型得读不出来，写不进去，需要检查WaitReaderTime和WaitWriterTime大小。解决方案 如果WaitReaderTime比较大，...
Dataphin 管道任务如何同步逻辑表数据
概述 本文描述了Dataphin 管道任务如何同步逻辑表数据。详细信息 管道任务的输入组件中，有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 ...
Logstash FAQ
管道创建后，进程卡住了，实例变更进度不变，如何处理？Logstash私网地址是否能ping通？Logstash在两个Elasticsearch之间同步数据，如何保证mapping一致？阿里云Logstash支持rubydebug模式吗？系统报错elasticsearch.errorcode....
StopPipelines
调用StopPipelines，停止运行Logstash管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
UpdatePipelineManagementConfig
调用UpdatePipelineManagementConfig，更新Logstash管道管理方式。说明 管道管理方式分为配置文件管理和Kibana管道管理，目前控制台已不支持Kibana管道管理，仅可通过API使用此功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去...
快速提交转码任务
如果需要根据提交顺序依次执行媒体处理任务，您可以创建管道，并在创建媒体处理任务时指定对应的管道。本文以转码任务为例为您介绍如何在控制台上进行快速转码。前提条件 您已将待处理文件上传至OSS。详细操作，请参见 上传视频。使用流程 ...
DeletePipeline-删除用户管道
删除用户管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
- 产品推荐
- 这些文档可能帮助您