视频DNA
如果管道列表中没有视频DNA管道，请先开启视频DNA管道。按需调用 提交新建DNA库 接口，创建DNA库。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成...
新手指引
步骤三、开启管道 各类任务所使用的管道类型不同，详细管道类型及开启说明请参见 开启管道。登录 媒体处理控制台。在顶部导航栏左侧选择与您的OSS Bucket一致的 地域。在左侧导航栏，选择 全局设置>管道及回调。找到所需管道类型，单击 ...
管道管理
本文提供了Node.js SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。添加管道 可以通过 添加管道 接口新增一个管道。import Console from '@alicloud/tea-console';import OpenApi,*as$OpenApi from '@...
集成组件库开发说明
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。可视化组件开发方式不仅能降低开发难度和效率，还方便您快速梳理来源与去向数据源。本文为您介绍如何...
查看历史信息
本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建，详情请参见 通过单条管道创建集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入...
DBMS_PIPE
DBMS_PIPE子程序总览 子程序 说明 CREATE_PIPE Function 创建一个命名管道。NEXT_ITER_TYPE Function 返回缓冲区中下一个数据成员的数据类型。PACK_MESSAGE Procedures 将一个数据项放入会话的本地消息缓冲区中。UNPACK_MESSAGE Procedures...
ListPipelineIds
调用ListPipelineIds，设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。说明 管道管理方式分为配置文件管理和Kibana管道管理，部分区域控制台不开放Kibana管道管理。调试 您可以在OpenAPI ...
一字管道
该组件可作为连接组件静态展示，也可关联数据展示和控制管道内的流动效果和方向。下文介绍组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布左侧组件...
管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对图像的不同处理。访问规则<图片URL>@|<action2>URL通过@符号后面的处理参数（action1,action2）来实现即时云处理，如果有多任务（比如先做缩略，...
集成组件库开发说明
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。可视化组件开发方式不仅能降低开发难度和效率，还方便您快速梳理来源与去向数据源。本文为您介绍如何...
Logstash性能排查
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input阶段将事件写入到内存（默认）或磁盘的中央队列，每个管道工作线程从此...
创建倍速转码任务
使用倍速管道，将视频源切分为多个较小的片段后并行转码，可将转码速度提升5~30倍，显著缩短处理耗时。适用于对首发、时效性要求较高的资讯、赛事、重要内容场景。本文为您介绍倍速转码原理及使用方式。背景信息 媒体处理提供离线转码服务...
创建窄带高清TM2.0转码任务
定制模板可以使用标准管道或倍速管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket在媒体处理MPS中绑定...
设置消息通知
（可选）步骤三、绑定管道 如果您需要使用普通管道进行单任务操作并接收消息通知，则需要为您为主题通知或队列绑定管道，在创建单任务时选择绑定了主题通知（队列）的管道即可正常接收消息。说明 如果您使用工作流，则无需绑定管道。媒体...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
管道管理
管道是任务的队列。当您提交异步任务后，任务会进入管道中进行排队，根据优先级和提交顺序依次被调度执行。本文提供了PHP SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先安装及完成...
匿名用户无法访问公共读的Object
但以下设置会导致匿名用户无法访问公共读的Object。设置了请求者付费模式 开启请求者付费模式后，读取存储空间（Bucket）内数据时产生的流量费用和请求费用由请求者支付，Bucket拥有者仅支付存储费用。所以请求方必须提供身份验证信息，...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
DeletePipeline-删除管道
删除管道。接口说明 本接口一次只能删除一个管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 QPS 限制。调试 您可以在OpenAPI Explorer中直接运行...
DBMS_PIPE
只有创建管道的用户才能访问一个私有管道，超级用户不能访问由其他用户创建的管道。任何能够访问 DBMS_PIPE 包的用户均可以访问公有管道。通过管道发送消息和接受消息。通过管道发送消息。第一次在本地消息缓冲区创建的单独数据项或者消息...
OSS匿名用户无法访问公共读Object的解决办法
问题描述 在使用阿里云对象存储OSS时，文件（Object）已经设置为公共读，但匿名用户无法访问此公共读的Object。问题原因 当您的文件（Object）设置为公共读后，所有用户都可以访问您的Object，但以下设置会导致匿名用户无法访问公共读的...
倍速转码公测结束，正式版上线
如何启用/停用 登录媒体处理控制台，单击左侧菜单栏的 全局设置，进入管道页面创建管道，管道类型选择 倍速转码。创建完成后，将转码任务投递到倍速转码管道中，则默认按照倍速模式处理。详细说明，请参见 创建管道。说明 如无需使用该服务...
管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对文件的不同处理。访问规则 URL通过处理参数 action1、action2 实现数据处理。如果有多任务，执行顺序按管道指定顺序执行，管道的分隔符是竖线（|...
UpdatePipelines
调用UpdatePipelines，更新Logstash管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
CreatePipelines
调用CreatePipelines，创建Logstash管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求参数...
Quick BI数据填报可以匿名填报吗？
概述 本文主要介绍数据填报是否可以匿名填报。详细信息 Quick BI数据填报可以匿名填报吗？不可以。介绍如下：如果填报的用户通过私密链接打开进行填报，那么提交人、修改人会被记录为填报的用户名。如果数据填报被公开链接分享给用户进行...
UpdatePipeline-更新管道信息
更新用户管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
创建窄带高清TM1.0转码任务
PipelineId，管道ID：请使用标准管道、倍速转码类型的管道ID。TemplateId，转码模板ID：请使用窄带高清™1.0的定制模板或预置窄带高清模板。其他参数请参见 SubmitJobs-提交转码作业 接口说明。接收回调消息。完成转码作业后，如果配置了...
基于Logstash迁移OSS数据
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为来目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或...
通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或错误...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
腾讯云ES数据迁移至阿里云
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
创建分辨率倍增任务
开启管道。分辨率倍增转码可选择窄带高清2.0管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket在媒体...
智能标签
如果管道列表中没有智能标签管道，请先开启智能标签管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
Dataphin管道任务速度为0
问题描述 用户使用管道任务同步数据，同步速度为Speed 0B/s,0 records/s。问题原因 这种速度为Speed 0B/s,0 records/s，就是典型得读不出来，写不进去，需要检查WaitReaderTime和WaitWriterTime大小。解决方案 如果WaitReaderTime比较大，...
Dataphin 管道任务如何同步逻辑表数据
概述 本文描述了Dataphin 管道任务如何同步逻辑表数据。详细信息 管道任务的输入组件中，有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 ...
- 产品推荐
- 这些文档可能帮助您