OpenAPI列表
说明 目前开放的API主要针对离线脚码任务和管道集成任务。规范建模相关的任务运维的API暂未开放。API API说明 实例运维 GetInstanceDownstream 根据起始的实例查询该实例的下游。GetPhysicalInstanceLog 获取实例执行的日志，如果实例重跑...
GOTO 语句
label 必须在函数、存储过程或匿名块的范围内是唯一的。要标记语句，请使用语法：<<label>>statement statement 是程序跳转到的执行点。您可以标记赋值语句、任何 SQL 语句（如 INSERT、UPDATE、CREATE 等）和所选的存储过程语言语句。可...
重载子程序
通常，具有相同名称、相同形参规格的同一类型（子存储过程或子函数）的子...下面是从匿名块显示的输出：add_it BINARY_INTEGER:75.0000 add_it NUMBER:75.6666 add_it NUMBER:75.6666 add_it REAL:75.6666 add_it DOUBLE PRECISION:75.6666
动态 SQL
动态 SQL 是一项能够执行某些 SQL 命令的...下面是上一匿名块的输出：JOBNO JNAME-100 ANALYST 200 CLERK 300 MANAGER 400 SALESMAN 500 PRESIDENT 您可以使用 BULK COLLECT 子句将 EXECUTE IMMEDIATE 语句的结果集装入一个已命名的集合中。
0006-00000205
不包含policy表单域的请求被认为是匿名请求，即只能访问public-read-write的Bucket。如果访问的Bucket为非public-read-write或者提供了OSSAccessKeyId（或Signature）表单域的情况下，policy表单域的值为空，则导致请求报错。问题示例 以下...
日志字段详情
requester_id 请求者的ID，如果是匿名访问，则显示为短划线（-）。response_body_length HTTP响应中的Body大小，不包括header。response_time HTTP响应时间，单位：毫秒。server_cost_time OSS服务器处理本次请求所花的时间，单位：毫秒。...
Dataphin管道任务失败，报错“error occurred where ...
问题描述 Dataphin管道任务失败，报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式...
创建管道
如果需要根据优先级和提交顺序依次执行媒体处理任务，您可以创建管道，然后在创建媒体处理任务时指定优先级（部分任务类型支持）和对应的管道。使用限制 不同类型管道的创建数量、适用功能、并发能力不同，如果提交不适用的任务会执行失败...
如何通过IIS搭建多个FTP站点（Windows实例）
所有匿名用户：匿名用户可访问FTP站点对应的共享文件夹。指定角色或用户组：仅特定角色或用户组的成员才能访问FTP站点对应的共享文件夹。需要在对应的文本框中输入角色或用户组。指定用户：仅指定用户才能访问FTP站点对应的共享文件夹。...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
查询日志
当您需要查看集群中各节点的运行状况及管道的运行情况，例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息时，可查看主日志进行排查。注意 如果您的业务侧出现问题，建议优先查看主日志和 集群监控，排除集群自身的...
使用Logstash管道配置调试功能
当Logstash管道配置出现错误时，可能导致输出数据结果不符合预期，需要反复去目标端确认数据格式，再返回控制台修改配置，这样会耗费大量的时间和人力。对于这种情况，您可以通过阿里云Logstash提供的管道配置调试功能，在管道配置完成后，...
搭建FTP服务器（Windows）
如果您对数据传输安全没有要求，可以设置为 匿名(A)，使匿名用户支持直接访问FTP站点。匿名(A)：允许任何仅提供用户名 anonymous 或 ftp 的用户访问内容。基本(B)：需要用户提供有效用户名和密码才能访问内容。由于基本身份验证通过网络...
proc/meminfo文件中的统计信息变更说明
Alibaba Cloud Linux 2（内核版本 4.19.91-22.al7 开始）和Alibaba Cloud Linux 3的/proc/meminfo 文件内的匿名页状态统计信息 Active(anon)和 Inactive(anon)发生了变化。如果您的应用程序正在使用该统计信息，统计信息的变化会导致变更...
手动搭建FTP站点（Windows）
如果您对数据传输安全没有要求，可以设置为 匿名(A)，使匿名用户支持直接访问FTP站点。匿名(A)：允许任何仅提供用户名 anonymous 或 ftp 的用户访问内容。基本(B)：需要用户提供有效用户名和密码才能访问内容。由于基本身份验证通过网络...
智能生产
如果管道列表中没有智能封面管道，请先开启智能封面管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
智能审核
如果管道列表中没有智能审核管道，请先开启智能审核管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
视频DNA
如果管道列表中没有视频DNA管道，请先开启视频DNA管道。按需调用 提交新建DNA库 接口，创建DNA库。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成...
通过Logstash切分数据并提取到字段中
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { beats { port=>8001 } } filter { mutate { gsub=>["message","\|","|"]split=>["message","|"]add_field=>{"mobile"=>"%{[message][1]}""appName"=>"%{...
通过Logstash同步Azure Event Hubs数据至Elastic...
当您需要将Azure Event Hubs事件中心中的数据同步到阿里云Elasticsearch中时，可使用阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。操作流程 步骤一：准备环境与实例 步骤二：创建并配置Logstash管道 步骤三：验证结果 步骤...
步骤三：引入数据
步骤二：开发离线管道脚本 在离线单条管道开发页面，选中 MySQL输入组件 和 MaxCompute输出组件 并拖动至管道画布中，同时进行连接。如下图所示：单击组件的 图标，配置 MySQL输入组件 和 MaxCompute输出组件。MySQL输入组件 参数 描述 ...
步骤三：引入数据
步骤二：开发离线管道脚本 在离线单条管道开发页面，选中 MySQL输入组件 和 MaxCompute输出组件 并拖动至管道画布中，同时进行连接。如下图所示：单击组件的 图标，配置 MySQL输入组件 和 MaxCompute输出组件。MySQL输入组件 参数 描述 ...
配置脚本模式组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 脚本模式输出配置 对话框。在 脚本模式输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
管道管理
本文提供了Java SDK管道相关功能的API调用示例，包含添加管道、更新管道、删除管道、查询管道。前提条件 使用前请先初始化客户端，详细说明请参见 初始化。创建管道 调用AddPipeline接口，完成创建管道功能。说明 管道类型选择说明，请参见...
基于reindex实现低版本多type数据迁移
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
Dataphin管道任务同步读取源表时，报错“java.sql....
问题描述 Dataphin管道任务同步读取源表时，报错“java.sql.SQLException:ORA-08103:对象不再存在”;源表是存在的。问题原因 管道任务同步读取源表时，另一个用户在全量更新该源表，即有一个进程truncate，insert动作，而同时有另一进程对...
通过Logstash修改字段名
在 创建管道任务 页面，输入管道ID并配置管道。本文使用的管道配置如下。input { elasticsearch { hosts=>["http://es-cn-tl32gid*.elasticsearch.aliyuncs.com:9200"]user=>"elastic"password=>"your_password"index=>"product_info...
配置Vertica输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Vertica输出配置 对话框。在 Vertica输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
配置PostgreSQL输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PostgreSQL输出配置 对话框。在 PostgreSQL输出配置 对话框，配置参数。参数 描述 步骤名称 根据...
配置SAP HANA输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 SAP HANA输出配置 对话框。在 SAP HANA输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
配置PolarDB输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB输出配置 对话框。在 PolarDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
配置PolarDB输出组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 离线管道组件开发入口。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB输出配置 对话框。在 PolarDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
配置OceanBase输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 OceanBase输出配置 对话框。在 OceanBase输出配置 对话框，配置参数。参数 说明 步骤名称 根据...
配置MongoDB输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作，进入 MongoDB输出配置 对话框。在 MongoDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的...
配置PolarDB-X输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 PolarDB-X（原DRDS）输出配置 对话框。序号 操作描述 ① 单击页面右上角的 组件库。② 单击 输出...
配置ElasticSearch输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 ElasticSearch输出配置 对话框。在 ElasticSearch输出配置 对话框，配置参数。参数 说明 步骤名称...
SearchPipeline-搜索管道
通过管道状态搜索管道。接口说明 本接口通过管道状态搜索管道，如果不指定管道状态则默认搜索全部管道。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 ...
配置Hologres输出组件
操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数。参数 说明 步骤名称 即Hologres输出组件的...
- 产品推荐
- 这些文档可能帮助您