配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
使用前置声明
在调用子程序时，必须事先在独立程序内块层次结构的某个位置声明它，但该位置必须在调用它的位置前面。换句话说，当从头到尾扫描SPL代码时，必须在调用之前找到...匿名块所生成的输出如下所示：Increase by 1 Increase by 1 Final value is 5
配置Hologres输入组件
操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Hologres输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Hologres 组件至左侧的管道画布中。④ 鼠标放置在 ...
配置Teradata输入组件
操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Teradata输入配置 对话框。序号 说明 ① 单击 组件库。② 单击 输入。③ 拖动 Teradata 组件至左侧的管道画布中。④ 鼠标放置在 Teradata 组件框内...
配置AnalyticDB for PostgreSQL输出组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 AnalyticDB for PostgreSQL输出配置 对话框。序号 操作描述 ① 单击页面右上角的 组件库。② 单击 输出 前的 图标。③ 将 AnalyticDB ...
配置ClickHouse输出组件
操作步骤 请参 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 ClickHouse输出配置 对话框。序号 操作描述 ① 单击页面右上角的 组件库。② 单击 输出。③ 将 ClickHouse 组件拖到左侧的管道画布中。④和⑤ ...
配置Hologres输入组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 Hologres输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Hologres 组件至左侧的管道画布中。④ 鼠标放置在 ...
配置AnalyticDB for MySQL 3.0输出组件
操作步骤 参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 AnalyticDB for MySQL 3.0输出配置 对话框。在 AnalyticDB for MySQL 3.0输出配置 对话框，配置参数。参数 描述 步骤名称 根据当前组件的使用...
新建离线自定义源类型
集成组件生成说明 完成创建离线自定义源类型后，在集成管道的组件库中会自动生成该类型的集成组件。您可使用该组件进行集成开发工作。集成组件生成说明如下：创建RDBMS类型的离线自定义数据源，在集成管道组件库的开放目录下自动生成输入和...
新建离线自定义源类型
集成组件生成说明 完成创建离线自定义源类型后，在集成管道的组件库中会自动生成该类型的集成组件。您可使用该组件进行集成开发工作。集成组件生成说明如下：创建RDBMS类型的离线自定义数据源，在集成管道组件库的开放目录下自动生成输入和...
创建普通转码任务
详细操作请参见 提交转码作业，创建过程中必须按照以下步骤设置转码相关信息：PipelineId，管道ID：请使用标准管道类型的管道ID。TemplateId，转码模板ID：根据您的实际转码需要选择转码模板，如系统预置模板不能满足您的转码需求，您可以...
配置Impala输出组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入Impala 输出配置 对话框。序号 描述 ① 单击页面右上角的 组件库。② 单击 输出。③ 将Impala组件拖到左侧的管道画布中。④和⑤ 单击上游组件④...
配置GoldenDB输入组件
操作步骤 请参见 配置离线单条管道，进入离线管道脚本的开发页面。按照下图指引，进入GoldenDB 输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动GoldenDB组件至左侧的管道画布中。④ 鼠标放置在GoldenDB组件...
创建数据解析任务
描述 管道的描述信息，长度不超过100个字符。单击 确认，完成创建数据解析任务。完成创建后，单击任务栏对应的 查看 或 删除，可执行对应操作。后续步骤 创建数据解析任务后，在数据解析列表下，找到创建的数据解析，单击 查看，您可进入...
配置Oracle输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发页面。按照下图指引，进入 Oracle输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Oracle 组件至左侧的管道画布中。④ 鼠标放置在 ...
配置Microsoft SQL Server输入组件
请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发页面。按照下图指引，进入 Microsoft SQL Server输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 Microsoft SQL Server 组件至左侧的管道画布...
OSS公开存储空间设置权限策略且不能为匿名账号授予...
读写权限公开的OSS存储空间已设置授权策略，且授权策略中的匿名账号不能授予任何读写权限，视为“合规”。应用场景 为OSS存储空间设置具体的授权策略。避免为匿名账号设置任何读写权限从而导致任意人员可访问，为数据安全带来隐患。风险...
快速提交转码任务
如果需要根据提交顺序依次执行媒体处理任务，您可以创建管道，并在创建媒体处理任务时指定对应的管道。本文以转码任务为例为您介绍如何在控制台上进行快速转码。前提条件 您已将待处理文件上传至OSS。详细操作，请参见 上传视频。使用流程 ...
配置DM（达梦）输出组件
操作步骤 请参见 离线管道组件开发入口，进入离线管道开发页面。按照下图操作指引，进入 达梦输出配置 对话框。在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。...
配置Impala输入组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入Impala 输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动Impala组件至左侧的管道画布中。④ 鼠标放置在Impala...
配置DM（达梦）输出组件
操作步骤 请参见 离线管道组件开发入口，进入离线管道开发页面。按照下图操作指引，进入 达梦输出配置 对话框。在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。...
配置AnalyticDB for MySQL 3.0输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 AnalyticDB for MySQL 3.0输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 AnalyticDB for MySQL 3.0...
弹性搜索的审计事件
CreatePipelines 创建Logstash管道。CreateSnapshot 手动创建Elasticsearch集群快照备份。CreateVpcEndpoint 创建Elasticsearch服务账号VPC下的终端节点。DeactivateZones 当Elasticsearch实例有多个可用区时，下线部分可用区，并将下线的...
配置ClickHouse输入组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 ClickHouse输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 ClickHouse 组件至左侧的管道画布中。④ ...
API概览
ListPipelineIds 设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。Beats API 描述 CreateCollector 创建采集器。DescribeCollector 获取采集器实例的详细信息。ReinstallCollector 重试安装在创建...
创建分辨率倍增任务
开启管道。分辨率倍增转码可选择窄带高清2.0管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket在媒体...
配置AnalyticDB for PostgreSQL输入组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的组件开发页面。按照下图指引，进入 AnalyticDB for PostgreSQL输入配置 对话框。序号 说明 ① 单击页面右上角的 组件库。② 单击 输入。③ 拖动 AnalyticDB for PostgreSQL ...
阿里云Elasticsearch支持被审计的事件说明
CreatePipelines 创建Logstash管道。CreateSnapshot 手动创建Elasticsearch集群快照备份。CreateVpcEndpoint 创建Elasticsearch服务账号VPC下的终端节点。DeactivateZones 当Elasticsearch实例有多个可用区时，下线部分可用区，并将下线的...
配置DM（达梦）输入组件
操作步骤 参见 离线管道组件开发入口，进入离线单条管道脚本开发页面。按照下图操作指引，进入 达梦输入配置 对话框。在 达梦输入配置 对话框中，配置参数。参数 描述 步骤名称 达梦输入组件的名称。Dataphin自动生成步骤名称，您也可以...
配置DM（达梦）输入组件
操作步骤 参见 离线管道组件开发入口，进入离线单条管道脚本开发页面。按照下图操作指引，进入 达梦输入配置 对话框。在 达梦输入配置 对话框中，配置参数。参数 描述 步骤名称 达梦输入组件的名称。Dataphin自动生成步骤名称，您也可以...
Dataphin的管道任务中如何为目标表的预留字段设置...
问题描述 Dataphin的管道任务中如何为目标表的预留字段设置默认值为null字符串？解决方案 使用“字段计算”组件，新建一个字段作为存储null值的字段，表达式中的null字符串使用双引号。管道任务运行之后，可以看到目标表中预留字段值内容为...
通过Filebeat采集Apache日志数据
操作流程 步骤一：准备工作 步骤二：配置并安装Filebeat采集器 步骤三：配置Logstash管道过滤并同步数据 步骤四：查看数据采集结果 步骤一：准备工作 创建阿里云Elasticsearch实例和Logstash实例，两者版本相同，并且在同一专有网络VPC...
扫描（Scan）查询概述
对于读取出的原始数据，可以通过SPL语句做结构化信息提取、字段操作、数据过滤等操作，并支持多级管道级联，最终输出经过SPL处理后的结果数据。优点 节省费用：无需创建索引，节省索引流量和存储空间费用。灵活：在使用时按需定义列的类型...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
Dataphin管道任务执行了2个小时被killed，报错“kill ...
问题描述 Dataphin管道任务执行了2个小时被killed，报错“kill executableTaskrun:XXXXX because task[XXXX]should expire before 2022-03-28 14:05:34”。完整的报错信息如下：2022-03-28 14:05:42.454[Metric-collector-1]INFO VMInfo-...
释放实例
注意事项 实例释放后数据无法恢复，实例中所包含的管道会被删除，请谨慎操作。操作步骤 登录 阿里云Elasticsearch控制台。在顶部菜单栏处，选择地域。在左侧导航栏，单击 Logstash实例。在实例列表中，选择待释放实例右侧 操作 列下的 释放...
Dataphin集成管道任务报错：“ERROR ...
问题描述 Dataphin集成管道任务报错：“ERROR DlinkTaskPluginCollector-脏数据”。集成任务输入源为Hive，输出源为ElasticSearch。问题原因 ElasticSearch的这个index下之前有数据，且sign_tm是Date类型，现在使用追加模式写入数据，...
通过Logstash将ES数据迁移至阿里云ES Serverless
如果您需要将自建、云上自建或云上Elasticsearch（简称ES）中的全量或增量数据迁移至阿里云ES Serverless中，可通过Logstash的管道配置功能实现。本文介绍在ECS上自建Logstash，并通过该Logstash将源端ES中的数据全量迁移至目标阿里云ES ...
- 产品推荐
- 这些文档可能帮助您