通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为来目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或...
通过脚本模式创建集成任务
表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为目标表。若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或错误...
示例：基于共享能力搭建轻应用
步骤一：创建轻应用 登录BizWorks，在 选择平台 下拉列表中选中 轻应用组装平台。单击页面右上角 图标或其文本框区域，在下拉列表中单击 BizWorks示例项目，单击 应用 页签。在 应用列表 页面，单击 新增应用。在 创建轻应用 面板，完成...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
实验：构建应用首页和自定义页面
操作步骤 登录BizWorks，在 选择平台 下拉列表中选中 轻应用组装平台。单击页面右上角 图标或其文本框区域，在下拉列表中单击目标项目名称后，单击 应用 页签。在应用列表页面单击目标轻应用名称。在目标轻应用导航栏中，选择 服务管理>...
腾讯云ES数据迁移至阿里云
管道批延迟 创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。队列类型 用于事件缓冲的内部排队模型。可选值：MEMORY：默认值。基于内存的传统队列。PERSISTED：基于磁盘的ACKed队列...
创建分辨率倍增任务
开启管道。分辨率倍增转码可选择窄带高清2.0管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket在媒体...
创建和管理项目环境
新增项目环境 登录BizWorks，在 选择平台 下拉列表中选中目标平台：微服务开发平台 或 轻应用组装平台。单击页面右上角的 图标或其文本框区域，在下拉列表中单击目标项目名称后，在平台顶部导航栏单击 运维 页签。在 项目环境管理 页面，...
智能标签
如果管道列表中没有智能标签管道，请先开启智能标签管道。上传视频。如果直接提交任务：将需要处理的视频上传至OSS。具体操作，请参见 上传视频。如果使用工作流自动提交：请先添加媒体Bucket，完成工作流创建后再上传视频。将OSS的Bucket...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
Dataphin管道任务速度为0
问题描述 用户使用管道任务同步数据，同步速度为Speed 0B/s,0 records/s。问题原因 这种速度为Speed 0B/s,0 records/s，就是典型得读不出来，写不进去，需要检查WaitReaderTime和WaitWriterTime大小。解决方案 如果WaitReaderTime比较大，...
Dataphin 管道任务如何同步逻辑表数据
概述 本文描述了Dataphin 管道任务如何同步逻辑表数据。详细信息 管道任务的输入组件中，有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 ...
Logstash FAQ
管道创建后，进程卡住了，实例变更进度不变，如何处理？Logstash私网地址是否能ping通？Logstash在两个Elasticsearch之间同步数据，如何保证mapping一致？阿里云Logstash支持rubydebug模式吗？系统报错elasticsearch.errorcode....
用户反馈采用匿名方式还是实名方式？
问题详述 用户反馈采用匿名方式还是实名方式？问题解答 用户账号为匿名，开发者可选择让用户选填或必填联系方式。
StopPipelines
调用StopPipelines，停止运行Logstash管道。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求...
快速入门
本文为您介绍如何创建一个阿里云Logstash实例，并通过Logstash的管道配置，完成阿里云Elasticsearch实例间的数据同步。背景信息 在开始本文操作前，请先了解以下背景信息：什么是阿里云Elasticsearch 什么是阿里云Logstash 前提条件 注册...
UpdatePipelineManagementConfig
调用UpdatePipelineManagementConfig，更新Logstash管道管理方式。说明 管道管理方式分为配置文件管理和Kibana管道管理，目前控制台已不支持Kibana管道管理，仅可通过API使用此功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去...
初始化
客户端SDK提供匿名初始化模式，使用匿名授权无需在阿里云控制台配置密钥。原理图如下：SDK发起匿名初始化请求到EMAS Serverless服务器。服务器会生成一个临时身份，SDK每次发起匿名授权都将获得不同的临时身份。服务器将临时身份返回给SDK...
快速提交转码任务
如果需要根据提交顺序依次执行媒体处理任务，您可以创建管道，并在创建媒体处理任务时指定对应的管道。本文以转码任务为例为您介绍如何在控制台上进行快速转码。前提条件 您已将待处理文件上传至OSS。详细操作，请参见 上传视频。使用流程 ...
DeletePipeline-删除用户管道
删除用户管道信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
API概览
管道接口 API 标题 API概述 UpdatePipeline 更新管道：名称、状态及通知设定 更新管道。QueryPipelineList 查询管道 通过管道ID查询管道。SearchPipeline 搜索管道 通过管道状态搜索管道。AddPipeline 添加管道 新增一个管道。...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
0040-00000211
问题描述 图片处理管道个数过多。问题原因 图片处理管道个数超过限制。问题示例 GET/example_image?x-oss-process=image/resize,w_100|image/resize,w_90|image/resize,w_80|image/resize,w_70|image/resize,w_60|image/resize,w_50|image/...
ListPipeline
调用ListPipeline，获取Logstash实例的管道列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共...
通过Logstash同步Azure Event Hubs数据至Elastic...
当您需要将Azure Event Hubs事件中心中的数据同步到阿里云Elasticsearch中时，可使用阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。操作流程 步骤一：准备环境与实例 步骤二：创建并配置Logstash管道 步骤三：验证结果 步骤...
实例列表概览
阿里云Logstash的实例列表展示了实例的基本信息，并提供了创建实例、刷新实例状态、管理管道、管理实例等功能的入口。登录 阿里云Elasticsearch控制台，在左侧导航栏单击 Logstash实例，系统直接进入Logstash的实例列表页面。实例列表页面...
Dataphin管道任务如何新加字段
概述 本文主要介绍Dataphin管道任务如何新加字段。详细信息 在管道任务中可以添加转换组件中的字段计算进行新建计算字段。在字段计算中新建字段。适用于 Dataphin 本文基于dataphin 公共云 2.9.4-3 进行验证。
十字管道
在画布左侧组件列表上方，输入 十字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作...
T字管道
在画布左侧组件列表上方，输入 T字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作 ...
L字管道
在画布左侧组件列表上方，输入 L字管道，找到该组件，然后将组件拖拽到中间画布。有关组件添加的更多信息，请参见 添加组件。步骤二：配置样式 调整组件在页面中的最终位置。有关组件通用样式配置，请参见 样式配置。步骤三：配置交互动作 ...
OSS鉴权详解
非匿名请求鉴权 鉴权说明 收到用户非匿名请求时，OSS会通过身份验证、基于角色的会话策略、基于身份的策略（RAM Policy）、Bucket Policy、Object ACL、Bucket ACL等鉴权结果来判断是允许或拒绝该请求。以上鉴权流程包含的权限状态说明如下...
OSS存储空间不能为匿名账号授予任何权限
规则详情 参数 说明 规则名称 OSS存储空间不能为匿名账号授予任何权限 规则标识 oss-bucket-policy-no-any-anonymous 标签 OSS、Bucket、BucketPolicy 自动修正 不支持 规则触发机制 配置变更 规则支持的资源类型 OSS存储空间 规则入参 无 ...
术语表
管道被暂停时，媒体转码服务不再调度此管道中的作业执行转码，直到管道被重新激活为止，已经在执行转码的作业不受影响。MediaRepository Media Repository 媒体库 所有媒体的集合。Media Media Resource 媒体 媒体是媒体库的最小管理单元。...
PRAGMA AUTONOMOUS_TRANSACTION
deptno|dname|loc-+-+-10|ACCOUNTING|NEW YORK 20|RESEARCH|DALLAS 30|SALES|CHICAGO 40|OPERATIONS|BOSTON(4 rows)场景1c：没有自治事务，但有匿名块ROLLBACK 匿名块结尾给出的ROLLBACK命令也消除了所有以前的三个插入：BEGIN;INSERT INTO...
项目角色管理
克隆 管道任务-保存 管道任务-删除 管道任务-下线并删除 管道任务-属性（调度配置、通道配置、质量监控）管道任务-锁定 管道任务-刷新 管道任务-移动 执行 实时整库同步任务-提交 管道任务-运行 管道任务-预览 管道任务-提交 开发 规范建模...
项目角色管理
克隆 管道任务-保存 管道任务-删除 管道任务-下线并删除 管道任务-属性（调度配置、通道配置、质量监控）管道任务-锁定 管道任务-刷新 管道任务-移动 执行 实时整库同步任务-提交 管道任务-运行 管道任务-预览 管道任务-提交 开发 规范建模...
2.5D
2.5D管道模型 在组件编辑页面，从左侧 组件 页签中，拖拽 2.5D管道 模型到2.5D组件中，添加锚点绘制管道样式。可选：将鼠标指针移动至所选锚点上，使用 Backspace 键或 Delete 键删除所选锚点。完成绘制后，在右侧 样式 中，单击 结束编辑 ...
搭建FTP站点（CentOS 7）
参数 说明 anonymous_enable=YES 接受匿名用户 no_anon_password=YES 匿名用户login时不询问口令 anon_root=（none）匿名用户主目录 local_enable=YES 接受本地用户 local_root=（none）本地用户主目录 用户权限控制参数说明如下表所示。...
权限管理
本文介绍启用权限管理、添加角色、设置匿名账户的详细操作。权限设计 Mobi的权限设计基于RBAC0模型，即基于角色的权限管理模型，用户...在 角色选择 中选择待匿名的角色。当前应用预览/发布后，匿名角色的用户可以免注册、免登录访问该应用。
- 产品推荐
- 这些文档可能帮助您