任务管理
查看执行结果 脚本任务执行完成后，不同类型的脚本文件产出的结果不同，如下：脚本类型 执行结果 创建联邦表 联邦表（一个或多个）预处理规则 联邦表（一个或多个）预处理规则（一个）预处理应用 联邦表（一个或多个）模型开发 联邦模型 ...
智能标签
智能标签，是通过分析视频中视觉、文字、语音、行为等信息，结合多模态信息融合及对齐技术，实现高准确率内容识别，自动输出视频的多维度内容标签，将非结构化信息转化为结构化信息，适用于媒资检索、个性化推荐、智能广告投放等场景。...
数据开发概述
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
为OSS投递任务（新版）设置告警
参数 说明 任务运行日志 打开 任务运行日志 开关后，系统将在您指定的Project中自动创建一个名为internal-diagnostic_log的Logstore，用于存储定时SQL、MaxCompute投递、OSS投递、数据导入等任务的运行日志与错误日志。日志字段说明，请...
执行测试并查看测试实例
运行时长过长：当任务运行时间与历史运行情况相比明显变长，您可参考以下场景进行处理。非同步任务：可咨询对应引擎负责人。离线同步任务：可能任务某个阶段执行较慢或处于长时间等待资源状态。详情请参见：如何排查离线同步任务运行时间长...
智能审核
智能审核服务基于海量标注数据和深度学习算法实现，从语音、文字、视觉等多维度精准识别媒体文件中包含的违禁内容，包括色情、暴恐、政治敏感、广告识别等多个功能模块，同时支持视频图像文件内容质量审核功能，可以减轻人工审核的工作负担...
功能特性
单击在线体验 音 视 频增强 音频增强 视频云音频实验室有机结合传统信号处理与深度学习技术，提供全场景音频增强与修复方案。单击在线体验。重要 以下功能需要在 提交转码作业 时 配置相应参数 使用，音频部分按照输出的音频规格和时长，...
Spring任务
Spring定时任务为您在Java体系下定时任务开放提供了便捷方式，但其便捷的同时也有很多企业化场景下的局限性。通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX...
为MaxCompute投递任务（新版）设置告警
参数 说明 任务运行日志 打开 任务运行日志 开关后，系统将在您指定的Project中自动创建一个名为internal-diagnostic_log的Logstore，用于存储定时SQL、MaxCompute投递、OSS投递、数据导入等任务的运行日志与错误日志。日志字段说明，请...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
问题汇总
任务实例状态异常 运维中心周期任务没有找到该任务 有周期任务，但是周期实例一个都没有 有周期任务，有其他周期实例，但是这个任务没有产生周期实例 有周期任务，有周期实例但未运行 任务运行必须满足的条件有哪些？任务冻结与解冻 冻结...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
Hive数据迁移
单个任务处理的最多分区数量 默认50。即一次MMA任务迁移的分区数量，通过批量的分区迁移，可以减少提交Hive SQL的次数，节约Hive SQL提交时间。单个任务处理的最大数量（单位G）单位GB，默认5。即⼀次MMA任务迁移的所有分区的⼤⼩之和的...
代码评审
因此，为避免高优先级任务因代码不合规导致任务失败，从而长时间占用资源导致计算资源浪费，阻塞其他任务运行，建议将高优先级的任务添加至强制代码评审基线范围，添加后，评审人员需对任务的代码质量进行把控，防止由于任务代码有误，未经...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
异地多活常见问题
本文介绍异地多活的常见问题以及解决方案。微服务在多活场景下如何解决？消息在多活场景下如何解决？Redis等缓存在多活场景下怎么解决？分布式调度任务在多活场景下如何解决的？MSHA数据面的性能指标是怎样的？是否做好入口流量分发和数据...
运维中心入门
运维操作管控（进阶）运维中心支持节点冻结、节点解冻、补数据、节点下线等扩展点，您可使用该扩展点结合扩展程序，实现自定义管控任务的逻辑处理与运维操作。详情请参见 扩展程序概述、应用示例：运维中心触发事件检查。后续步骤 您可为...
媒体处理常见问题
说明 metadata中的时长与实际持续的码流时长不一致可能导致转码失败，对于metadata有问题的文件，建议您先本地使用ffmpeg工具处理，再进行上传转码。协议不支持。在 错误码表 中找到对应的错误码，分析具体失败原因。如果您添加的文本水印...
文档修订记录
处理治理项问题 处理检查项事件 2023.7.25 更新功能 管理控制台 新版管理控制台更新上线。管理控制台功能概览 2023.7.18 新增功能 数据集成 为您介绍如何LogHub（SLS）实时ETL同步至Hologres任务 LogHub（SLS）实时ETL同步至Hologres 2023....
迁移方案
例如小时周期的任务实际已完整处理数据多个小时后，就可以对比处理过的小时数据，而天维度的聚合值，通常就需要等待新任务处理完完整的一天数据后才能对比。根据任务产出的生成周期特性和数据规模，您可以结合业务的实际情况，使用恰当的...
DTS任务中配置ETL典型应用
本文介绍在DTS任务中如何通过配置ETL，解决源实例与目标实例的数据不兼容问题和数据脱敏问题。前提条件 已创建源和目标数据库实例，本文以RDS MySQL间同步为例，创建方法，请参见 创建RDS MySQL实例。目标实例的存储空间须大于原实例占用的...
任务管理
任务管理就是为多任务环境中的每个任务分配一个上下文（context）（上下文（context）是指当任务被调度执行的所必不可少的一组数据，包括前任务的CPU指令地址（PC指针），当前任务的栈空间，当前任务的CPU寄存器状态等），在任务相继执行...
新建Flink_SQL任务
本文为您介绍基于Fusioninsight Flink实时引擎如何创建FLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已开启 实时引擎 并已配置Fusioninsight flink为计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目...
工作原理
按整时（例如整秒、整分钟、整小时）对齐巡检任务时间窗口，从而保证异常事件的告警及时性与多事件关联的准确性。模型训练 您还可以使用模型训练功能加强对数据的异常学习，提升未来的异常预警准确率，模型训练主要具备以下优势。直接使用...
Java SDK
无 优化应用启动心跳汇报时间点 优化 优化应用启动心跳汇报时间点防止业务容器启动过长导致的任务处理长耗时 无 问题修复 修复 修复共享线程池模式下，任务长时间运行后被拒绝问题。修复任务状态汇报过程偶现的空指针日志问题。修复1.7.x...
离线同步任务运维
为确保任务运行无误，当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心管理离线同步任务、监控任务运行状态、修改同步资源组和查看任务运行日志等。本文列举离线同步任务的常见运维操作。前提条件 已完成离线同步...
创建同步任务
离线同步任务将通过调度资源组下发至数据集成任务执行资源组上执行，任务调度收费与离线同步任务个数有关，和任务配置的并发无关。关于离线同步任务下发机制，详情请参见：任务下发机制。同步速率 用于控制同步速率。限流：您可以通过限流...
通过向导模式配置离线同步任务
说明 任务整体同步速度除受到上述配置影响外，还受源端数据源性能，同步网络环境等多方面影响，关于同步速率说明与调优，详情请参见 离线同步任务调优。步骤六：配置调度属性 周期性调度的离线同步任务需要配置任务自动调度时的相关属性，...
活跃查询
AnalyticDB PostgreSQL版 提供活跃查询功能，每5秒自动采集并显示活跃（Active）的查询任务，您可以根据实际需求，取消阻塞的查询任务或直接终止相关会话等。操作步骤 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，...
快速入门
执行器名字 必须与代码中任务处理器名字一致，即 实现类 步骤中 getName 方法获取的执行器名字。是否分片 选择任务是否开启分片：不开启分片，任务将只调度到一台客户端服务器上执行。开启分片，并设置分片数为 N，任务则会同时触发到 N 台...
常见报错
本文介绍配置任务和任务运行时系统返回的报错信息（如重试信息或错误码）以及解决方法。说明 本文以正则表达式（(.*)?的形式表示报错信息中的变量。若报错无法解决，您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群...
历史记录
1.2.9.1，2021-8-30 问题修复 修复问题：修复worker与Spring Cloud集成时出现任务运行锁死超时。1.2.9，2021-8-27 新特性 秒级别单机增强：单机秒级别循环支持在不用的实例间分发切换执行，配置参数：spring.schedulerx2....
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
离线全量Key分析
A：离线分析任务是异步任务，分析速度还与 CloudDBA 的当前总任务数有关，当总任务数较多时，该离线分析任务需排队等待，分析任务的耗时就会变长。Q：如何处理报错 decode rdbfile error:rdb:unknown object type 116 for key？A：该报错...
新建FLINK_SQL任务
本文为您介绍基于开源Flink实时引擎如何创建FLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已开启 实时引擎 并已配置 Flink 为计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建...
离线全量Key分析
A：离线分析任务是异步任务，分析速度还与 CloudDBA 的当前总任务数有关，当总任务数较多时，该离线分析任务需排队等待，分析任务的耗时就会变长。Q：如何处理报错 decode rdbfile error:rdb:unknown object type 116 for key？A：该报错...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
时间属性配置说明
您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 您需进入数据开发节点的编辑页面，单击右侧导航栏...
常见问题
目前Proxima CE不支持相同输入doc的多个任务同时执行，因为多个任务同时执行会导致索引的坏写，比如A任务写了某份索引，B任务会覆盖，这样会导致各种问题，常见问题如下：底层OSS Volume Filesystem相关的错误。build过程失败，提示 jni ...
- 产品推荐
- 这些文档可能帮助您