实时同步任务延迟解决方案
如果确认是大事务或者临时的大量变更导致了任务延迟，则可以等待大事务或者大量变更包含的变更数据被同步任务处理完成后，任务延迟会逐步被追上。确认是否有写入动态分区频繁切换问题（uploader map size has reached ...
产品更新动态
场景内多对话流发布逻辑优化 新增新画布用户打断、静音检测配置 新增任务详情通话状态筛选 上传名单解析优化 2022年8月9日-V3.2 本次版本更新中，一方面从客户实际诉求入手，解决使用卡点与体验性问题，同时扩展计费策略满足客户多样化购买...
创建普通转码任务
当您需要使用媒体处理进行转码时，可以通过控制台或API提交转码任务。本文为您介绍如何在媒体处理中创建普通转码任务。使用准备 在使用前需要进行一些设置确保功能能够正常使用，如已设置请忽略。开启管道。普通转码可选择标准管道。上传...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
附录：DAG图功能介绍
任务状态解读：任务状态与任务运行有关，若任务处于未运行、等待时间、等待资源、冻结等状态时，您可以通过 运行诊断 来快速定位问题。等待资源耗时：当任务出现长时间等待资源的情况，您可以使用 运行诊断 功能定位当前任务运行时，哪些...
任务运行失败
本文汇总介绍任务运行失败的相关问题。通用参考 已配置失败重跑的任务在运行失败后未重跑，并报错 Task Run Timed Out，Killed by System！任务执行报错OSError:[Errno 7]Argument list too long.MaxCompute类型节点 ODPS-0420095:Access ...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
ListVideoTasks-列出视频类异步任务
Interval":"1","RequestId":"B8982C37-E03A-47CD-A715-D83D128D9FEB","SrcUri":"oss:/imm-test/testcases/video.mp4","StartTime":"","TaskType":"VideoAnalyseTask","TgtUri":"oss:/imm-test/testcases"} Result string 任务处理的结果。...
产品简介
自动化监控与响应：监控关键性能指标，并在检测到问题时自动执行响应流程。基本概念 连接器（Connector）：用于连接不同系统和应用，使数据可以在不同系统和应用之间流动。连接器包含鉴权设置、触发器和执行动作等。触发器（Trigger）：...
常见问题
迁移任务问题 服务器迁移 我在什么场景下使用服务器迁移？如何迁移服务器？SMC迁移所需时间如何评估？如何测试传输速度？如何过滤、排除不需要迁移的文件或目录？SMC是否支持自带许可证迁移上云？SMC是否支持断点续传？SMC是否支持增量迁移...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
智能监控
调度任务监控（基线监控与自定义规则监控）配置的钉钉机器人WebHook地址是否正确，是否多了空格。实时同步报警配置需要配置的是钉钉群机器人TOKEN信息。2.钉钉群机器人配置是否正确？为保障钉钉群可以正常接收到报警信息，钉钉群机器人配置...
MaxCompute数据迁移
单个任务处理的最多分区数量,仅用于"同region项目迁移"仅⽤于同Region项目迁移。⼀个MMA⼦任务可以同时迁移⼀个表的多个分区，该配置指定可以同时迁移的分区数量。meta api访问并发量 获取源项目时的访问并发量，建议值为20。表黑名单,格式...
2019年
本文介绍了SchedulerX产品在2019年发布涉及的新增功能、功能优化、重要问题修复及对应的文档。客户端发布记录 1.1.0，2019-12-17 变更类型 功能描述 相关文档 优化 修复问题：调整默认依赖的log4j2至2.15.0版本。无 变更类型 功能描述 相关...
开发PyODPS 3任务
更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell自定义脚本任务的成功完成：Python自定义脚本任务的成功完成的...
执行补数据并查看补数据实例（新版）
按链路选择 选择一个起始任务作为根任务，以及一个或多个结束任务，平台自动分析，将根任务与结束任务间的所有任务作为本次补数据的任务范围（包含起始任务和结束任务）。用于对依赖关系较复杂的任务进行全链路补数据。按工作空间选择 选择...
开发PyODPS 3任务
更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell自定义脚本任务的成功完成：Python自定义脚本任务的成功完成的...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。...常见问题 实时同步任务常见问题请参见 实时同步常见问题。
功能更新动态（2022年之前）
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
异步任务管理接口和设置
.request_id String 提交任务的请求id data[].status String 任务状态：PENDING：任务排队中 RUNNING：任务处理中 SUCCEEDED：处理成功 FAILED：处理失败 CANCELED：任务取消 data[].task_id String 任务id data[].user_api_unique_key ...
同步时源库为Oracle的注意事项及限制
如果同步的源数据库类型为自建Oracle，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Oracle的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 在库表结构同步过程中...
功能特性
数据同步拓扑介绍 数据过滤处理与映射 WHERE条件过滤 在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。设置过滤条件 数据类型映射 在进行异构数据库之间的数据同步或迁移时，会...
异常列表
差异数据详情 需具有该异常涉及表的查询权限，才可进入 差异数据详情 页面，查看核对任务执行时发现的与核对预期不符的数据，每个核对任务最多展示差异数据的 10 条抽样。数据列表支持按照任务周期的筛选方式。关闭异常 说明 仅核对点负责...
离线同步任务调优
文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响因素。同步任务整体速度慢可能出现在同步过程的各个阶段，本文以现象入手，为您提供各个阶段运行慢的解决方案，详情请参见：数据同步慢的...
多器官分割
本文介绍图像分析处理（imageprocess）类目下的多器官分割SegmentOAR的语法及示例。功能描述 多器官分割能力针对放疗场景，基于输入的胸部CT图像，进行危及器官的识别与分割。说明 您可以进入 在线咨询 获取在线人工帮助。阿里云视觉智能...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
DataWorks On Hologres使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 三、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
2021年
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
DataWorks On MaxCompute使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 三、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
SanityCheck：算力健康检测
针对上述问题，DLC提供了算力健康检测（SanityCheck）功能，旨在对分布式训练任务的算力资源健康度与性能进行检查。在创建DLC训练任务时可以开启该功能，健康检测会对参与训练的资源进行全面检测，自动隔离故障节点，并触发后台自动化运维...
pg_cron
后续任务列表有更新时，通过触发器 cron.job_cache_invalidate 刷新列表保持JOB LIST和TASK LIST与 cron.job 表实时一致，确保任务能够得到正确调度和执行。定时任务调度执行 WAITING（等待）：默认状态。如果条件不满足（非激活状态/计划...
一键实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建...
使用代码检测服务
白名单路径下的文件将自动跳过检测，即不执行检测：重要 删除方案时，需要确保当前方案未与任何检测任务关联，否则需要先与检测任务解绑，然后删除方案，避免对运行的检测任务造成影响。步骤三：将检测方案应用至代码库 将方案应用于代码库...
功能简介
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
迁移时源库为Oracle的注意事项及限制
如果迁移的源数据库类型为自建Oracle，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为Oracle的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：自建Oracle迁移至PolarDB ...
功能简介
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
DataWorks On CDP/CDH使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 三、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
截图常见问题
提交任务不成功，提示OutputFile Object参数问题 错误码：InvalidParameter.ResourceContentBad 错误描述：The format of parameter"SnapshotConfig:OutputFile:Object"is invalid 原因 解决方案 提交多张截图任务（Num>1），但OutputFile...
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
- 产品推荐
- 这些文档可能帮助您