任务冻结与解冻
产生原因及解决措施 平台每晚会根据周期任务，生成第二天要跑的周期实例并自动调度。您可以手动针对当前周期任务触发补数据和测试操作，并根据当前实例快照信息生成补数据实例与测试实例，根据以上说明的周期任务与周期实例，测试实例和补...
积分互动
获奖/未获奖提示语：①使用标签形式代表“昵称”“奖品”，点击标签自动添加到光标处，配合输入的文字形成完整的提示语。②默认内容：“恭喜你~获得【奖品】”/答题完成 ③输入的文字最多20字，标签不算字数 ⑤识别回车换行，当换行是可...
附录：强制重跑下游
DataWorks支持强制重跑下游功能，用于强制重新调度指定的节点及其下游节点，并支持通过工作空间过滤要重跑的下游节点。本文为您介绍强制重跑下游功能的注意事项和操作步骤。使用限制 仅DataWorks专业版及更高版本可以使用强制重跑下游功能...
API概览
GetUserActiveTenant 获取当前所处的租户信息 获取当前所处的租户信息。ListUserTenants 获取当前的租户列表 获取当前的租户列表。RegisterUser 录入新用户 录入本企业的新用户。实例管理 API 标题 API概述 AddInstance 录入数据库实例 ...
查看周期实例
续跑：用于续跑失败状态的任务，续跑将从任务执行失败的位置继续运行，即当任务中存在多段sql的情况下，续跑可从具体失败的sql处重新运行该任务。说明 仅MaxCompute的SQL任务支持此操作。2021年1月之后购买的独享调度资源组，如果需要升级 ...
依赖关系
其他常见问题 已配置失败重跑的任务在运行失败后未重跑，并报错Task Run Timed Out，Killed by System！什么是调度依赖 调度依赖就是节点间的上下游依赖关系，在DataWorks中，上游任务节点运行完成且运行成功，下游任务节点才会开始运行。...
MapReduce常见问题
Label是给不同的输出处打上的一个标签，当输出的时候可以识别是从哪里输出的。MapReduce中是否可以只有Map？可以，MapReduce支持Map-Only。如果是Map-Only作业，需要显式指定Reducer数量为0，即 job.setNumReduceTasks(0)。Mapper中输入表...
离线同步常见问题
脏数据是writer端报的，要检查下writer端的建表语句。odps端该表字段指定的字段大小小于MySQL端该字段数据大小。数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端...
C++ SDK
401 InvaildNodeStatus node所处状态无效 SDK内部使用，建议释放当前请求重新尝试。402 GetAddrinfoFailed 通过DNS解析地址识别 SDK内部使用，请检查当前环境的DNS是否可用。403 ConnectFailed 联网失败 请检查当前网络环境是否可用。404 ...
C++ SDK
401 InvaildNodeStatus node所处状态无效 SDK内部使用，建议释放当前请求重新尝试。402 GetAddrinfoFailed 通过DNS解析地址识别 SDK内部使用，请检查当前环境的DNS是否可用。403 ConnectFailed 联网失败 请检查当前网络环境是否可用。404 ...
Tunnel命令常见问题
导入数据的最后一列为什么会多出\r符号？使用Tunnel Upload命令上传数据时，默认用逗号进行列分割，但是数据中有逗号，这种情况如何分割？使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时...
Alibaba Cloud Linux 3镜像发布记录
该功能默认关闭，如果要开启，请执行 sysctl-w kernel.sched_core=1 命令。在Arm64中支持eBPF trampoline特性 在Arm64上回合eBPF trampoline特性，以支持bpf struct ops特性。注意，由于Arm64 ftrace相关特性未回合，bpf fentry系列特性仍...
调度设置
同时，DataWorks支持设置周期任务默认使用的资源组，支持设置任务的默认重跑属性、重跑次数、重跑时间间隔。使用限制 调度设置的默认调度属性仅对新建的周期任务生效。设置周期任务的默认调度配置 进入数据开发页面。登录 DataWorks控制台...
CPU Burst性能优化策略
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
Dataphin的重跑并恢复调度和强制重跑的区别
概述 Dataphin的重跑并恢复调度和强制重跑的区别。详细信息 重跑并恢复调度就是重跑，有条件限制的，如果有上游的话，就必须满足上游成功状态和到达定时时间，才可以运行重跑。但是强制重跑运用范围更广，不需要看上游这个运行状态，可以...
重跑离线同步实例
在任务中心，当离线同步实例未成功运行时，您可以重跑离线同步实例，重新运行离线任务。本文主要介绍如何重跑离线同步实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，...
重跑离线同步实例
在任务中心，当离线同步实例未成功运行时，您可以重跑离线同步实例，重新运行离线任务。本文主要介绍如何重跑离线同步实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，...
MaxCompute数据离线同步至ClickHouse
可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题导致的任务失败。配置调度依赖。可根据业务需求设置不同的调度依赖。您可以通过设置依赖上一周期的本节点，保证本节点多个调度周期的任务实例是...
执行补数据并查看补数据实例（新版）
管理补数据实例 补数据任务启动后，会生成相应的补数据实例，您可在补数据列表查看实例的基本信息及运行详情，并按需执行 终止、重跑、复用 等管理操作。区域 描述 1 单击 展开搜索，可通过 补数据名称、运行状态、节点类型 等条件筛选需要...
创建EMR Spark节点
DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。若未配置，则在DataWorks中无法实时展示元数据、生成审计日志、展示血缘关系，EMR相关治理任务也将无法开展。配置EMR-HOOK，详情请参见 配置Hive的EMR-HOOK。...
创建EMR MR节点
DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。若未配置，则在DataWorks中无法实时展示元数据、生成审计日志、展示血缘关系，EMR相关治理任务也将无法开展。配置EMR-HOOK，详情请参见 配置Hive的EMR-HOOK。...
在DataWorks中通过函数计算节点实现动态为PDF添加水印
在创建节点弹出框中输入节点名称并单击 确定 按钮，完成 函数计算 节点的创建。设置函数计算节点参数。参数 描述 选择服务 选择步骤 设置创建应用的参数 中输入的服务名称。本文为：fc-pdf-test。如需新建，详情请参见 快速创建函数。选择...
在DataWorks中通过函数计算节点实现动态为PDF添加水印
在创建节点弹出框中输入节点名称并单击 确定 按钮，完成 函数计算 节点的创建。设置函数计算节点参数。参数 描述 选择服务 选择步骤 设置创建应用的参数 中输入的服务名称。本文为：fc-pdf-test。如需新建，详情请参见 快速创建函数。选择...
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
查看并管理明细及汇总表实例
其中 优先展示必选字段 为保障数据质量，Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，...
查看并管理明细及汇总表实例
其中 优先展示必选字段 为保障数据质量，Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，...
为什么会空跑
场景一：周月实例空跑周期 任务定时时间为 定时每周几 或者“每月定时几号”跑的任务，任务只有在指定调度时间才会真实跑数据，在非指定时间内，非调度时间内其他时间会生成空跑实例，不会实际执行任务，该实例状态为 周月实例空跑周期。...
XxlJob任务
useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai datasource.username=root datasource.password=123456 datasource.driver-class-name=com.mysql.cj.jdbc.Driver ### 配置对应要导出的app-name...
XxlJob任务
useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai datasource.username=root datasource.password=123456 datasource.driver-class-name=com.mysql.cj.jdbc.Driver ### 配置对应要导出的app-name...
Quick Audience的自动化营销正在进行的活动为什么可以...
1.不会影响正在跑的旅程，你修改后会产生一个新的版本记录，并且发布的时候也会提示，如发布新版本，原有的版本1会停止，所以不会出现在跑的旅程和实际想要的不一样；2.通过执行记录，可以清晰的看到不同策略下的数据，数据是不会出现对不...
MySQL分库分表同步至Hologres（方案1.0）
如果选择同一个资源组，任务混跑会带来资源抢占、运行态互相影响等问题。例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：...
全增量实时同步至Hologres
如果选择同一个资源组，任务混跑会带来资源抢占、运行态互相影响等问题。例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：...
大数据上云及巡检服务内容说明
升级服务有如下约束（其中任务量的计算受迁移的组件异构性、任务是否改造等多种因子影响，具体要根据售前调研情况来确定）：服务类型 服务内容 服务范围 数据迁移或者任务迁移技术支持的工作量扩充 扩充同一场景下基础服务包未能覆盖的迁移...
MySQL分库分表同步至Hologres（方案2.0）
如果选择同一个资源组，任务混跑会带来资源抢占、运行态互相影响等问题。例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：...
新版合并请求
对于评审的参与者，可以在【红色框】的补丁版本组件上切换我们想要review的版本，如：Patch-1 已经评审过了，当前只需要看 Patch-1 和 Patch-2 之间的差异即可，效果如下：说明 对比Codeup老版合并请求优势如下：整体视图升级：得益于新版...
迁移方案
双跑验证需要关注的详情如下：数据正确性验证 数据质量是实时计算数据产出对业务的重要保障，和实时计算任务日常变更一样，迁移工作也需要对新任务产出的数据质量进行验证。通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行...
配置任务调度
失败自动重跑 如果 重跑属性 设置为 运行成功或失败后皆可重跑 和 运行成功后不可重跑，运行失败后可以重跑 时，会显示该属性，可以配置任务出错自动重跑。如果设置为 运行成功或失败后皆不可重跑，则不会显示该属性，即任务出错不会自动重...
关键缺陷通知
本文将为您介绍Hologres各版本相关缺陷的修复记录，包括问题描述、影响程度等。您可以通过报错或问题描述，检查您当前的业务中是否产生了相关问题，提前进行问题规避。建议加入实时数仓Hologres交流群联系对应技术支持协助您将产品升级到...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
- 产品推荐
- 这些文档可能帮助您