选择抢占式实例出价模式
成功执行定时任务后，系统会实时监控抢占式实例的出价情况，如果超过您设置的阈值，则会通过钉钉自定义机器人发送提示消息。实际场景下，抢占式实例价格波动不频繁，不易验证定时任务的触发结果。您可以新建一个定时任务，并将阈值设置为...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
实时同步任务运维
Worker列表是指实时任务启动的实例，非分布式任务只有一个Worker，分布式任务根据并发数会有多个Worker。Task列表是指一个Worker内部的线程任务，分为Reader类型和Writer类型，根据配置的并发数会有1个到多个的Reader任务和1个到多个的...
上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 ...
上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
概述
AliOS Things操作系统内核特性如下：可抢占式/协作式任务调度 多任务管理 软件定时器 任务间通信机制包括信号量、互斥量、队列、事件 内存管理 时间功能 随机数 系统信息 系统初始化 工作队列 版权信息 说明 Apache license v2.0 目录结构...
UDF（嵌入式）
背景信息 您可以通过MaxCompute的代码嵌入式UDF解决以下代码实现过程繁琐，且不方便阅读和维护的问题：创建UDF并完成代码开发后，您还需要完成代码编译（Java）、创建资源和创建函数操作，过程比较繁琐。SQL脚本中如果包含UDF，您无法直接...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
实时同步任务延迟解决方案
确认造成延迟问题在同步任务的读端还是写端 如果是在DataStudio创建的实时同步任务，您需要在 运维中心>实时任务运维>实时同步任务 界面单击运行中的任务名称，弹出任务运行详情对话框。详情请参见 实时同步任务运行与管理。在任务运行详情...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
实时同步常见问题
如果选择忽略TRUNCATE，可能会导致进行实时数据同步时出现多的数据。如何提高实时同步的速度和性能？如果同步写入速度较慢，可以适当增加写入端并发数，调整JVM参数，JVM参数与同步库数量无关，和变更频率有关。在当前资源组机器允许情况下...
trace
SystemView 不但可以实时分析和展示数据，而且可以帮助用户进行系统调试和问题诊断，尤其是在开发和处理具有多个任务的复杂系统时。SystemView 由两个部分组成：SystemView 嵌入式端程序：用于记录嵌入式系统的行为，通过实时传输（Real ...
一键MaxCompute任务出错恢复
出现脏数据导致的实时任务报错 常见的场景有目标列类型和源端数据不兼容，查看实时任务运行日志、查看脏数据的输出内容，请确认是源端数据问题还是目标端问题，如果是目标表结构问题，可能需要重建目标表以恢复实时任务。重新加载表：需要...
TerminateDISyncInstance
下线数据集成实时同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
全增量同步任务运维
强制重跑 在某些特殊情况下，例如发现源端数据被污染、数据链路出现问题等，您可以单击 操作 列 更多>强制重跑 强制对源端所有表进行全增量初始化操作，将源端数据重新迁移到目标表中，以快速恢复数据。说明 仅Hologres和MaxCompute支持...
嵌入式注册
获取AppID-IsvGetAppId 在您获得ISV服务权限后，即可使用Facebook jssdk进行嵌入式操作，调用 IsvGetAppId 获取到操作必需的 AppID 信息，根据此信息可以拉起SDK进行嵌入式注册操作。代码示例 const onRegisterButtonClick=()=>{ const { ...
查看并管理实时任务
实时任务批量操作 实时任务在实时任务页面支持的运维操作如下：操作 描述 启动正式实例 支持同时启动运行多个实时实例。说明 仅适用于Prod和Basic项目，且选中的实时任务均未启动运行。批量启动正式实例不支持实时集成任务。勾选多个 未...
查看并管理实时任务
实时任务批量操作 实时任务在实时任务页面支持的运维操作如下：操作 描述 启动正式实例 支持同时启动运行多个实时实例。说明 仅适用于Prod和Basic项目，且选中的实时任务均未启动运行。批量启动正式实例不支持实时集成任务。勾选多个 未...
实时同步任务运行与管理
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维...
产品相关问题
解决大规模分布式任务统一调度的问题，助力企业能够更加迅速地满足业务需求。典型的应用场景包括金融行业结息处理、日切处理、余额缓冲记账、政务数据批处理等。任务调度支持哪些任务类型？任务调度支持的基本任务类型包括：简单任务、集群...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
DataStudio侧实时同步任务配置
避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务被OOM Killer杀掉等问题。步骤三：配置实时同步任务 配置单表...
2020年
本文介绍了SchedulerX产品在2020年发布涉及的新增功能、功能优化、重要问题修复及对应的文档。客户端发布记录 1.2.3.1，2020-12-16 变更类型 功能描述 相关文档 优化 优化问题：调整默认依赖的log4j2至2.15.0版本。无 变更类型 功能描述 ...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
2021年10月12日 产品更新动态
在拨打过程中，模型逐步按照实际数据进行优化 支持对预测式外呼任务进行查看、发布、停止与复制任务id操作 当前支持后台发起模拟预测式外呼的能力，以验证模型效果等工作，未来迭代中会产品化 点击【查看】，可多维度观测该任务的实时监控...
系统管理
您可以通过Workbench的系统管理功能，对Linux实例操作系统上的用户、历史登录日志、系统服务等进行管理。您也可以根据需要为Linux系统创建Crontab定时任务，使系统按照设置的时间间隔定时执行命令。本文为您介绍使用Workbench的系统管理...
Oracle同步至Tablestore
任务重跑 直接重跑：不修改任务配置，直接单击同步任务 操作 列的 更多>重跑。效果：重新运行一次从结构迁移到启动实时同步的流程。修改后重跑：编辑任务，进行修改操作后，单击 完成。此时任务的操作会变成 应用更新，单击 应用更新 会...
实时模式时间参数配置
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
实时模式时间参数配置
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
运维中心概述
运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块，为您提供任务操作与状态、引擎、资源等多方位的运维能力。运维中心功能模块 当您在DataStudio中完成节点开发，并提交...
实时计算任务运行与管理
DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情，方便您查看目标任务的运行情况。同时，您还可以为目标任务设置监控报警，在任务运行出错时及时发现并处理异常。使用限制 DataWorks当前仅支持对EMR Spark Streaming及...
- 产品推荐
- 这些文档可能帮助您