资源组设计最佳实践
使用资源组和云监控实现不同业务线资源的监控管理 财务部 管理成本和分账 财务人员使用 财务单元，按照资源组进行分账，进而能分别查询到各个业务系统使用的资源费用情况。资源组分账 运维部 差异化资源运维 运维人员使用 系统运维管理...
离线采集IDC资源（Linux）
系统 安装包 Linux(X86)云迁移中心->资源调研->离线采集->获取工具 Windows(X86)云迁移中心->资源调研->离线采集->获取工具 解压命令：tar-zxvf idc-scanner.tar.gz 参数文件准备 在执行工具前，您需要事先准备好被采集服务器的IP列表，...
新建补数据计划
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
新增离线数据同步任务
离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何新增离线数据同步。前提条件 已存在...
上架离线模型
已发布成功的离线模型上架后，才能发布到资产市场中。本文主要介绍如何上架离线模型。前提条件 已新建离线模型且模型已发布。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作...
设置离线节点的调度信息
如果需要在开发环境场景上线后定时调度该场景中离线计算节点，则需要在开发环境场景上线前配置场景中离线节点的调度信息，调度配置在生产环境中生效。本文介绍如何设置开发环境场景中离线节点的调度信息。前提条件 开发环境场景画布流程中...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
重跑离线同步实例
在任务中心，当离线同步实例未成功运行时，您可以重跑离线同步实例，重新运行离线任务。本文主要介绍如何重跑离线同步实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，...
使用DataWorks（离线与实时）
离线同步 实时同步 同步解决方案 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/整库全增量实时写-说明 离线导入场景中，每个离线同步节点仅支持将单张或多张表数据导入至...
查看离线任务运行记录
您可以查看离线任务运行记录和相关日志。前提条件 已部署应用，具体操作，请参见 部署应用。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 弹性计算。在左侧导航栏，选择 应用运维>离线任务运行记录。在 离线任务运行...
概述
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
任务中心
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
使用限制
限制分类 限制项 最大值 系统设置 工作组数量 1000 云计算资源数量（所有工作组中）1000 数据同步 离线任务数量 1000 实时同步任务数量 500 数据建模 数据建模-模型数量 10000 数据标准-数据元数量 10000 数据标准-指标数量 10000 质量评估...
新增脚本同步任务
高级配置 单击 展开高级配置，配置任务的资源规格、超时自动终止、速率，详情请参考 新增离线数据同步任务。在画布页面，输入任务脚本，单击保存图标。说明 输入脚本时，可参考画布页面右侧的脚本规范。在画布上方工具栏，单击 图标，可...
批量新增离线数据同步任务
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
概述
应用 管理 支持应用的创建和管理能力，包括在线服务、离线任务、编排服务的创建、发布版本、部署、运维、查看实例，同时支持应用的目录管理。说明 在线服务：主要是常驻型应用服务，可用于需要提供即时响应的业务场景。离线任务：主要是...
任务中心
任务中心主要是对离线、在线模型自动化调度运行进行任务式管理，每次任务调度时，都将按照模型设置好的参数和数据自动进行运行，通过任务状态监控单次任务的健康情况。在线服务 在线服务模块展示并管理用户添加的服务，已创建的服务支持...
创建MySQL to MaxCompute离线同步周期任务
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线同步周期任务。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
应用管理
支持在线服务、离线任务、编排服务应用的管理。支持应用目录管理，支持应用添加、发布和部署，支持应用资源组管理。
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
读数据表
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型参见 适用场景。选择输入表 选择需要读取的数据表。配置输出 配置需要输出到...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
应用运维
支持在线服务、离线任务、编排服务的部署记录查询，以及日志查看，同时支持实例的查看和运维操作，包括下线、查看资源监控等。
数据同步
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
功能简介
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
发布应用
在线服务和离线任务通过发布应用，可固化应用配置，生成新的应用版本。本文主要介绍如何发布应用。前提条件 已添加应用，具体操作，请参见 添加应用。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 弹性计算。在左侧...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
什么是数据资源平台
目前数据资源平台提供以下功能：协同 数据同步：数据同步可实现离线、实时多源异构数据的便捷同步或接入，系统可提供完善的数据接入配置、数据模板配置、数据同步任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、...
新建离线模型
本文介绍如何新建离线模型。前提条件 已存在离线模型所需数据，具体操作，请参见 通过选择已有表新建数据集、通过上传本地数据新建数据集。已新建离线模型所需的脚本算子，具体操作，请参见 新建脚本算子。操作步骤 登录 数据资源平台控制...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。...跳转到 离线计算任务 页面，可查看任务运维信息，更多信息，请参见 查看离线计算任务详情。
查看脚本同步任务监控
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看脚本同步任务的监控。前提条件 已上线脚本同步任务，具体操作，请参见 ...跳转到 离线同步实例 页面，可查看同步任务运行详情，更多信息，请参见 查看离线计算实例详情。
离线同步日志分析
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据实例 等页面，通过筛选条件过滤出需要查询的实例，...
写数据表
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 查看上游节点输入到当前节点的字段情况。数据同步 配置将上游输出的数据，同步到的目标数据表。计算资源类型 ...
功能简介
开发节点 支持节点任务类目的新建、编辑和删除以及支持离线节点、在线和流式节点注册，对节点脚本、自定义函数、节点输入、节点输出、节点参数进行配置和管理以及支持配置节点的依赖关系以及支持节点任务的运行和上线。支持节点任务类目的...
步骤四：运行节点
这里以运行离线节点的SQL语句为例介绍。在 SQL解析 对话框，确认参数类型和默认值无误后，单击 确定。说明 当解析后不存在参数，则单击运行图标后，不会弹出该对话框。查看运行结果和日志，当日志列结果显示“SUCCESS”字样，则表示开发...
数据开发
开发环境节点 支持节点任务类目的新建、编辑和删除以及支持离线、在线和流式节点注册，对节点脚本、自定义函数、节点输入、节点输出、节点变量进行配置和管理以及支持配置节点的依赖关系以及支持节点任务的部署、运行和上线。支持节点任务...
- 产品推荐
- 这些文档可能帮助您