离线模式配置概述
配置 离线模式 在离线模式配置面板，您需根据下表配置 流批一体任务 离线模式的资源与依赖关系相关参数。配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期...
离线模式配置概述
配置 离线模式 在离线模式配置面板，您需根据下表配置 流批一体任务 离线模式的资源与依赖关系相关参数。配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期...
离线模式运行参数配置
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。不同计算引擎配置离线模式运行参数的操作路径相同，下图以配置Ververica Flink计算引擎的离线...
离线模式运行参数配置
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。不同计算引擎配置离线模式运行参数的操作路径相同，下图以配置Ververica Flink计算引擎的离线...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
使用 H5 离线包
H5 离线包的使用可以分为以下四个部分：发布离线包 预置离线包 启动离线包 更新离线包 在本教程中为了说明和演示 H5 离线包的功能，采取了从发布到预置，再到启动，最后完成更新的流程。但是这一流程并非是使用 H5 离线包的必要条件。在...
使用 H5 离线包
预置离线包 在控制台上下载离线包 AMR 文件，以及离线包配置文件到本地。在 MyH5Application_offpack/Resources 下创建 DemoCustomPresetApps.bundle，将 bundle 下的内容清空，并将下载到的离线包 AMR 文件和离线包配置文件添加到此 ...
配置 H5 离线包
您可以在实时发布平台上传、发布离线包，将离线包快速推送到客户端。关于离线包的详细介绍，请参考 离线包简介。在添加离线包之前，您需要添加离线包的相关配置。操作步骤 进入 mPaaS 控制台，完成以下步骤：单击左侧导航栏的 实时发布>离...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
离线消息
如何配置离线消息 在 服务配置->在线高级配置 功能中找到或配置一条配置信息，配置编码为 OFFLINE_SERVICE_MODE 离线消息列表 消息列表会显示访客在无人接待时咨询的问题，客服可以选择并进行回复，回复之后访客在聊天窗内可以查看到对应的...
通过表映射创建离线视图
Dataphin标签基于离线计算引擎，支持通过表映射方式将物理表字段直接定义成为视图指标。本文将指导您如何通过表映射创建离线视图...后续步骤 完成离线视图的创建和配置后，您可为离线视图创建对应的离线标签。更多信息，请参见 离线标签概述。
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过表单加工创建离线视图
Dataphin标签基于离线计算引擎，支持通过表单加工方式配置视图指标，对来源表字段进行计数（count）、取和（sum）、取最大值（max）、取最小值（min）后定义视图指标，以供离线标签使用。本文将指导您如何通过表单加工创建离线视图。前提...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过SQL加工创建离线视图
Dataphin标签基于离线计算引擎，支持通过SQL加工方式开发视图指标，对来源物理表字段进行预加工后供离线标签使用。本文将指导您如何通过SQL加工创建离线视图。前提条件 创建离线视图前需先创建视图所归属的标签项目。详情请参见 创建标签...
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 ...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
新建ARGODB_SQL任务
本文为您介绍基于ArgoDB离线计算引擎如何新建ARGODB_SQL任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建ARGODB_SQL任务 页面。编写并运行代码。在 新建ARGODB_SQL任务 对话框，...
新建SPARK_SQL任务
本文为您介绍如何基于Dataphin构建Spark SQL任务类型的离线计算任务。前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认...
管理离线包
离线包的管理操作包括：预置 H5 应用、利用全局资源包、更新 H5 应用、下载 H5 应用、安装 H5 应用、获取应用信息、校验安全签名以及删除本地应用。前置条件 您已完成接入配置。具体的操作步骤，查看 添加 SDK。您已经生成离线包。具体的...
新建HIVE_SQL任务
本文为您介绍如何基于Dataphin构建HIVE_SQL类型的离线计算任务。背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。...
数据传输作业：数据集成
配置离线同步任务请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。注意事项 离线同步仅支持单表或分库分表数据离线同步至MaxCompute单表。在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
配置离线数据集成节点
可选：在离线数据集成节点的配置页面，单击页面右侧的 变量设置，配置该节点需要引用的变量。您可以单击 变量设置 区域右上角的，查看配置变量的提示信息。单击 节点变量 页签，配置节点变量。具体配置，请参见 配置时间变量。单击 任务流...
新建SPARK_JAR_ON_HIVE任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。在代码编写页面，保存并提交SQL任务。单击页面上的 图标，保存...
运行设置
为了节省调度资源，在确保不存在资源与状态冲突的前提下，您可以设置基于离线代码模板创建的模板任务是否共享运行调度资源。本文为您介绍如何开启全局共享资源开关。背景信息 为了避免不同任务运行之间产生资源或状态的冲突（如修改全局...
离线同步写入MongoDB数据
step2：创建离线同步节点，并配置离线同步任务 在DataWorks的DataStudio中创建一个离线同步节点，并配置离线同步的来源与去向等任务配置参数，核心配置要点如下，其他参数可保持默认值即可。详细操作请参见 通过向导模式配置离线同步任务。...
通过向导模式配置离线同步任务
本文为您介绍向导模式配置离线同步任务的常规配置，各数据源配置存在一定差异，请以 具体数据源配置文档 为准。背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本...
功能简介
配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务调度、上游节点依赖及运行资源配置。通过测试上线运行的脚本任务，支持在运维...
创建规则组合标签
Dataphin支持通过可视化方式配置规则组合标签，通过配置行为关系和离线标签的且或关系进行规则组合定义离线标签。本文将指导您如何通过规则创建离线标签。前提条件 通过规则创建离线标签前需先创建对应的实体。更多信息，请参见 创建实体。...
数据同步
配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务调度、上游节点依赖及运行资源配置。通过测试上线运行的脚本任务，支持在运维...
功能简介
配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务调度、上游节点依赖及运行资源配置。通过测试上线运行的脚本任务，支持在运维...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
- 产品推荐
- 这些文档可能帮助您