RestAPI（HTTP形式）数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
Redis数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
Kafka数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
Sensors Data（神策）数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
OSS-HDFS数据源
附录：OSS-HDFS脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式...
Hologres数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
Oracle数据源
附录：Oracle脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式...
MongoDB数据源
报错：no such cmd splitVector 报错：After applying the update,the(immutable)field '_id' was found to have been altered to_id:"2"附录：MongoDB脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的...
SPARK
SPARK任务类型用于执行Spark应用。本文为您介绍创建SPARK类型任务时涉及的参数，并提供了SPARK任务的示例。参数说明 参数 说明 节点名称 任务的...成功上传后，您可以在任务脚本中使用它们的完整路径进行引用，例如：“path/to/test.txt”。
数据集成
通过向导模式配置离线同步任务 以下场景需使用脚本模式配置同步任务：无法通过DataWorks数据集成新建的数据源。数据源本身不支持使用向导模式配置任务。部分插件的参数仅支持使用脚本模式配置任务。通过脚本模式配置离线同步任务 实时同步...
通过DataWorks导入数据
脚本模式示例与参数说明 离线任务脚本配置方式 使用脚本模式配置离线任务时，需要按照统一的脚本格式要求编写脚本。脚本格式要求请参见 通过脚本模式配置离线同步任务。MySQL Reader与SelectDB Writer脚本示例 {"type":"job","version":"2....
Lindorm数据源
使用限制 Lindorm不需要在DataWorks上配置数据源，可直接使用脚本模式配置任务，通过Lindorm Reader和Lindorm Writer插件读取与写入Lindorm数据。Lindorm Reader和LindormWriter仅支持使用 独享数据集成资源组。LindormReader和...
离线同步任务调优
说明 如果您未使用脚本模式加大任务的内存，则只需要考虑独享资源组并发度的额度对任务提交的限制。附录：同步速度 不同数据源的并发读写速度会有很大的差异。下文为您介绍典型数据源在独享资源组中，单并发的同步速度：不同数据源的Writer...
数据解析工作台说明
本文介绍数据解析工作台的导航栏、画布、操作栏功能。背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击...
如何关闭沉浸式任务栏？
问题详述 如何关闭沉浸式任务栏？解决方法 SDK 版本大于等于 3.1.0 的场景，可以在控制台上进行关闭。SDK 版本小于 3.1.0 的场景，调用 FeedbackAPI.setTranslucent(false)。
常见问题
您在使用数据传输服务DTS（Data Transmission Service）时。如果收到DTS返回的错误信息，可查阅 常见报错 匹配解决方案。如果您没有收到具体的错误信息，请根据问题分类匹配问题和解决方案。问题分类 常见问题分为如下几种类型：计费问题 ...
Dataphin同样的SQL脚本在开发环境执行正常，在生产...
一个脚本页面可能有多个脚本任务，任何一个脚本任务语句超限都会报错。生产环境一个脚本页面全部脚本算是一个脚本任务。所以有时开发环境不报语句超限错误，但是发布到生产环境就报语句超限错误。解决方案 如果开发环境不报语句超限错误，...
脚本任务
本文介绍如何在创建任务时直接编写Shell、Python和Go脚本以便创建脚本任务。接入方式 脚本任务支持两种接入方式：依赖jar包嵌在应用进程中。Agent接入（非Java SDK方式）。创建方式 脚本任务在创建调度任务时编写脚本即可。更多信息，请...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL NoSQL数据存储 MongoDB、ElasticSearch 配置同步任务 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。...
配置同步任务
文件存储数据源 HDFS NoSQL数据存储 MongoDB、ElasticSearch 配置同步任务 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 同步任务 页面。在 同步任务 页面，单击已创建的同步任务，配置参数。...
新增脚本同步任务
数据同步支持通过配置脚本来新建数据同步任务。本文主要介绍如何新增脚本同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，...
新增脚本同步任务
数据同步支持通过配置脚本来新建数据同步任务。本文主要介绍如何新增脚本同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，...
流水线上的自定义脚本任务
自定义脚本任务，是 云效流水线 上的一个任务，您可以使用该组件执行一些比较定制化的任务，比如 使用自定义脚本发布静态资源。构建任务的配置 基本配置 在流水线编辑页面，添加任务时，请选择“自定义脚本”，并填写其基本配置：目前支持...
进入多方安全分析控制台
在多方安全分析控制台中，使用节点中的离线数据作为分析样本，创建数据分析脚本，并输出数据分析结果。前置条件 在进入多方安全分析控制台前，需要确认以下信息：确认分析节点已部署完成，并且数据已加载到节点中。确认机构管理台中已存在...
执行脚本
脚本编辑完成，通过执行脚本生成联邦建模数据、预处理规则和联邦模型。前提条件 已经按照脚本类型，为脚本文件配置了输入数据和输出数据，更多信息请参见 脚本输入/输出配置说明。操作步骤 脚本文件编辑完成后，单击页面右上方的 执行，...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
配置脚本代码节点
如果您想在下游节点中使用脚本输出变量，单击 输出变量 页签，单击 增加变量，添加输出变量。变量 文本框中，填写脚本输出变量的名称。关于脚本输出变量，请参见 变量介绍。在 脚本配置 区域，配置脚本参数。配置项 说明 地区 选择目标数据...
Projects（旧版）常见问题
1、企业管理后台-基本信息-有删除企业的按钮 2、如果是已经申请了小微计划，请让企业的创建者企业owner提交阿里云工单，工单上需要提供如下信息 1）企业id：可以从企业管理后台-基本信息页面看到企业id 2）删除原因 3）以及企业管理后台-...
进入联邦建模控制台
脚本执行后产生的模型、预处理规则等，被保存在项目中进行管理。任务管理：执行脚本文件任务后，记录每次任务的执行状态、日志和结果等信息。模型管理：执行脚本文件任务后，由脚本产生的联邦模型和预处理规则在模型管理模块进行统一管理和...
和开源产品对比
可运维 无 启用、禁用任务 启用、禁用任务、手动运行任务、停止任务 启用、禁用任务、手动运行任务、停止任务、标记成功、重刷历史数据 报警监控 无 邮件 邮件 邮件、钉钉、飞书、企业微信、自定义WebHook、短信、电话 高可用及容灾 需要...
Dataphin中SQL脚本任务在元数据库存放位置
概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
任务管理
任务管理中记录了联邦建模系统中所有的脚本任务执行记录，在该页面您可以查看任务的详细信息和执行结果等。查看任务列表 登录联邦建模控制台，并在右上角的下拉框中选择需要进入的项目。说明 若无法获取待进入的项目，可联系您所在机构的...
SchedulerX和开源产品对比
可运维 无 启用、禁用任务 启用、禁用任务、手动运行任务、停止任务 启用、禁用任务、手动运行任务、停止任务、标记成功、重刷历史数据 报警监控 无 邮件 邮件 邮件、钉钉、飞书、企业微信、自定义WebHook、短信、电话 高可用及容灾 需要...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
周期任务通用运维概述
本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持自动调度生成的周期实例，开发环境运维中心虽会生成自动...
周期任务通用运维概述
本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持自动调度生成的周期实例，开发环境运维中心虽会生成自动...
数据同步
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
脚本模式：高级SQL（Mybatis语法）示例
使用说明 本文主要为您介绍使用脚本模式生成API时，通过高级SQL编写查询逻辑的相关示例，以及SQL代码与生成API界面的 请求参数、返回参数 的对应关系。为避免实际使用时运行失败，请将查询的表、字段、相关查询条件替换为您实际使用的内容...
- 产品推荐
- 这些文档可能帮助您