离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
自定义Control Policy
通过自定义管控策略（Control Policy）限制访问资源的权限边界。表格存储 支持限制访问时的TLS版本、限制只能创建使用非公网访问的实例等管控策略，请根据实际配置。背景信息 资源目录管控策略是一种基于资源结构（资源夹或成员）的访问...
MySQL数据源
附录：MySQL脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置...
MaxCompute数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
自定义权限策略
如果Elasticsearch Serverless服务的系统策略无法满足您的业务需求，可以通过自定义权限策略实现精细化权限管理。本文提供了ES Serverless服务权限策略配置的脚本示例和授权资源列表。背景信息 默认情况下，阿里云主账号和RAM用户均可以...
Doris数据源
附录：Doris脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务...
LogHub（SLS）数据源
LogHub（SLS）脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
TSDB数据源
附录：TSDB脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置...
查看并管理脚本实例
脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作，支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。...
Tablestore Stream配置同步任务
Tablestore Stream插件主要用于导出Tablestore增量数据，本文将为您介绍如何通过Tablestore Stream配置同步任务。背景信息 Tablestore Stream插件与全量导出插件不同，增量导出插件仅支持多版本模式，且不支持指定列。增量数据可以看作操作...
DRDS（PolarDB-X）数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
DB2数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
FTP数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
SQL Server数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
查看并管理脚本实例
脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作，支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。...
通过向导模式生成API
数据服务支持通过向导模式或脚本模式生成API，相对于脚本模式，您无需编码能力，可以可视化地配置API。本文为您介绍如何通过向导模式生成API。前提条件 配置API前，请先在 工作空间管理>数据源管理 页面配置数据源。详情请参见 配置数据源...
Entity
构造方式 支持两种构造方式：引擎自动或开发人员在流设计器中通过脚本构造。自动构造：引擎运行时根据节点配置构造，例如HTTP节点的输出消息中，会根据对端接口返回的内容构造对应MIME Type的Entity。脚本构造，提供以下构造方法。方法 ...
在EMR集群运行TPC-DS Benchmark
阿里云E-MapReduce多次刷新TPC-DS官方最好成绩，并且是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群完整运行TPC-DS的99个SQL，并得到最佳的性能体验。背景信息 TPC-DS是全球最知名的数据管理系统评测基准标准...
RestAPI（HTTP形式）数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
Salesforce数据源
附录：Salesforce脚本Demo与参数说明 离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务...
数据服务
脚本模式的功能更为强大，详情请参见 通过脚本模式生成API。数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？API分组是一个特定功能或场景的API集合，是数据服务中API的最小组织单元，对应于API网关中的分组概念。数据服务...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
ApsaraDB For OceanBase数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
Sensors Data（神策）数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
透传/编辑脚本
如果设备无法直接和云端传输JSON格式的数据，则需要设备通过二进制格式将数据透传到云端，由云端运行解析脚本将透传的数据转换成标准ICA格式的JSON数据。前提条件 已创建产品，且产品的 数据格式 设置为 透传/自定义。否则在 产品-设备调试...
Redis数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
PHP构建并部署到ECS
一、背景 如果你 1.使用PHP进行开发 2.需要将源码部署到ECS 那么本文档可以帮助您实现研发流程的协同自动化。二、用户诉求 一般来说，用户使用主机部署场景如下：1.对源代码进行一定的质量检测，比如单元测试，代码扫描 2....yum install php ...
通过脚本模式生成API
数据服务支持通过脚本模式或向导模式生成API，相对于向导模式，您可以自行编写API的查询SQL，支持多表关联、复杂查询和聚合函数等功能，满足您个性化查询需求。本文为您介绍如何通过脚本模式生成API。前提条件 配置API前，请先在 工作空间...
PolarDB数据源
PolarDB数据源为您提供读取和写入PolarDB双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。使用限制 离线读写 支持读取视图表。实时读 来源数据源为阿里云PolarDB MySQL时，您需要开启Binlog。阿里云PolarDB MySQL是一款完全...
创建自定义权限策略
如果视频点播的系统权限策略不能满足您的需求，您可以通过创建自定义权限策略实现精细化权限管理，例如仅允许指定用户访问视频点播中的资源、仅授予使用媒体审核的权限等。创建方式 通过可视化编辑模式创建自定义权限策略 RAM提供所见即...
OSS-HDFS数据源
附录：OSS-HDFS脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式...
使用DataWorks同步iGraph数据
详情请参见：通过脚本模式配置离线同步任务。操作流程 1.确认同步方案 整库离线同步可选择的同步方案如下表所示。同步方案 描述 全量一次性同步 只执行一次同步操作，将来源数据源的存量数据，全量同步至iGraph中。周期性增量同步 按照指定...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
spark-beeline-u jdbc:hive2:/master-1-1:10001/tpcds_bin_partitioned_orc_$SF-f q1.sql 通过脚本顺序执行99个SQL。TPC-DS工具集中没有包含批量执行Spark SQL的脚本，以下提供一个简单脚本供参考。for q in `ls*.sql`;do spark-beeline-u ...
Python脚本示例
本文提供Python语言的物模型消息解析脚本模板和示例。脚本模板 您可以基于以下Python脚本模板编写消息解析脚本。说明 本模板仅适用于 数据格式 为 透传/自定义 的产品。将设备的自定义格式数据转换为Alink协议的数据，设备上报数据到物联网...
基于Jenkins插件实现弹性伸缩中ECS资源包部署
本文为您介绍通过Jenkins插件（Alibabacloud Package Deployment）实现弹性伸缩中ECS资源包部署的最佳实践。前提条件 已部署JenKins服务。更多信息，请参见 Jenkins官网。背景信息 Jenkins插件（Alibabacloud Package Deployment）是由阿里...
通过脚本录制断言特定业务逻辑的执行结果
您可以通过创建浏览器探测任务，模拟用户在不同地域、不同网络环境下通过浏览器访问探测目标，观测探测目标在浏览器访问时的稳定性和性能。新创建的浏览器探测任务的状态默认为 运行中，达到探测频率后，该任务自动执行。本文以淘宝网站的...
JavaScript脚本示例
本文提供JavaScript语言的物模型消息解析脚本模板和示例。脚本模板 以下为JavaScript脚本模板，您可以基于以下模板编写物模型消息解析脚本。说明 本模板仅适用于 数据格式 为 透传/自定义 的产品。将Alink协议的数据转换为设备能识别的格式...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
Hologres数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
- 产品推荐
- 这些文档可能帮助您