通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
常数吞吐量分布式使用示例
单机生效即为脚本中设置值为单台施压机的目标值，不会替换脚本内容，需要注意并发量级与配置值是否匹配。该模式下，场景的总目标吞吐量为2×（100并发/2）×100=10000（每分钟）。常见应用场景 通常配置吞吐量控制时，您可以选择Sampler...
常数吞吐量分布式使用示例
单机生效即为脚本中设置值为单台施压机的目标值，不会替换脚本内容，需要注意并发量级与配置值是否匹配。该模式下，场景的总目标吞吐量为2×（100并发/2）×100=10000（每分钟）。常见应用场景 通常配置吞吐量控制时，您可以选择Sampler...
MaxCompute数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
HybridDB for MySQL数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
MariaDB数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
通过脚本模式生成API
数据服务支持通过脚本模式或向导模式生成API，相对于向导模式，您可以自行编写API的查询SQL，支持多表关联、复杂查询和聚合函数等功能，满足您个性化查询需求。本文为您介绍如何通过脚本模式生成API。前提条件 配置API前，请先在 工作空间...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
PolarDB数据源
PolarDB数据源为您提供读取和写入PolarDB双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。使用限制 离线读写 支持读取视图表。实时读 来源数据源为阿里云PolarDB MySQL时，您需要开启Binlog。阿里云PolarDB MySQL是一款完全...
使用DataWorks同步iGraph数据
如果上游需要使用其他数据源，可替换模板中Reader部分，脚本模板中可适配的上游数据源详情请参见 支持的数据源与读写插件。运行结束后可以在底部日志面板查看数据同步任务执行是否成功。5.配置周期增量同步的调度属性 周期性的增量同步需要...
文档更新动态（2022年）
更新说明 创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、管理FTP组件、配置脚本模式输入组件 2022年10月25日 资产权限新增权限审计模块 可以对自己的权限进行审计。新增说明 权限操作审计 2022年10月25日 ...
API任务概述
任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连数据源模式是通过SQL直接从数据源创建API。通过直连数据源模式创建API 通过SQL模式创建API SQL模式是基于服务单元、Dataphin逻辑表通过编写SQL语句创建API，灵活应用。通过SQL...
MySQL数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
OSS数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
创建JMeter场景
单机生效：脚本中设置值为单台施压机的阈值，不会替换脚本内容，此时需要注意并发量与配置值是否匹配。假设共使用到2个施压IP，脚本配置集合阈值为1000，单机阈值即为1000，施压集群整体为2000。设置 常数吞吐量定时器。若您上传的JMeter...
创建JMeter场景
单机生效：脚本中设置值为单台施压机的阈值，不会替换脚本内容，此时需要注意并发量与配置值是否匹配。假设共使用到2个施压IP，脚本配置集合阈值为1000，单机阈值即为1000，施压集群整体为2000。设置 常数吞吐量定时器。若您上传的JMeter...
OSS-HDFS数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
Kafka数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
新建存储过程
查找/替换 在查找框内输入内容以对脚本进行检索，查找后可在替换框内输入内容以对查找内容进行替换。撤销 将脚本回退到上一步操作执行的结果。重做 执行 撤销 操作后，对脚本重新执行撤销前的操作。大小写 提供 全部大写、全部小写 和 首...
MongoDB数据源
您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数和Writer参数的指导详情。MongoDB Reader脚本Demo ...
文档修订记录
关系图 2023.8.25 新增功能 数据集成 Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。Amazon Redshift数据源 2023.8.24 新增功能 运维中心 在原有调度配置...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
配置Kafka输出组件
写入模式 该配置项决定将数据源端读取记录的所有列拼接作为写入Kafka记录Value的格式，可选值为text和json，默认值为text。text：将所有列按照分隔符配置项指定分隔符拼接。json：将所有列按照目标表字段名称拼接为JSON字符串。说明 如果...
配置Kafka输出组件
写入模式 该配置项决定将数据源端读取记录的所有列拼接作为写入Kafka记录Value的格式，可选值为Text和JSON，默认值为Text。Text：将所有列按照分隔符配置项指定分隔符拼接。JSON：将所有列按照目标表字段名称拼接为JSON字符串。说明 如果...
功能更新动态（2022年）
2022年10月25日 华北2（北京）配置API输入组件、创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、配置MaxCompute输入组件、配置MaxCompute输出组件、管理FTP组件、管理脚本模式输入组件 2022年10月27日 华东1...
Elasticsearch数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
HDFS数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
功能特性
配置回源协议 阿里云OSS私有Bucket回源 如果加速域名的源站使用的是阿里云对象存储OSS，并且OSS的Bucket被配置为私有模式（可以起到访问鉴权的作用，避免非授权的请求盗刷流量），该情况下建议您给加速域名开启OSS私有Bucket回源功能，可以...
同步增量数据到OSS
宽表模型：导出 表格存储 数据表中的数据到OSS时支持使用向导模式或者脚本模式。时序模型：导出 表格存储 时序表中的数据到OSS时只支持使用脚本模式。使用Tablestore Stream增量同步数据时，要求每次写入Tablestore的数据必须是整行数据。...
云数据库MongoDB版（分片集群架构）同步至云数据库...
前提条件 已创建目标 云数据库MongoDB版（副本集架构或分片集群架构）实例，创建方式，请参见 创建副本集实例 或 创建分片集群实例。重要 建议目标 云数据库MongoDB版 实例的存储空间比源 云数据库MongoDB版 实例占用的存储空间大10%。支持...
在ASM中实现跨域访问
跨源域资源共享CORS介绍 浏览器会限制页面脚本内发起的跨源HTTP请求以提高安全性，对于需要跨域访问的场景，ASM提供了跨源域资源共享CORS功能。跨域资源共享CORS是一种基于HTTP头的机制，该机制允许服务器标示除了它自己以外的其它域，协议...
在ASM中实现跨域访问
跨源域资源共享CORS介绍 浏览器会限制页面脚本内发起的跨源HTTP请求以提高安全性，对于需要跨域访问的场景，ASM提供了跨源域资源共享CORS功能。跨域资源共享CORS是一种基于HTTP头的机制，该机制允许服务器标示除了它自己以外的其它域，协议...
部署高可用及共享存储Web服务
随着业务规模的增长，数据请求和并发访问量增大、静态文件高频变更，企业需要搭建一个高可用和共享存储的网站架构，以确保网站服务能够7*24小时运行的同时，可保障数据一致性和共享性，并降低数据重复存储的成本。方案架构 方案提供的默认...
对 RAM 账号进行组件级别的访问控制
至此，您已完成为 RAM 用户添加 mPaaS 控制台访问权限，该 RAM 用户能够访问主账号创建的所有应用，并能够使用所有组件。授权所有组件，但指定可用的应用 使用阿里云账号登录 RAM 控制台。在左侧导航栏的权限管理菜单下，单击 权限策略。...
- 产品推荐
- 这些文档可能帮助您