常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
文档修订记录
数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种一级脱敏场景，若该类场景生效的数据范围及用户范围无法满足您更细化的脱敏需求，则也可基于一级场景自定义二级脱敏场景使用。创建数据脱敏场景 2023.11.20 新增...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
应用上云方案设计
为数据服务层建立一套统一的管理规范，所有业务用户账号在完成相关审批流程后对相应的数据字段进行授权安全访问，对数据只有读的权限，不能对原始数据进行直接修改或删除，做到数据不搬家，可用不可见；建立统一的数据资源视图和数据血缘...
EasyCkpt：AI大模型高性能状态保存恢复
如果PyTorch大模型训练场景的任务运行失败，您可以使用EasyCkpt保存的最新的Checkpoint来重新运行任务，无需重复计算，减少时间和成本的浪费。EasyCkpt是PAI为PyTorch大模型训练场景而开发的高性能Checkpoint框架，通过实现接近0开销的模型...
基本概念
代码压缩 去除 JavaScript 代码中不必要的空格、换行等内容，或把一些可能公用的代码进行处理实现共享，最后输出的结果都压缩为几行内容，降低代码可读性。单设备推送 指基于用户维度推送时，消息推送至用户最新上线的设备，且只推送一次。...
新功能发布记录
2023-08-02 产品规格 购买方式 2023年07月 项目管理 功能名称 功能描述 发布时间 相关文档 数据资产关联 在应用和业务逻辑开发中，如需使用数据服务自定义API和数据表等数据资产，必须先在IoT Studio项目中进行关联。2023-07-31 项目 2023...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
文档更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-组件库开发 ...
PolarDB数据源
PolarDB数据源为您提供读取和写入PolarDB双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。使用限制 离线读写 支持读取视图表。实时读 来源数据源为阿里云PolarDB MySQL时，您需要开启Binlog。阿里云PolarDB MySQL是一款完全...
功能更新动态（2024年）
创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以...
研发过程代码与平台模型的双向联动
为了解决系统实现与设计在持续迭代过程中的一致性等问题，BizWorks提供了一种代码与平台模型的双向联动机制。本文介绍BizWorks双向联动机制，以及如何使用BizWorks提供的相关能力，将代码与平台模型的双向联动顺畅融入到已有的研发流程中。...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
数据开发概述
进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。...
应用场景
双向TLS认证在实现过程中不需要更改服务代码，可以为每个服务提供基于角色的强大身份认证机制，以实现跨集群、跨云端的交互操作。通过ASM，可以轻松实现服务之间的授权：借助Istio授权机制，ASM确保只能从经过严格身份认证和授权的客户端...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
功能特性
安全管控 功能集 功能 功能描述 参考文档 实例管理 数据库配置 在DMS中创建或删除数据库，调整数据库的Owner、字符集或校验规则。资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时，DMS会...
新功能发布记录
DMS控制台切换 07月 功能名称 变更类型 功能描述 相关文档 离线集成 新增 离线集成是一种低代码开发数据加工任务的工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。离线集成概述 DevOps 新增 ...
MCU+支持MQTT的模组
SDK中提供了AT Parser模块用于完成这些功能，如果开发者尚未实现在UART上的数据收发/解析等功能,可以使能AT Parser功能来减少开发工作量。当开发者使能AT Parser后，AT Parser将会提供AT MQTT HAL的实现，因此开发者需要实现的函数是AT ...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
跨阿里云账号同步RDS MySQL实例
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
使用do-while节点实现复杂的数据分析
当您需要对一组数据或任务进行多次处理，直到满足某个条件才停止时，您可以使用 do-while 节点来自动化重复执行，简化复杂任务的操作步骤，以提高任务的执行效率和可靠性。本文以统计电商行业中的订单数据为示例，为您介绍如何使用 do-...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）数据源为您提供读取和写入DRDS（PolarDB-X）双向通道的功能，本文为您介绍DataWorks的DRDS（PolarDB-X）数据同步的能力支持情况。支持的版本 实时读取 支持DRDS（PolarDB-X 1.0）和PolarDB-X 2.0的非只读实例。创建DRDS...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
Kafka数据源
Kafka数据源为您提供读取和写入Kafka的双向通道，本文为您介绍DataWorks的Kafka数据同步的能力支持情况。支持的版本 支持阿里云Kafka，以及=0.10.2且的自建Kafka版本。说明 对于版本Kafka，由于Kafka不支持检索分区数据offset，并且Kafka...
PolarDB HTAP实时数据分析技术解密
PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel Query)，在查询数据量到达一定阈值时，会自动启动并行执行。在存储层将数据分片至不同的线程，多个线程并行计算。并将结果流水线汇总到总线程。最后，总线程做些简单...
Link Visual安全机制说明
概述 业务场景 安全机制 安全等级 使用方式 设备身份认证 一机一密 较高 云端控制台配置 一型一密 中 云端控制台配置 防串号 较高 需要设备端做少量开发 APP身份认证 安全登录 高 Android/iOS/PC默认支持 API安全 较高 默认支持身份及权限...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能发布记录（2022年）
美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、...
HSF概述
高速服务框架HSF（High-speed Service Framework），是在阿里巴巴广泛使用的分布式RPC服务框架。概述 HSF连通不同的业务系统，解耦系统间的实现依赖。HSF从分布式应用的层面，统一了服务的发布与调用方式，从而帮助用户更加方便、快速地...
产品简介
工业组态帮助文档 什么是组态 组态（Configure）：包含“配置”、“设定”、“设置”等意思，所以工业组态系统是指不需要编写计算机程序、通过类似“配置”的方式完成工业应用开发的系统。这些应用可用于工厂的制造车间的PMC（生产过程管理...
HSF概述
高速服务框架HSF（High-speed Service Framework），是在阿里巴巴广泛使用的分布式RPC服务框架。概述 HSF连通不同的业务系统，解耦系统间的实现依赖。HSF从分布式应用的层面，统一了服务的发布与调用方式，从而帮助用户更加方便、快速地...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
应用托管概述
Serverless 应用引擎 SAE（Serverless App Engine）向上抽象了应用的概念，支持以代码包和镜像方式部署应用并进行托管。在 SAE 上，您可以低门槛拥抱容器技术，无需管理和维护集群与服务器，专注于设计和构建应用程序，最大化利用资源完成...
第三方蓝牙通信插件适配指南
由于各家蓝牙应用层协议千差万别，为了将不同的蓝牙应用层协议接入到统一框架，势必需要有一个适配层来抹平各个协议的差异。如阿里巴巴IoT就定义了一套应用层的通信协议：Breeze。背景信息 通常，各家的蓝牙应用层协议都会定义如下功能。...
调用OpenAPI配置Redis企业版实例间单向或双向数据同步
您可以通过调用DTS的相关接口，为Redis企业版实例配置单向或双向数据同步。本文介绍相关注意事项及示例代码。前提条件 源和目标实例为 阿里云Redis企业版 实例（5.0版本）。说明 单向同步时，不支持源实例为容量存储型；双向同步时，不支持...
DataWorks On Hologres使用说明
创建Hologres数据源 数据开发、数据分析环境准备 基于DataWorks进行Hologres调度任务前，您需先将Hologres实例创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性调度...
DataWorks On MaxCompute使用说明
创建MaxCompute数据源 数据开发、数据分析环境准备 基于DataWorks进行MaxCompute调度任务前，您需先将MaxCompute项目创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性...
- 产品推荐
- 这些文档可能帮助您