功能发布记录（2024年）
DataWorks On CDP/CDH使用说明 数据服务支持实例模式的StarRocks数据源 开通E-MapReduce Serverless StarRocks集群后，您可在DataWorks中通过实例模式新增StarRocks数据源，DataWorks数据服务支持面向StarRocks数据源快速封装数据API，实现...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
功能发布记录（2023年）
数据服务：支持将StarRocks数据表封装为API。数据地图：支持纳管StarRocks元数据并进行搜索展示。2023.12.15 所有地域 所有DataWorks用户 StarRocks数据源 StarRocks节点 SQL查询 配置数据源 元数据采集 DataWorks on EMR Serverless ...
功能发布记录 2022年之前
DataWorks数据服务现已灰度支持直接访问并使用MaxCompute表封装API，该类API的调用请求将借助MaxCompute加速查询能力（MCQA）在引擎中执行数据查询，实现快速、高效的调用返回。（附：仅支持在独享数据服务资源组中使用MaxCompute数据源）...
计费逻辑说明
资源费用明细：智能监控 数据服务 数据服务支持基于数据源封装API，或将已有API添加至平台，通过该方式对外提供服务。DataWorks将根据数据服务调用量计费，您可选择包年包月的独享数据服务资源组，或按量付费的公共数据服务资源组进行API...
功能发布记录（2022年）
2022-11 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 DataWorks数据服务支持面向开发和生产环境数据源封装API DataWorks在标准模式的工作空间下，新增如下功能：支持根据自行选择数据源的环境类型（开发环境或生产环境），设置...
独享数据服务资源组
为保证用户创建并封装在数据服务中的API在被外部应用调用时，能达到高QPS以及满足可用性保障，企业需要使用独享数据服务资源以确保调用的高效和可靠。独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，...
PL 编译和调试
使用 PL 可以编写具有高级功能的程序，能够将业务逻辑封装在数据库内部，提供更好的抽象性和安全性，同时减少了网络的交互，调用速度更快，从而提升整体性能。PL 程序的开发工作是数据库服务开发人员重要的日常工作，与 SQL 语句的支持模块...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
数据服务
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
客户案例
业务挑战 开发效率：报表平台承载了阿里巴巴商业平台上品类繁多的广告数据的汇总和对广告主的展示，不同业务线有不同的报表诉求，即使在相同的业务线下，基于不同的营销场景，也会有不同维度的数据抽象和封装。但在报表开发的演进过程中，...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS MySQL、PolarDB MySQL版 和ECS自建MySQL。说明 来源库和目标库的数据库类型...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数据服务API
数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位，实现数据服务API的高效查找。进入API查找界面 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 ...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
ENHANCED_SYM_DECRYPT
背景与前提 MaxCompute支持使用 ENHANCED_SYM_DECRYPT 函数指定生成的基础密钥集或封装密钥集对数据进行解密，解密使用的基础密钥集或封装密钥集需与加密时使用的一致。封装密钥集是通过KMS密钥对生成的密钥集（KEYSET）再次进行加密，结合...
加密函数
结合KMS封装的多密钥加密：MaxCompute支持结合KMS进行数据加密，系统会自动生成加解密数据的密钥集（Keyset），该Keyset与KMS密钥结合生成Keyset_KMS，用户需要保存keyset_KMS。若需要数据解密时，需要提供Keyset_KMS，然后系统会结合KMS...
新建数据服务API-向导模式
数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，可减少资源操作成本。本文介绍如何通过向导模式新建API。对原始数据层表“ys_xyk_bkxx”封装API 前提条件 工作组管理员账号登录。已创建“信息...
NEW_WRAPPED_KEYSET
封装密钥集需要您在生成后自行记录保存，使用封装密钥集对数据加解密，需要结合KMS密钥进行，此过程所有密钥由系统自动生成，不可查看原始用于数据加解密的密钥，可以更加安全地实现数据加解密。NEW_WRAPPED_KEYSET 函数将有权使用KMS用户...
区块概述
区块可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。说明 区块功能为 专业版 及以上版本功能，如果您需要使用此功能...
区块概述
区块可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。说明 区块功能为专业版及以上版本功能，如果您需要使用此功能，...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
从这里开始
区块：区块是基于基础组件封装的一个黑盒工具，可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。资源管理 设计资源：...
MaxCompute
akId).option("partitionSpec","ds=20170519").load()readDF.show()通过自定义Schema创建MaxCompute分区表数据，说明 MC数据读取依赖ddi-datasources_shaded_2.11-1.0-SNAPSHOT.jar,该包中封装了spark调用odps数据的sdk，并封装了...
从这里开始
我的区块：区块是基于基础组件封装的一个黑盒工具，可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。设计资产：设计...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
查看数据迁移项目的详情
当源库不断有业务写入时，数据传输会在全量数据迁移启动前，启动增量拉取模块，以拉取源实例中的增量更新数据，对其进行解析、封装，并存储至数据传输中。当全量数据迁移完成后，数据传输会启动增量数据回放模块，从增量数据拉取模块中获取...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
采集数据
本教程采用离线同步方案，DataWorks将数据集成离线同步能力封装为离线同步节点，一个离线同步节点代表一个同步任务，节点内通过数据来源与数据去向定义数据源之间的数据传输，通过字段映射的方式定义源端字段与目标端字段的数据读取与写入...
采集数据
本教程采用离线同步方案，DataWorks将数据集成离线同步能力封装为离线同步节点，一个离线同步节点代表一个同步任务，节点内通过数据来源与数据去向定义数据源之间的数据传输，通过字段映射的方式定义源端字段与目标端字段的数据读取与写入...
新建数据服务API-SQL模式
背景信息 对原始数据层ApsaraDB for RDS中表“ys_xyk_bkxx”封装API。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请...
使用pg_dump和pg_restore将自建PostgreSQL数据库迁移...
如果您准备将自建PostgreSQL数据库的指定数据库迁移到RDS PostgreSQL实例，同时您已经熟悉pg_dump和pg_restore工具，暂时不希望了解和使用阿里云提供的其他迁移服务（RDS PostgreSQL一键上云功能或数据传输DTS服务）时，您可以参考本文档...
亿海蓝-航运大数据的可视化案例
方案亮点：千亿级船舶轨迹时空分析、多元时空数据整合、开发周期短。客户感言“阿里Ganos产品很好地提升了我们对异构时空数据的处理能力。Lindorm高性能、低延迟、高吞吐、稳定性让我们节省了不少运维投入，更多精力投入到业务实现上。——...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
DataWorks On Hologres使用说明
数据建模 数据开发 DataWorks将Hologres计算引擎的能力进行了封装，支持您执行Hologres相关的数据同步、数据开发任务。数据同步：您可将其他数据源的数据同步至Hologres数据源，或将Hologres数据源的数据同步至其他数据源。数据开发仅支持...
- 产品推荐
- 这些文档可能帮助您