数据服务：低成本快速发布API
核心技术与架构 数据服务采用Serverless架构，您只需要关注API本身的查询逻辑，无需关心运行环境等基础设施，数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。计费 使用DataWorks的数据服务功能创建数据API后，API调用请求需...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
数据加工过程卡点校验
随着业务的发展，业务数据库（MaxCompute数据仓库的数据源）会出现数据库扩容或者DDL变更，这些变更都要主动通知到离线开发人员。基于MaxCompute的数据仓库在进行离线数据抽取时，通过DataWorks的数据集成工具，可能会限制某个业务数据库表...
数据服务入门
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
数据服务
数据服务不支持ECS自建的数据库，配置内网地址时，会出现网络不通的情况。是否必须开通API网关？API网关提供了API托管服务，如果您的API计划对外开放调用，则必须先开通API网关服务。如何配置数据源？数据源需要在 工作空间管理>数据源管理...
管理服务单元权限
如果您已购买了数据服务模块，即可基于Dataphin生成API。服务单元对数据表进行统一的元数据配置。在您生成API前，需要对数据表进行统一的元数据配置。如果您需要使用他人的服务单元生成API，则需要申请服务单元的使用权限。前提条件 已购买...
配置数据层
当某个单元出现异常或者不可用的情况时，可通过异地多活的切流组件迅速将“问题”单元承担的流量切换至其他正常单元，保证业务的可持续性和稳定性。前提条件 配置MySQL数据层的前提条件：在两个单元环境中分别已创建一个或多个同名MySQL。...
基本概念
本文将为您介绍数据服务的Dataphin数据源服务、API服务、分组、服务单元和应用等基本概念。基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin...
应用场景
当任何一个单元出现故障时，您只需将该单元的流量切换至其他单元即可，可实现业务的秒级恢复，有效地保障了服务的高可用性。您还可以根据业务的某个维度将业务流量分流至各个业务单元。例如，按照用户所属区域划分各单元的流量，实现用户...
数据传输服务概述
受服务构架限制，MaxCompute Tunnel服务在以下几种场景中会出现偶发的请求延迟问题（单次上传、下载10MB数据耗时从秒级增长到分钟级）。共享Tunnel服务资源用满（CPU/网络带宽）持续时间：几分钟~几小时。受服务架构限制无法避免，有强保障...
LTS（原BDS）服务介绍
主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群，尽可能减少对业务产生的影响，当主集群服务恢复之后，通过LTS同步服务补齐主集群遗漏的数据。RDS历史库 对于交易订单等存储场景，随着数据量...
异地双活切流
此过程中，业务系统中依赖的MSHA-SDK会开启数据库禁写控制，以此进行单元保护，避免更新规则推送到业务系统的时间不一致、机器时钟不一致，导致各机器规则生效时间不一致出现的数据脏写问题。各层切流。同时进行接入层和数据层切流。接入层...
LTS（原BDS）服务介绍
主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群，尽可能减少对业务产生的影响，当主集群服务恢复之后，通过LTS同步服务补齐主集群遗漏的数据。RDS历史库建设 对于交易订单等存储场景，随着...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
数据服务概述
数据服务产品价值能力，概括为以下两点：数据服务创建能力：支持将单个物理表或多个物理表进行关联形成一张逻辑表，后续开发可以基于该逻辑表创建API。支持向导模式和脚本模式创建：简单的查询可以通过向导模式创建API；联表、查询条件复杂...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
应用容灾
同城多活（LRA，LocalRegionActive）：应用是分布式系统的最小服务集合，当主中心出现问题进入容灾态时，要具备全局或局部应用的多活切换能力。异地多活（UDA，UltraDistanceActive）：在超远距离（机房间距超过300公里）时，业务系统仍...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
MySQL实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间（比如RDS MySQL、自建MySQL）的双向数据实时同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文以RDS MySQL实例为例，介绍双向数据同步的配置步骤，...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
混合云应用双活容灾最佳实践
步骤五：切换数据库进行恢复 在北京单元的数据库故障的情况下，可以通过MSHA数据库切换功能，将应用访问的Redis或MySQL的连接切换至杭州单元的数据库（切换过程中会等待数据同步追平，期间会短暂禁写）。预期效果：应用连接的数据库切换到...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
表设计最佳实践
使用MaxCompute Tunnel SDK上传数据时，如果创建了Session却没有上传数据，而是直接Commit，则会产生大量空目录（在服务侧等同于小文件）。使用MaxCompute客户端执行Tunnel命令上传时，将本地大文件切分过小会导致上传后产生大量小文件。...
Serverless Spark概述
而且集群扩容过程较复杂，时间也会较长，并且云上容易出现资源库存不足的问题。解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示：Serverless Spark将Spark、...
导入与导出
通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=ServiceUnavailable,ErrorMessage=Service is temporarily unavailable,Please try again later报错？通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=Local Error,...
进度条表格
内容区域高度：表格内容展示区域的高度值，当表格数据内容高度大于内容区域高度时，在内容区域会出现滚动条。边框样式：设置虚拟滚动时的边框宽度和边框颜色。说明 请确保数据的ID值唯一。条件：条件样式说明。条件样式：单击右侧的 或 ...
CreateGADInstance-创建GAD实例
该接口用于创建RDS全球多活数据库集群。接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。创建与释放全球多活数据库集群 调试 您可以...
CreateGADInstance-创建GAD实例
该接口用于创建RDS全球多活数据库集群。接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。创建与释放全球多活数据库集群 调试 您可以...
实例容灾
云数据库MongoDB提供多种容灾解决方案。多可用区实例 阿里云为全世界多个地域提供云计算服务，每个地域包含多个可用区。同一个地域中的不同可用区均为单独的故障隔离单元，并且同一地域中的可用区之间网络延迟小。云数据库MongoDB单可用区...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
- 产品推荐
- 这些文档可能帮助您