云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
数据分析概述
本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比，在线数据分析的优势如下：海量：借助计算引擎的能力，可以高效分析全量、海量的数据。流动：在线数据分析可以从不同数据源获取数据进行查询和分析，...
修改专属集群任务的DU数
待任务重启并将增量数据处理完成后，同步任务或迁移任务源库与目标库恢复一致、订阅任务可获取重启期间的增量数据。操作步骤 进入 DTS专属集群页面。查询目标任务。在页面左上角，选择专属集群所在地域。在 集群任务 列表中，单击目标专属...
常见问题
如果目标端的数据逐出策略（maxmemory-policy）配置为 noeviction 以外的值，可能导致目标端的数据与源端不一致。关于数据逐出策略详情，请参见 Redis数据逐出策略介绍。增量数据迁移时Binlog相关的预检查项失败，如何处理？检查源库Binlog...
升配集群
重要 强制变更 将忽略实例的健康性，可加速变更进度，但集群状态恢复实际需要的时长与数据量、集群压力、配置相关。强制变更 会重启实例，可能会导致服务在重启阶段不稳定。未启用 强制变更 时，系统默认使用 重启 方式升配集群。相关注意...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
API概览
CheckClickhouseToRDS 检查与RDS连通性 调用CheckClickhouseToRDS接口检查云数据库ClickHouse社区兼容版集群与云数据库RDS MySQL的连通性。DescribeSynDbs 查看同步db 查看同步db。DescribeSynDbTables 查看同步数据库与表 查看同步数据库...
查看拓扑图
② 主节点（可读可写）鼠标放置在MySQL图标上，您可以查看主节点基本信息和对应主机相关信息，或者重启实例、变更实例、删除实例的操作入口。鼠标放置在SLB图标上，您可以查看或编辑只读节点的公网和私网地址。说明 默认不提供公网地址，可...
升级版本
升级操作会触发集群重启，具体时长与您集群中的数据大小、数据结构、集群规格等都有关，一般为1个小时左右。重要 系统会根据您的升级方案选择合适的重启方式，重启会对集群服务产生一定影响，详细信息请参见 升级重启说明。升级操作 登录 ...
DataWorks on EMR Serverless StarRocks最佳实践
2024年02月01日之前购买的资源组，如果在资源组与数据源网络已连通的情况下，此处元数据采集显示连通性测试不通过，请联系技术支持升级资源组版本后，再进行尝试。搜索 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击...
一键MaxCompute任务出错恢复
Binlog有丢失 Binlog丢失会导致增量无法回补完整，此时需要重新初始化全量数据，并重启增量。有如下几种方式可以恢复全增量同步任务运行：通过强制重跑功能恢复 适用场景 实时任务失败太久导致Binlog被清理，无法补回增量数据。由于各种...
什么是数据资源平台
平台通过将业务数据沉淀为智能数据或智能算子，以可视化拖拉拽和简单图形化条件设定进行模型编排，支持离线、在线、实时全场景，采用简化建模过程、提高模型运行效能、融合智能化算法等方式帮助用户将数据与业务结合起来，不断积累和沉淀...
数据归档至用户OSS
校验：归档数据与原库数据进行比对，展示差异信息与归档信息。校验时间随数据量增长。运行方式 选择运行方式，当前支持：单次执行：工单审核通过后，仅单次运行归档任务。周期调度：工单审核通过后，可根据部署的周期调度执行归档任务。...
配置并管理实时同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持...
如何解决同步实例关于表的报错？
注意事项 修改同步对象会自动重启实例，在实例重启期间可能会导致源库与目标库数据不一致。本方法需要清空目标表的数据。在您执行本方法的操作前：请确保目标表中只有DTS在写入数据，或目标表中的数据可以被清空。请确保与目标表关联的业务...
设置数据源的账号与密码
且不同的数据库引擎需要不同的权限来进行数据库备份或恢复操作，例如进行MongoDB数据库备份操作需要拥有 Read 权限，进行恢复操作需要拥有 ReadWrite 权限。您可查看 账号权限说明 文档，确认待备份数据库的账号所需要的权限。操作步骤 ...
计费常见问题
更多删除数据信息，请参见 删除表或MaxCompute项目。MaxCompute服务到期或欠费的情况下，数据存放多久会过期？MaxCompute服务到期或欠费后，如果您在15天内充值并补足欠费，MaxCompute服务会自动开启，可以继续使用。如果欠费超过15天，...
MySQL实例间的双向同步
若源自建MySQL同时为双向同步任务和其他任务的源库，您需要在源库/etc/my.cnf 中增加一行 log_slave_updates=1，然后重启数据库。否则会导致反向任务的数据变更不会被记录到源自建MySQL的Binlog，从而导致其他任务数据不一致。费用说明 ...
MySQL实例间的双向同步
若源自建MySQL同时为双向同步任务和其他任务的源库，您需要在源库/etc/my.cnf 中增加一行 log_slave_updates=1，然后重启数据库。否则会导致反向任务的数据变更不会被记录到源自建MySQL的Binlog，从而导致其他任务数据不一致。当源库为RDS ...
配置config.xml参数
背景信息 云数据库ClickHouse 集群有若干参数，参数默认值通常配置在config.xml和user.xml，您可以修改参数进行实例优化，其中：user.xml配置文件：您可以通过set global命令修改相关参数值，修改后无需重启，详情请参见 user.xml参数修改...
一键实时同步至MaxCompute
任务配置第二天，Merge任务将Base表全量数据与实时同步任务的增量数据进行Merge，最后将结果写入Base表。说明 全量数据初始化完成后，该离线同步任务将会被冻结。支持写入MaxCompute分区表与非分区表。以写入分区表为例：注意事项 当实时...
一键实时同步至MaxCompute
任务配置第二天，Merge任务将Base表全量数据与实时同步任务的增量数据进行Merge，最后将结果写入Base表。说明 全量数据初始化完成后，该离线同步任务将会被冻结。支持写入MaxCompute分区表与非分区表。以写入分区表为例：注意事项 当实时...
添加数据
背景信息 空间数据支持添加的 数据类型与格式有：数据类型 数据格式 矢量 Shapefile GeoJSON CSV GDB PostGIS 栅格 GeoTIFF Images NetCDF 倾斜摄影 OSGB S3M 3DTiles BIM RVT DGN IFC 点云 LAS PCD 三维模型 OBJ 3DS glTF FBX 栅格瓦片 ...
基础系列
重要 RDS基础系列实例只有一个数据库节点，没有备节点作为热备份，因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时，会出现较长时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础系列实例，可选择其他...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
Db2 for LUW迁移至阿里云消息队列Kafka版
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
文档修订记录
使用Copilot+增强分析实现一站式智能数据查询与可视化 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023.10.30 新增功能 数据建模API DataWorks支持调用QueryPublicModelEngine接口查询单个指标所依赖模型的相关信息、查询复合指标。...
AnalyticDB PostgreSQL版7.0版本
支持 数据库连接 连接基本信息（连接地址和端口等信息）支持 申请外网地址 支持 监控与报警 监控 支持 报警规则 支持 数据安全 白名单 支持 SQL审计 支持 SSL 支持 备份恢复 支持 配置 参数设置 支持 数据迁移 7.0版本的数据迁移支持情况...
Task快速重启配置
从而避免由于非Source Task异常导致的Source回到上一个Checkpoint位点重新消费数据的情况，减少由于Task取消、重启、追数据导致作业无法正常消费数据的时长。此外，还可以缓解高并发的情况下，所有Task进行一轮Failover的调度时间和初始化...
Serverless模式
类别 功能 存储弹性模式 Serverless模式 实例管理 实例基本信息 支持 支持 登录数据库（DMS）支持 支持 创建实例 支持 支持 释放实例 支持 支持 重启实例 支持 支持 实例升降配 支持 暂不支持 扩缩Master节点 支持 支持 扩容实例 支持 支持...
版本管理
注意事项 版本升级一般不超过30分钟，升级过程中会重启数据库代理Proxy或内核引擎DB，可能会导致数据库连接闪断。请您尽量在业务低峰期执行升级操作，并且确保您的应用有自动重连机制。同时升级数据库代理（Proxy）和内核引擎 期间，主地址...
版本管理
注意事项 版本升级一般不超过30分钟，升级过程中会重启数据库代理Proxy或内核引擎DB，可能会导致数据库连接闪断。请您尽量在业务低峰期执行升级操作，并且确保您的应用有自动重连机制。同时升级数据库代理（Proxy）和内核引擎 期间，主地址...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请...仅当源库发生数据变更且增量数据未被写入目标库，或者写入的数据与源库不一致时，才会校验出不一致数据。
多租户管理使用说明
技术原理如下图所示：术语 租户：租户（Tenant）为实现多租户模式所提出的概念，租户的层级结构在一个数据库实例之下，在数据库与用户之上。租户分为系统租户和普通租户：系统租户：系统租户是为了适配原有模式下用户的使用，原有数据库...
EMR Kafka磁盘故障运维
如果业务需要高可用与数据不丢失，则您需要通过合理的集群配置、使用Kafka方式提高系统容错能力来避免出现一块盘故障就导致数据会丢失的情况出现。如果发现因为故障盘IO性能下降导致集群整体性能下降，影响业务，则应快速隔离故障盘来进行...
数据库采集器问题
采集主要收集数据库本身记录的一些统计信息，主要的数据量来自数据库对象的DDL和记录的历史SQL文本信息，所有大小取决于客户的对象数量、大小和SQL文本大小，一般都不会超过1G。终端提示“connection to database fail,please check ...
数据安全治理的必要性
其中，风险/差距分析矩阵是最关键的组成部分，它将信息生命周期和技术领域与数据隐私和保密原则相结合，采取相应的措施来保护数据免受隐私、机密性和合规性威胁，并管理剩余风险。上述定义均体现了数据安全治理并不是单纯使用技术工具就能...
Db2 for LUW同步至自建Kafka集群
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
数据上传
说明 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。预览数据并设置目标表字段（上传数据至新建表）可通过 ...
- 产品推荐
- 这些文档可能帮助您