创建PolarDB-X数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建PostgreSQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建AnalyticDB for PostgreSQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建Microsoft SQL Server数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建MySQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
支持的数据源及同步方案
Lindorm数据源-LogHub（SLS）数据源-MaxCompute数据源-MariaDB数据源-Maxgraph数据源-Memcache（OCS）数据源-MetaQ数据源-MongoDB数据源-MySQL数据源-OpenSearch数据源-Oracle数据源-OSS数据源-OSS-HDFS数据源-PolarDB数据源-PolarDB-X 2.0...
如何选择备份方式
增量备份原理 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能...
逻辑备份、物理备份与快照
增量备份 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能影响较...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据资产等级定义
数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度划分数据的资产等级。通常，划分为5个性质的等级：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据...
数据质量保障原则
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...
数据迁移与同步FAQ
说明 数据迁移与数据同步均是从源库复制数据至目标库，不会对源库的数据产生影响。DTS的数据迁移与数据同步工作原理是什么？详情请参见 产品架构及功能原理。DTS的数据迁移与数据同步有什么区别？对比项 DTS数据迁移 DTS数据同步 适用场景 ...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
DQL操作常见问题
说明 海量数据的全排序，对性能的影响非常大，而且很容易造成内存溢出问题，请尽量避免执行该操作。MaxCompute是否支持ORDER BY FIELD NULLS LAST语法？MaxCompute不支持此语法。MaxCompute支持的语法请参见 与其他SQL语法的差异。执行...
PolarDB PostgreSQL版间的迁移
是否限制全量迁移速率 全量迁移时会开启对源库的多并发读取及对目标库的多并发写入，这一行为可能对用户的数据库造成一定的压力，如果不希望对数据库影响太大，可以限制迁移的速率上限。是否限制增量同步速率 增量迁移时会开启对源库的多...
运维阶段
开发人员根据需求将代码发布上线后，还需要及时处理数据、程序、调度、监控告警等的异常事件，保障数据产出时效、程序高效运行和生产稳定性。背景信息 数据开发人员主要需要处理以下事项：程序异常处理、性能优化。调度异常处理。数据质量...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
数据方案概览
无锁数据变更 将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理，可以根据设定的规则定期清理历史数据。可编程对象 支持存储...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
如何支持超大事务
在事务修改数据量较少的情况下，分片数对事务执行时间的影响较大；在事务修改数据量较多的情况下，分片数对事务执行时间的影响则不大。因此，您可以参考本文在不同场景下的结论，根据具体的业务场景，选择合适的分片数，以获取更好的事务...
数据传输服务（上传）场景与工具
注意事项 网络因素对Tunnel上传下载速度的影响较大，正常情况下速度范围为1 MB/s~10 MB/s。当上传的数据量较大时，建议配置Tunnel Endpoint为经典网络或VPC网络相应的Tunnel Endpoint。经典网络或VPC网络需要通过阿里云ECS连通或者通过网络...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
数据水印
影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验（可选）是否跳...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
数据扫描和识别
为了减少扫描对您数据库性能的影响，您可以参考以下规则配置全量扫描周期：增大全量扫描的扫描周期，有效减轻 DSC 扫描对数据库性能产生的影响。将扫描时间设置为数据库访问量较小的时段。DSC 支持扫描的数据源有哪些？DSC 支持对结构化...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
RDS MySQL实例变配时长受哪些因素影响？
RDS MySQL实例变更配置（包括系列、规格和存储空间）时，可以根据本页面列举的影响因素预估实例变配的时长。重要 RDS MySQL实例变更配置的时长受多种因素影响，因此，建议在业务写入量较少时进行，或在变配前停止写入数据。RDS MySQL本地盘...
【通知】2020年3月31日RDS MySQL数据订阅（旧版）功能...
由于数据订阅（新版）需要通过Kafka Client消费订阅数据，需要您对相关业务进行调整，建议您在执行该操作前评估对业务的影响。Q：RDS MySQL数据订阅（新版）如何消费订阅数据？A：通过Kafka Client消费订阅数据，详情请参见 使用Kafka客户...
RDS MySQL实例变配时长受哪些因素影响？
RDS MySQL实例变更配置（包括系列、规格和存储空间）时，可以根据本页面列举的影响因素预估实例变配的时长。重要 RDS MySQL实例变更配置的时长受多种因素影响，因此，建议在业务写入量较少时进行，或在变配前停止写入数据。RDS MySQL本地盘...
快照备份
对实例性能的影响 资源占用大，对实例性能影响略大，建议在业务低峰期执行备份。仅占用实例的极小部分I/O资源，对实例性能几乎无影响，随时可执行备份。下载备份 支持 不支持 前提条件 RDS实例需满足以下条件：存储类型：ESSD云盘、通用云...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
- 产品推荐
- 这些文档可能帮助您