数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
图扑案例
为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
X-Engine性价比优势
采用分层访问，结合真实业务场景中广泛存在的局部性和数据访问倾斜现象（热数据量往往远小于冷数据量），提高QPS。上图为X-Engine处理有倾斜特征的数据访问时点查询的性能情况。这项测试使用了业界常用的齐夫分布来控制数据访问的倾斜程度...
概述
冷存后的数据访问延迟会有所增加，且不建议频繁更新或写入，您可以选择性地将数据存储在OSS中。技术原理 PolarDB PostgreSQL版 实现的冷热分层存储功能可以将OSS对象存储直接作为数据库的一种存储介质，存储价格低廉。PolarDB PostgreSQL版...
全量数据索引构建
对于HBase表中的存量历史数据，需要手工执行一次全量构建才可以完成数据同步。全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中的历史数据构建索引，该命令是异步执行的。重要 全量构建索引过程中，会阻塞HBase表的DDL...
通过外表导入至数仓版
Storage API方式与Tunnel方式的区别如下：访问方式 集群版本 地域 费用 数据访问效率 Tunnel方式 无限制 无限制 免费 使用公共数据传输服务资源组，该资源会被该地域所有项目共享使用，数据访问和导入速度慢。Storage API方式 3.1.10.2及...
创建MaxCompute数据源
相关介绍及操作，请参见 MaxCompute数据访问权限控制、审批中心概述。说明 简单模式工作空间无法做到细粒度权限控制，以下内容为标准模式工作空间下的影响说明。数据源创建入口 进入数据源页面。登录 DataWorks控制台，单击左侧导航栏的 ...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
概述
冷存后的数据访问延迟会有所增加，且不建议频繁更新或写入，您可以选择性地将数据存储在OSS中。技术原理 PolarDB PostgreSQL版（兼容Oracle）实现的冷热分层存储功能可以将OSS对象存储直接作为数据库的一种存储介质，存储价格低廉。PolarDB...
概述
冷存后的数据访问延迟会有所增加，且不建议频繁更新或写入，您可以选择性地将数据存储在OSS中。技术原理 PolarDB PostgreSQL版（兼容Oracle）实现的冷热分层存储功能可以将OSS对象存储直接作为数据库的一种存储介质，存储价格低廉。PolarDB...
全增量同步任务运维
同步数据量：显示当前同步任务中的已同步数据量，包含已运行成功任务同步的数据量及运行中任务已同步的数据量。同步记录数：显示当前同步任务中的已同步数据的条数记录。说明 离线同步子任务 的统计情况每小时更新一次。实时同步子任务 ...
创建并使用MaxCompute表
数据访问行为说明 MaxCompute支持跨项目查询表，因此，在数据开发（DataStudio）界面可通过指定项目名称的方式，跨项目查询DataWorks工作空间中的生产数据。跨项目访问表的方式及各界面执行所使用的账号说明，请见下表。说明 不同环境绑定...
创建并使用MaxCompute表
数据访问行为说明 MaxCompute支持跨项目查询表，因此，在数据开发（DataStudio）界面可通过指定项目名称的方式，跨项目查询DataWorks工作空间中的生产数据。跨项目访问表的方式及各界面执行所使用的账号说明，请见下表。说明 不同环境绑定...
混合存储型（已停售）
使用混合存储型，将所有课程信息存储到磁盘，访问量大的课程和题库数据存储到内存并常驻内存，保证高频访问数据的读写性能，实现高性能与高性价比的有机结合。典型业务场景的示例如下：场景1：使用开源Redis集群存储了100 GB的数据，但高峰...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
开启安全访问代理
数据管理DMS的安全访问代理可以为访问数据库带来更全面的安全保障。实例开启安全访问代理后，您可以使用标准的MySQL、HTTPS协议，通过命令行、数据库管理工具或程序代码直接连接安全访问代理生成的地址，安全地访问目标实例。前提条件 支持...
全量导入
本章节介绍搜索引擎如何进行全量导入。请参见 RDS全量导入 将全量数据导入到宽表引擎中。将数据导入到宽表引擎后，请参见 构建全量数据索引，将全量数据导入到搜索引擎中。
全量导入
本章节介绍搜索引擎如何进行全量导入。请参见 RDS全量导入 将全量数据导入到宽表引擎中。将数据导入到宽表引擎后，请参见 通过构建索引完成全量数据同步，将全量数据导入到搜索引擎中。
第三方认证文件管理
背景信息 第三方认证机制用于用户和服务的强身份验证，通过该机制，可以有效地避免不受信任的程序或服务来获取数据访问权限，提高数据同步过程中访问数据资源的安全性。DataWorks的认证文件管理功能，可以为您提供统一入口来管理认证文件，...
数据膨胀诊断
设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;例如，您需要诊断...
同步时源库为SQL Server的注意事项及限制
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
计费项
DTS实例的价格主要与计费方式、实例的功能类型、实例的集群类型、源和目标数据库实例所属的地域、链路数量、订购时长等有关，与数据库实例中数据量多少无关，具体价格请参考 DTS按量付费价格 和 DTS包年包月价格。重要 若源数据库为分布式...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
访问控制
访问控制是指DMS中可以对查看与访问数据库、实例权限进行控制的功能，进一步保障企业的数据安全。背景信息 DMS作为企业内数据库统一管理入口，已为不同用户提供了访问不同数据的管控权限。DMS新推出的元数据访问控制功能将进一步加强企业的...
表数据格式
为了支持增全量存储和处理一体化架构，Transaction Table2.0（简称TT2）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
常见问题
企业出现重大敏感数据泄露事件时，需要进行全面的事件还原和追责处理，但是由于数据访问者较多，泄密途径不确定，导致定责模糊。数据水印将标记信息嵌入原始数据，在不影响数据使用的前提下，生成水印和添加数据标记，可对泄露数据溯源，...
ClickHouse控制台查看监控
云数据库ClickHouse 提供了丰富的性能监控数据，方便您查看和掌握集群的运行状态。本文介绍如何在控制台查看集群监控信息。前提条件 已开通阿里云Prometheus服务。已升级 云数据库ClickHouse。说明 首次使用集群监控时，会在 监控告警 页面...
备份恢复性能说明
测试环境 配置项 配置内容 数据库类型 RDS MySQL（通用型）数据库内存 2,400M 数据库CPU 8核 数据库IOPS 1,200 测试数据 测试数据 说明 数据示例 数据库大小 测试数据库的总大小，单位为GB。102 GB 总记录数 测试数据库中所有表的总记录...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
DataCheckConfigure参数说明
fullCheckReferEndpoint String 全量数据校验的基准，取值为：all：以源库和目标库数据的合集为基准，校验源库和目标库不一致的数据。src：以源库为基准，校验目标库与源库数据的一致性（不校验目标库比源库多的数据）。dest：以目标库为...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
管理访问控制权限
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行、元数据等进行访问控制权限管理。本文对DMS提供的访问控制权限进行介绍。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作...
权限管理与规范化数据开发
数据访问得到有效管控，数据安全得以保障。缺点 存在不稳定、不安全的风险。开发角色可以不经过任何人审批，随时新增、修改代码并提交至调度系统，给生产环境带来不稳定因素。面向MaxCompute计算引擎时，开发角色默认拥有当前MaxCompute...
- 产品推荐
- 这些文档可能帮助您