什么是数据库审计
工作原理 数据库审计服务通过旁路监听模式，支持完全独立于数据库的部署。在不影响数据库日常运行效能的前提下，实现灵活的审计与监控。基于数据库操作语句进行审计，监视数据库登录、访问行为，有效地实施审计策略。数据库审计服务还具备...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
RDS实例间的数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
RDS实例间数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
备份集查询功能概览
工作原理 DBS与数据湖Data Lake Analytics深度集成，提供备份集在线查询能力，通过DLA直接对OSS上的备份数据文件进行查询。备份集查询功能的整体架构如下图所示。DBS也支持在单个备份计划下查询多个备份集。您需要选择目标备份集并创建数据...
常见问题
数据同步的工作原理，请参见 产品架构及功能原理。如何计算同步延迟？同步延迟是指同步到目标数据库中的最新数据的时间戳，与源数据库的当前时间戳之间的差值。单位为毫秒。说明 正常情况的延迟在1000毫秒以内。数据同步任务是否可以修改...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
DataWorks数据集成
准备工作 数据集成任务准备 开通DataWorks服务 开通MaxCompute，自动产生一个默认的MaxCompute数据源，并使用主账号登录 DataWorks 创建工作空间。您可在工作空间中协作完成工作流，共同维护数据和任务等，因此使用DataWorks前需要先创建...
什么是数据库网关
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
建模空间
当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时，面对跨多个工作空间的复杂数据体系，可以通过设计空间来共享一套数据建模工具，针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
管理数据源权限
您可以在数据源管理页面，分享数据源权限给相应的工作空间，并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。背景信息 通常数据源会承载数据的具体地址、账户和密码等敏感信息，但普通开发人员仅...
产品优势
数据闭环流通 与云上日志系统、数据库、数据应用工具无缝集成，能便捷地进行数据同步，降低数据迁移工作量。专业服务能力 阿里云提供专业的数据库专家，给用户提供技术支持和服务。特性 功能介绍 详细描述 架构灵活 支持单节点、单副本、多...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
使用DBS和DG备份本地或第三方云数据库
详细的原理介绍请参见 工作原理。前提条件 已创建数据库网关。创建方法请参见 新建数据库网关。已在网关中添加目标数据库。添加方法请参见 添加数据库。已创建DBS备份计划。创建方法请参见 购买备份计划。注意事项 确保网关程序所在的机器...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
数据仓库研发规范概述
数据仓库研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据，从而释放更多人力与财力专注...
数据质量保障原则
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整...若等待时间过长，数据失去了及时性的价值，数据分析工作将失去意义。
常见问题
云数据库 SelectDB 版 与数据管理服务DMS原生搭配，提供可视化、易用的SQL查询编辑器，减少数据管理工作量。云数据库 SelectDB 版 仅需投入少量运维人力。云数据库 SelectDB 版 内核是基于 Apache Doris 内核开发的商业化版本，基于云架构...
规划工作空间
通常来说，开发环境的数据读、写权限为各工作空间的“开发”角色共享，而生产环境的数据权限为生产账号独有 数据质量 各工作空间之间的数据质量是 完全隔离 的。仅对应工作空间的“开发”、“运维”或“管理员”角色具备配置数据质量规则的...
功能特性
OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表...
高效数据治理实施指南
以某公司数据平台团队的数据治理负责人为例，其负责本团队的数据成本管理工作，同时也是DataWorks所有数仓工作空间的管理员，日常需要进行整个数据团队的运维管理工作和成本管理工作，对数据治理相关工作进行确定和推进。目前在年初阶段，...
DataWorks On EMR使用说明
数据治理中心概述 四、数据服务 DataWorks数据服务旨在为企业提供全面的数据服务及共享能力，帮助企业统一管理面向内外部的API服务。详情请参见 数据服务概述。五、开放平台 DataWorks支持开放能力，帮助您快速实现各类应用系统对接...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
创建同步任务
目前数据集成功能支持从RDS、MySQL、SQL Server、PostgreSQL、MaxCompute、OCS、DRDS、OSS、Oracle、FTP、DM、HDFS和MongoDB等数据源中，导入数据至工作空间或从工作空间导出数据。详细的数据源类型列表请参见 支持的数据源与读写插件。...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
- 产品推荐
- 这些文档可能帮助您