什么是数据库审计
工作原理 数据库审计服务通过旁路监听模式，支持完全独立于数据库的部署。在不影响数据库日常运行效能的前提下，实现灵活的审计与监控。基于数据库操作语句进行审计，监视数据库登录、访问行为，有效地实施审计策略。数据库审计服务还具备...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
RDS实例间的数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
RDS实例间数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
冷热分离
在用户的访问方式上和访问普通表没有任何差异，在查询的过程中，用户只需配置查询的Hint或者TimeRange，系统会根据条件自动地判断数据应该在热数据区还是冷数据区。原理介绍 用户在表上配置数据冷热时间分界点后，HBase增强版会依赖用户...
创建同步任务
背景信息 在DataWorks中，通常通过数据集成功能，定期导入系统中产生的业务数据至工作区。SQL任务进行计算后，再定期导出计算结果至您指定的数据源中，以便进一步展示或运行使用。目前数据集成功能支持从RDS、MySQL、SQL Server、...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
备份集查询功能概览
工作原理 DBS与数据湖Data Lake Analytics深度集成，提供备份集在线查询能力，通过DLA直接对OSS上的备份数据文件进行查询。备份集查询功能的整体架构如下图所示。DBS也支持在单个备份计划下查询多个备份集。您需要选择目标备份集并创建数据...
常见问题
数据同步的工作原理，请参见 产品架构及功能原理。如何计算同步延迟？同步延迟是指同步到目标数据库中的最新数据的时间戳，与源数据库的当前时间戳之间的差值。单位为毫秒。说明 正常情况的延迟在1000毫秒以内。数据同步任务是否可以修改...
什么是数据库网关
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
快速入门
本文为您介绍使用数据工作站功能前需要完成的工作，以及功能的使用流程。准备工作 将您需要分析的实例录入至DMS。具体操作，请参见 云数据库录入 和 他云/自建数据库录入。实例已开启安全托管。开启操作，请参见 开启安全托管。管理员将待...
数仓分层
该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为...
数仓分层
该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为...
通过数据库网关将本地IDC或第三方云的数据库接入至...
详细的原理介绍请参见 工作原理。操作步骤 登录 数据库网关控制台。说明 首次使用数据库网关时会跳转至 云产品开通 页面，请阅读并同意数据库网关服务协议后，单击 立即开通。单击 新建网关。在弹出的对话框中，填写网关名称和备注信息，...
文档修订记录
EMR Hive数据整库离线同步至MaxCompute 2023.4.17 优化体验 管理控制 在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
备份集最小保留策略
工作原理 DBS根据客户设置的备份集生命周期进行备份集的转储和清理。DBS允许客户手动删除最旧的备份集和最新的备份集，但中间的备份集不支持删除，以确保备份数据的连续性。DBS默认保留3份最新的备份集。如果客户手动删除备份集，系统会...
DataWorks数据集成
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
入门概述
以下使用流程可帮助您快速了解和使用 Web 版 ODC：顺序 操作 说明 1 登录 Web 版 ODC 在 OceanBase 管理控制台页面的左侧导航栏中，单击 数据研发 按钮即可直接登录 Web 版的 ODC，后续对数据库的数据源配置以及保存工作区的 SQL 脚本等...
使用DBS和DG备份本地或第三方云数据库
详细的原理介绍请参见 工作原理。前提条件 已创建数据库网关。创建方法请参见 新建数据库网关。已在网关中添加目标数据库。添加方法请参见 添加数据库。已创建DBS备份计划。创建方法请参见 购买备份计划。注意事项 确保网关程序所在的机器...
使用DBS和DG备份本地或第三方云数据库
详细的原理介绍请参见 工作原理。前提条件 已创建数据库网关。创建方法请参见 新建数据库网关。已在网关中添加目标数据库。添加方法请参见 添加数据库。已创建DBS备份计划。创建方法请参见 购买备份计划。注意事项 确保网关程序所在的机器...
有数BI
③ 控件配置区 在画布区选中已添加的控件时，此区域会显示该控件的配置项，您可将数据区的字段拖至控件配置区，即可绘制图表。④ 数据区 此区域显示可使用的数据模型及其字段。关于有数BI可视化报告的更多信息，请参见 数据分析和可视化。
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
概述
本文介绍了Serverless的工作原理、核心优势和适用场景。背景 数据库是现代企业IT系统中非常重要的一部分。在创建数据库时，客户往往需要比较保守地去配置数据库集群的资源，包括CPU、内存、存储以及连接数等多种参数配置，以确保业务能够在...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
概述
工作原理 在 PolarDB 控制台上设置完脱敏规则后，控制台会将规则写入至Proxy中。当应用程序通过规则中指定的账号连接至数据库并查询规则中指定的列时，Proxy会先将数据库返回的数据脱敏转换，再将脱敏后的数据返回给客户端。上图的脱敏规则...
如何使用DataV Proxy
DataV Proxy应用工作原理 将加密的SQL查询字符串和数据库ID值传递给应用程序。由该应用程序连接到数据库，获取查询结果。将查询结果返回到DataV页面。启动DataV Proxy应用 Windows：下载 DataV Proxy应用安装包。解压后双击打开 datav_...
多可用区部署
传统的主备容灾概述 传统的主备容灾为了实现高可用性，通常的原理是分别在两个不同的可用区（可用区A和可用区B）中购买一个Lindorm实例（主实例1和备实例2），使用数据通道服务（简称LTS）实现Lindorm实例间的双向同步。当主实例1发生故障...
添加访问地址
原理介绍 OceanBase 数据库在数据库和应用程序之间提供网络代理服务，您可以根据业务需求在代理层添加只读地址和读写分离地址，充分利用 OceanBase 数据库的多副本能力，提升业务系统的执行效率。OceanBase 数据库的读写分离是指将数据库的...
网易有数BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接MaxCompute项目，并进行可视化数据分析。背景信息 网易有数BI是新一代敏捷数据可视化分析平台，是包含...
建模空间
当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时，面对跨多个工作空间的复杂数据体系，可以通过设计空间来共享一套数据建模工具，针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...
如何实现恢复数据一致性
工作原理 针对逻辑备份方式，全量备份为了尽可能降低对数据库性能影响，采用无锁备份方式，并行拉取数据并备份到OSS上，全量备份会产生不同时间点数据，在数据恢复时，先恢复全量备份数据，然后恢复增量备份数据，利用增量备份恢复的幂等性...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
- 产品推荐
- 这些文档可能帮助您