需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
实验介绍
对象存储OSS 本案例中用于存储网站访问记录数据，案例已默认提供该OSS数据源基本信息，您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在...
快速体验
对象存储OSS 本案例中用于存储网站访问记录数据，案例已默认提供该OSS数据源基本信息，您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
其中前两者为OSS数据源、RDS数据源，用于访问本教程提供的测试数据（用户访问网站记录数据、用户信息数据）；最后一个是私有OSS数据源，用于接收来自前两者访问后所获取的测试数据。新建OSS数据源 进入数据源页面。登录 DataWorks控制台，...
使用须知
本文介绍使用Lindorm计算引擎SQL语句访问数据库的数据时，需要提前了解的相关内容。了解开源Spark SQL 通过开源Spark SQL访问数据库的数据分为以下三个级别：Catalog：用来标识用户不同的数据源。Namespace：与数据库中的Database或者...
权限设置
E-MapReduce中如同时开启引擎（如Hive/Spark/Presto/Impala）的权限控制，则通过这些引擎访问数据时，如用户未设置权限，则无法访问对应数据。如何开启EMR中DLF-AUTH权限，请参考 EMR DLF-AUTH。说明 权限关闭后，访问元数据和数据将不再...
Spark常见报错
例如：访问RDS MySQL数据时，数据源中的数据类型为允许为空的 SHORT INT，映射到 AnalyticDB for MySQL 表中的类型是 INT。解决方法：修改 AnalyticDB for MySQL 中表的数据类型，确保JDBC数据源中允许为空的数据列类型也可以被正确的映射...
概述
由于这些不同的业务数据之间需要交互，为了实现这两个数据库之间双向的数据访问，您可以创建 PolarDB PostgreSQL版（兼容Oracle）（A）到 PolarDB PostgreSQL版（兼容Oracle）（B）的DBLink和 PolarDB PostgreSQL版（兼容Oracle）（B）到 ...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
概述
其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限申请、权限审批、权限审计等功能，实现了权限最小化管控，同时，方便您查看权限审批流程各环节的进展，及时跟进处理流程，详情请参见 MaxCompute数据访问权限控制。...
申请安全访问代理授权
如果您需要访问开启了安全代理的数据库，可以主动申请数据库实例的安全访问代理授权，申请通过后，您将得到可以访问数据库实例的认证信息。本文介绍申请安全访问代理授权的方法。前提条件 实例已开启安全访问代理。开启方法，请参见 开启...
开启安全访问代理
数据管理DMS的安全访问代理可以为访问数据库带来更全面的安全保障。实例开启安全访问代理后，您可以使用标准的MySQL、HTTPS协议，通过命令行、数据库管理工具或程序代码直接连接安全访问代理生成的地址，安全地访问目标实例。前提条件 支持...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护...
存储费用
日存储量平均值=采集到的存储量之和÷24 低频存储 日存储费用=日存储量平均值×单价 数据访问费=数据访问量×单价 低频存储计费单价如下：公共云：0.00266元/GB/天。金融云：0.00505元/GB/天。低频存储数据访问费单价如下：公共云：0.04元/...
授予安全访问代理权限
经授权后，除了可以在DMS中使用该数据库，您还可以通过安全访问代理生成的代理地址访问该数据库实例。请参考文档进行授权操作。前提条件 实例已开启安全访问代理。开启方法，请参见 开启安全访问代理。系统角色为管理员、DBA或实例Owner。...
访问控制
访问控制是指DMS中可以对查看与访问数据库、实例权限进行控制的功能，进一步保障企业的数据安全。背景信息 DMS作为企业内数据库统一管理入口，已为不同用户提供了访问不同数据的管控权限。DMS新推出的元数据访问控制功能将进一步加强企业的...
访问实例
Lindorm通过访问实例满足大量数据库读取需求，本文介绍如何从Lindorm控制台获取Lindorm消息引擎Kafka访问地址。获取连接地址 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID或者目标实例所在...
限制说明
使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版作为数据库缓存的效果不明显。在选择缓存时，需要充分考虑到业务模式对数据访问的要求。数据删除...
访问控制权限概述
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行等进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作权限...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
配置语句规则
访问来源 来源IP 访问数据库来源IP地址，如：192.168.XX.1~192.168.XX.128。如果需要所有来源都允许访问数据库，IP地址可设置为0.0.0.0~255.255.255.255。数据库用户 数据库所使用的用户名。客户端工具 访问数据库所使用的客户端工具名称。...
开通免费试用
数据库审计支持3个数据库实例7天免费试用的活动，本文介绍如何开通数据库审计免费试用。限制条件 开通数据库审计免费试用需要满足以下条件：需要使用阿里云账号申请、开通数据库审计试用。每个阿里云主账号最多可申请2次免费试用。开通试用...
分层存储
日存储量平均值=采集到的存储量之和÷24 低频存储 日存储费用=日存储量平均值×单价 数据访问费=数据访问量×单价 低频存储计费单价如下：公共云：0.00266元/GB/天。金融云：0.00505元/GB/天。低频存储数据访问费单价如下：公共云：0.04元/...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
应用场景
RDS云数据库审计 通过在用户PC（该PC通过数据库运维工具直接连接RDS数据库）或访问数据库的应用系统服务器上部署Agent，获取访问日志数据用于日志审计，实现对RDS云数据库的审计。说明 关于数据库审计系统（C100）如何部署Agent，请参见 ...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
数据归档
功能优势 开启RDS MySQL通用云盘的数据归档OSS功能后，借助OSS海量、安全、低成本、高可靠的特性，用户能够在RDS MySQL上实现极低成本的归档数据存储，在具备InnoDB事务能力之上支持低频的数据访问，数据存储成本相较于ESSD PL1云盘下降80%...
通过外表导入至数仓版
Storage API方式与Tunnel方式的区别如下：访问方式 集群版本 地域 费用 数据访问效率 Tunnel方式 无限制 无限制 免费 使用公共数据传输服务资源组，该资源会被该地域所有项目共享使用，数据访问和导入速度慢。Storage API方式 3.1.10.2及...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
数据归档
功能优势 开启用RDS PostgreSQL数据归档功能后，利用OSS的海量、安全、低成本和高可靠特性，您可以在RDS PostgreSQL上实现极低成本、无限容量的归档数据存储，并支持低频数据访问。相较于ESSD PL1云盘，数据存储成本下降了80%。说明 数据...
Serverless模式
一存多读的使用模式，打破了传统数仓之间数据访问需要先导入再访问的孤岛，简化操作，提高效率，降低成本。注意事项 不是所有地域和可用区都支持购买Serverless模式实例，若当前地域和可用区不支持购买，请更换地域和可用区。支持购买...
管理访问控制权限
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行、元数据等进行访问控制权限管理。本文对DMS提供的访问控制权限进行介绍。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作...
什么是数据库代理
RDS MySQL数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求。您可以连接数据库代理访问地址使用数据库代理的各项功能，以简化RDS MySQL数据库实例的连接管理。RDS MySQL数据库代理...
- 产品推荐
- 这些文档可能帮助您