迁移方案概览

数据迁移功能帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型,以及具体的配置文档。说明 数据迁移在某些场景...

应用场景

应用程序只需配置一个连接地址,无需修改代码即可将业务平滑扩展到更多地域,从1个数据中心,扩展到2个、3个甚至更多的数据中心上海、深圳的集群规格无需与北京保持一致,可以灵活选择。部署流程 创建一个GDN,将已有集群作为GDN中的主...

DataWorks On CDP/CDH使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心数据保护伞、审批中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全...

通过DSC实现DMS数据分类分级

数据安全中心DSC(Data Security Center)支持从数据合规和业务需求等多角度对数据价值、属性、敏感性进行分类分级,以便企业针对不同数据进行更标准更细粒度的保护和风险调控。数据管理DMS(Data Management)是覆盖数据全生命周期的一站...

同步方案概览

数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

创建MySQL数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

查看数据分类内置模型

Dataphin系统内置了数据分类的模型,以便用于识别规则创建。本文为您介绍如何查看数据分类的内置模型。内置模型入口 在Dataphin首页,单击顶部菜单栏 资产。按照下图指引,进入 内置模型查看 页面。查看数据分类内置模型 系统内置通用和...

管理数据分类目录

数据分类目录用于从业务或组织架构视角出发,对数据进行分类、分层管理。本文为您介绍如何创建及管理数据分类目录。权限说明 安全管理员可新建、编辑、删除数据分类目录。使用限制 数据分类目录层级不超过10级。新建数据分类目录 在...

识别任务说明

文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度,数据安全中心对可以扫描的文件大小或表的字段大小做了限制,请您在进行敏感数据扫描前了解以下规则:结构化数据(RDS MySQL、RDS PostgreSQL、PolarDB等)、大数据...

公开数据集概述

项目名称 BIGDATA_PUBLIC_DATASET Schema名称 national_data 可用地域 华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)表名称与说明 annual_gdp_by_province(中国年度省GDP数据)annual_...

新建及管理数据分类

数据分类用于定义数据在安全领域的业务属性,可对数据进行多级分类打标,更贴合行业标准,本文为您介绍如何新建及管理数据分类。权限说明 安全管理员可新建、编辑、删除数据分类。新建数据分类 在Dataphin首页,单击 资产。按照下图指引,...

配置敏感数据分类分级

数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分,不同敏感级别的数据其管控原则和数据开发要求存在差异,划分分类分级后,后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...

支持的地域

例如,华东2(上海)地域表示数据中心所在的城市是中国-上海。如何选择地域 重要 您在创建或者购买阿里云资源时需要选择部署地域,资源创建或购买成功后不能更换地域。选择地域时,您需要考虑如下几个因素:考虑因素 选择说明 多个产品之间...

阿里云自研的Proxy命令

说明 该命令返回的Node是指集群规格下的数据分片节点,和 SELECT 命令中的DB不是同一个概念。命令示例:INFO KEY foo 返回示例:slot:12182 node_index:0 IINFO 命令格式:IINFO db_idx[section].命令描述:与Redis原生 INFO 命令类似,...

阿里云自研的Proxy命令

说明 该命令返回的Node是指集群规格下的数据分片节点,和 SELECT 命令中的DB不是同一个概念。命令示例:INFO KEY foo 返回示例:slot:12182 node_index:0 IINFO 命令格式:IINFO db_idx[section].命令描述:与Redis原生 INFO 命令类似,...

Redis Proxy特性说明

说明 您可以在控制台的性能监控页面选择 数据节点,然后将自定义监控项设置为 Pub/Sub监控组,即可查看各数据分片(默认展示第一个数据分片)中发布与订阅(Pub/Sub)相关命令的监控信息。具体操作,请参见 查看性能监控。阿里云自研的命令...

Tair Proxy特性说明

说明 您可以在控制台的性能监控页面选择 数据节点,然后将自定义监控项设置为 Pub/Sub监控组,即可查看各数据分片(默认展示第一个数据分片)中发布与订阅(Pub/Sub)相关命令的监控信息。具体操作,请参见 查看性能监控。阿里云自研的命令...

如何处理Tair集群数据倾斜

在 Tair 集群中,若个别数据分片节点(Data Node)的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片,该 Tair 集群可能已产生数据倾斜。数据倾斜严重时,会导致实例在整体内存使用率不高的情况下,发生内存逐出...

如何处理Redis集群数据倾斜

在 Redis 集群中,若个别数据分片节点(Data Node)的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片,该 Redis 集群可能已产生数据倾斜。数据倾斜严重时,会导致实例在整体内存使用率不高的情况下,发生内存逐出...

集群版-双副本

代理模式 代理(proxy)模式,客户端的请求通过代理服务器转发到各数据分片,代理节点、数据分片和配置服务器均不提供单独的连接地址,降低了应用开发难度和代码复杂度。代理节点会自动对其实现负载均衡、路由转发及故障转移等。关于Proxy...

概述

数据内容安全管理 安全中心提供的数据分级分类、敏感数据识别、数据访问审计、数据源可追溯等功能,在处理业务流程的过程中,能够快速及时识别存在安全隐患的数据,保障了数据内容的安全可靠,详情请参见 数据保护伞。安全诊断的最佳实践 ...

存储层高可用

读写高可用 AnalyticDB使用Multi-Raft方式管理数据分片,每个数据分片由三副本组成,分片内基于Raft协议进行Leader选举、日志复制和状态机日志应用。三副本的多数派存活是保证数据读写高可用的关键,优势在于可允许1个副本所在节点发生宕机...

集群架构

代理模式 代理(proxy)模式,客户端的请求通过代理服务器转发到各数据分片,代理服务器、数据分片和配置服务器均不提供单独的连接地址,降低了应用开发难度和代码复杂度。代理节点会自动对其实现负载均衡、路由转发及故障转移等。关于...

数据脱敏

本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响?没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置,不会对源数据进行改动。是否支持脱敏图片类型的数据?不支持。

集群版-单副本

集群版-单副本采用代理(proxy)集群模式,数据分片为单节点架构,可为您提供高性能的存储服务。警告 单副本架构不能保障数据可用性和服务连续性,选用前请务必确认风险,不建议您在生产环境中使用该架构的实例。云数据库Redis版...

设置数据分片以充分利用Shard性能

您可以对分片集群实例中的集合设置数据分片,以充分利用Shard节点的存储空间和计算性能。背景信息 如果没有对集合设置数据分片,数据将被集中存放在一个Shard节点中,这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 ...

使用MongoDB工具将自建数据库迁移至片集群实例

步骤二:设置数据分片(可选)没有设置数据分片的情况下,数据将被集中写入到Primary Shard节点中,导致其他Shard节点的存储空间和计算性能无法被充分利用。如需设置请参见 设置数据分片。说明 您可以在迁移前,在目标MongoDB实例中建立...

发现并处理大Key和热Key

集群架构下,产生访问倾斜,即某个数据分片被大量访问,而其他数据分片处于空闲状态,可能引起该数据分片的连接数被耗尽,新的连接建立请求被拒绝等问题。在抢购或秒杀场景下,可能因商品对应库存Key的请求量过大,超出 Tair 处理能力造成...

发现并处理Redis的大Key和热Key

集群架构下,产生访问倾斜,即某个数据分片被大量访问,而其他数据分片处于空闲状态,可能引起该数据分片的连接数被耗尽,新的连接建立请求被拒绝等问题。在抢购或秒杀场景下,可能因商品对应库存Key的请求量过大,超出Redis处理能力造成...

产品更新动态

2023年9月 发布时间:2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块,用户可以在数据中心连接和管理数据库,并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...

管理分类分级模板

分类分级模板从模板维度为数据提供自动分类分级能力。给实例绑定模板后,系统会根据模板内的识别规则对实例中库表的字段进行分类分级扫描,判断是否有符合该规则的敏感字段并且给字段打上分类分级的标签,还可以保护(例如:敏感列权限访问...

DataWorks模块使用说明

使用流程概览:参考文档:数据集成概述 数据建模与开发 子模块:数据建模 功能说明:数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行...

系统架构

云数据库Memcache版内置数据分片及读取算法,整体过程对用户透明,免去用户开发及运维烦恼。每个分片节点采取主备架构保证服务高可用。系统架构 云数据库 Memcache 版由 Proxy 服务器(服务代理)、分片服务器和配置服务器三个组件组成。...

调整实例的片数量

相关API API接口 说明 AddShardingNode 为 Tair(Redis企业版)集群实例添加数据分片节点。DeleteShardingNode 删除 Tair(Redis企业版)集群实例中的数据分片节点。相关文档 Tair(Redis企业版)经典部署 集群架构实例,调整分片数量,请...

管理数据分级

数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页,单击顶部菜单栏 资产。按照下图指引,进入 新建数据分级 对话框。在 新建数据分级 对话框,配置参数。参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字...

调整实例的片数量

相关API API接口 说明 AddShardingNode 为Redis集群实例添加数据分片节点。DeleteShardingNode 删除Redis集群实例中的数据分片节点。相关文档 Redis社区版 支持根据实例的内存平均利用率,自动增加分片,保障业务安全稳定,更多信息请参见 ...

数仓分层

在阿里巴巴的数据体系中,我们建议将数据仓库分为三层,自下而上为:数据引入层(ODS,Operation Data Store)、数据公共层(CDM,Common Data Model)和数据应用层(ADS,Application Data Service)。数据仓库的分层和各层级用途如下图所...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用