创建和管理交换机
如果交换机有和其他VPC的交换机或本地数据中心通信的需求，请确保交换机的网段和要通信的网段不冲突。说明 交换机创建成功后，不能再修改网段。IPv6网段 为交换机开启IPv6网段并配置交换机的IPv6网段。说明 如果您的VPC已分配IPv6网段，则...
搭建IPv4专有网络
如果交换机有和其他VPC的交换机或本地数据中心通信的需求，请确保交换机的网段和要通信的网段不冲突。说明 交换机创建后，不能再修改网段。IPv6网段 为交换机开启IPv6网段并配置交换机的IPv6网段。说明 如果您的VPC已分配IPv6网段，则需要...
数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
数据倾斜诊断
目前 AnalyticDB PostgreSQL版 支持的数据分布方式有如下三种：随机（RANDOMLY）分布 该分布方式的表无法充分利用数据的特征。例如，多表关联查询场景下无法采用本地关联（Collocated Join），从而导致查询性能不如采用基于分布键HASH值...
基于Delta lake的一站式数据湖构建与分析实战
常用的数据同步方式有基于DataX、Sqoop等数据同步工具做批量同步；同时在对于实时性要求较高的场景下，配合使用Kafka+spark Streaming/flink等流式同步链路。目前很多云厂商提供了一站式入湖的解决方案，帮助客户以更快捷更低成本的方式...
VPC开通IPv6
如果交换机有和其他VPC的交换机或本地数据中心通信的需求，请确保交换机的网段和要通信的网段不冲突。交换机网段不能与所属VPC路由表中路由的目标网段范围相同或大于该范围。重要 交换机创建后，不能再修改网段。IPv6网段 配置交换机的IPv6...
搭建IPv6专有网络
如果交换机有和其他VPC的交换机或本地数据中心通信的需求，请确保交换机的网段和要通信的网段不冲突。说明 交换机创建后，不能再修改网段。IPv6网段 配置交换机的IPv6网段。交换机的IPv6网段的掩码默认为/64，您可以输入十进制数字0~255，...
搭建IPv6专有网络
如果交换机有和其他VPC的交换机或本地数据中心通信的需求，请确保交换机的网段和要通信的网段不冲突。说明 交换机创建后，不能再修改网段。IPv6网段 配置交换机的IPv6网段。交换机的IPv6网段的掩码默认为/64，您可以输入十进制数字0~255，...
使用DataWorks
背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，在DataWorks界面以可视化方式配置数据来源、去向及字段的映射关系等信息，完成数据导出操作。脚本模式：创建离线同步节点后，将DataWorks可视化界面切换至脚本模式...
配置数据源网络
在该ECS实例的 实例详情 页面查看安全组ID和虚拟交换机ID，如下图所示：方法2：使用目标数据源已有的交换机ID和安全组ID 您可以在目标数据源的基础信息页面获取交换机ID和安全组ID，以E-MapReduce为例：当目标数据源的基础信息页面中不存在...
交换机开通IPv6
如果交换机有和其他专有网络的交换机或本地数据中心通信的需求，请确保交换机的网段和要通信的网段不冲突。交换机网段不能与所属VPC路由表中路由的目标网段范围相同或大于该范围。重要 交换机创建后，不能再修改网段。IPv6网段 交换机的IPv...
数据变更最佳实践
删除数据、分区、表 AnalyticDB MySQL版 有多种删除数据的方式，建议如下：数据删除频率低、基于主键为条件的删除，可通过 DELETE FROM WHERE PK='xxx' 删除数据。数据删除频率低、基于任意条件的删除，可通过 DELETE 删除数据。通过 ...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
Github实时数据同步与分析
如果想要做更长时间的数据分析，有两种方式：使用外部表查询，在不导入 数据 的情况下，使用Hologres直接查询MaxCompute数据。使用内部表查询，将历史数据通过0 ETL的形式快速导入Hologres，获得更快的查询速度。重要 Github每日数据量约为...
调试实时任务
调试方式说明 本地调试方式：即不通过集群进行调试，调试的数据非流式数据。该方式调试速度较快，但操作较为繁琐，需要手动上传或填写数据，仅支持特定的数据源进行自动采样。Session集群调试方式：即通过Session集群进行调试，调试的数据...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
数据源支持概述
支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 Druid 无 无 无 有 Redis 无 无 无 有 Kudu 有 有 无 有 DTS 有...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
导入概述
Stream Load Broker Load Insert Into Routine Load Spark Load JSON格式导入 支持的数据格式 不同导入方式支持的数据格式略有不同。导入方式 支持的格式 Broker Load Parquet、ORC、CSV、GZIP Stream Load CSV、GZIP、JSON Routine Load ...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
数据可视化概览
基本介绍 基于典型的数据集、图表、仪表盘或大屏三层模型，将数据库表中的数据以各种形式的可视化方式展现出来。您可以将单条SQL数据以折线图、饼图、柱状图、环形图、表格、双轴图、漏斗图等常见图表的形式展现出来。再通过仪表盘或大屏，...
生成测试数据
数据冲突处理方式 选择当生成的数据有冲突时处理的方式。ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。...
产品安全能力
数据脱敏 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后...
功能特性
数据开发 DataWorks DataStudio 数据分析 SQL查询 SQL查询功能支持通过编写SQL语句的方式对有查询权限的数据源进行快速的数据查询与分析。数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
计费概述
计费方式 DTS服务的计费方式有包年包月、按量付费和Serverless，不同实例的计费方式不同。计费方式详情请参见 计费方式。说明 DTS专属集群的计费详情请参见 DTS专属集群计费方式。转换计费方式 在购买DTS实例后，如果发现当前计费方式无法...
通过VPN网关实现本地IDC与DTS云服务互通
企业可以通过公网网络类型的VPN网关在本地数据中心和VPC之间建立IPsec-VPN连接，实现本地数据中心和VPC之间的加密互通，然后在本地数据中心和VPC之间加密互通的基础上使用DTS实现本地数据中心下的数据自动同步至VPC的数据库中。前提条件 您...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
新建 Kafka 数据源
请根据业务需求，选择 VPC 内部署 或 跨网络部署，并在 交换机 下拉列表中选择 Kafka 服务所有 bootstrap server 和 broker server 所在的交换机。同时，请将交换机网段一并加入至当前 VPC 的安全组白名单内。交换机（vSwitch）是组成专有...
行业趋势与背景
从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据永远不会丢，即使主机异常宕机，这里需要有数据强一致以及高可用容灾等能力；比如随着移动互联网和IoT的普及，数据层面会有爆炸式的增长，以及疫情之后有更多的企业会...
基本概念
术语 说明 高速通道（Express Connect）阿里云高速通道（Express Connect）帮助您在专有网络（VPC）与本地数据中心之间建立私网通信通道，提高网络拓扑的灵活性和跨网络通信的质量和安全性。专有网络（Virtual Private Cloud,VPC）专有网络...
通用参考：添加路由
如果您的数据源已开启白名单，或者所在安全组有端口访问限制，请确保已经允许独享资源组的弹性网卡IP访问。获取独享资源组相关白名单详情请参见 使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。请确保数据存储服务正常运行，...
内存型
企业级特性 企业级特性 说明 通过数据闪回按时间点恢复数据 开启Redis的数据闪回功能后，Redis最长可将AOF备份数据保留7天，在此期间您随时可以指定一个精确到秒的时间点，系统会基于所选时间点的备份数据创建一个新的实例，实现精确的数据...
创建实例
重要 实例创建成功后，您可以更改数据引擎的节点规格和数量、开通未购买的数据引擎，但无法关闭已开通的数据引擎。选择 存储容量。存储容量决定了您的实例可以存储多少数据。不同存储类型，存储容量的设置有所不同。存储类型为标准型云存储...
创建Oracle数据订阅任务
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文为您介绍如何创建Oracle数据订阅任务。前提条件 自建Oracle数据库的版本为9i、10g、11g版本，暂不...
内存型
数据结构模块集成 集成多个自研的数据模块，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，扩展了Redis的适用性，使业务无需再关心存储的结构和时效性，能够极大...
创建PolarDB PostgreSQL版数据订阅任务
若您的数据订阅客户端部署在专有网络上，则建议选择与客户端一致的 专有网络 和 虚拟交换机。通过内网地址进行数据订阅时，网络延迟最小。配置完成后，单击页面右下角的 测试连接以进行下一步。如果源数据库是阿里云数据库实例（例如 RDS ...
- 产品推荐
- 这些文档可能帮助您