数据库代理常见问题
数据库代理地址的前缀和端口都可以修改，具体操作，请参见 设置数据库代理连接地址。数据库代理对用户的连接数有限制吗？支持多少并发连接？数据库代理本身并没有最大连接数的限制，连接数的限制是由数据库中计算节点的规格决定。当前数据...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
导入概述
如果单表的数据量特别大，或者需要做为全局数据字典来精确去重可以考虑使用 Spark Load。实时数据导入：日志数据和业务数据库的Binlog同步到Kafka后，优先推荐通过 Routine Load 导入StarRocks。如果导入过程中有复杂的多表关联和ETL预处理...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
什么是云数据库MongoDB版
数据库（Database）：等同于关系型数据库中的数据库概念，一个数据库中可以包含多个集合。您可以在MongoDB中创建多个数据库。为什么选择云数据库MongoDB版 详情请参见 产品优势 和 应用场景。学习路径 您可以通过 云数据库MongoDB版学习...
常见问题
Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major compaction 周期默认为20天。例如，冷热分界...
常见问题
Redis CSRF漏洞分析及云数据库Redis版安全措施介绍 云数据库Redis集群版与原生Redis集群版有什么区别？网络与连接 如何获取Redis实例的连接地址和实例ID 如何通过redis-cli连接Redis 云数据库Redis版支持Jedis等通用的Redis客户端吗？连接...
表设计规范
这使得数据结构变得灵活、易于扩展，数据一致性得到了增强，数据加工者可以更加方便地管理数据。此方式仅可应用于数据基础层。数据导入通道与表设计 通道类型有以下几种：DataHub 规划写入的分区与写入流量之间的关系。数据达到64 MB会执行...
数据脱敏
通过配置数据脱敏规则，您可以脱敏审计日志中的银行卡号、手机号码、身份证号等敏感信息，防止在SQL语句或返回结果中泄漏敏感数据。本文介绍如何配置数据脱敏规则。背景信息 数据库审计系统提供10条内置的数据脱敏规则，并默认启用所有内置...
数据变更最佳实践
写入报错时，需要做重试确保数据被写入，重试导致的数据重复可以通过表的主键来消除。更新数据 AnalyticDB MySQL版 提供多种数据更新方式，建议如下：数据更新频率高、基于主键的行级覆盖更新且应用可以补齐所有列，可通过 REPLACE INTO ...
SLS的OSS投递数据源
在 SLS的OSS投递数据源 页签，根据页面提示进行参数配置，配置说明如下：参数 说明 数据源配置 您可以通过以下两种方式选择数据源：自动发现：您无需做任何配置，自动发现所有Project的OSS投递，当有新的OSS投递设置时，在下一次执行时可以...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
快速入门
空间构建平台是一个独立的平台，该平台作为城市空间构建模块，可自定义实现空间数据编辑，并将空间数据项目运用在三维城市构建器中。本文为您介绍如何快速使用空间构建平台。前提条件 已 开通DataV服务。说明 空间数据构建平台仅支持 DataV...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
快速入门
空间构建平台是一个独立的平台，该平台作为城市空间构建模块，可自定义实现空间数据编辑，并将空间数据项目运用在三维城市构建器中。本文为您介绍如何快速使用空间构建平台。前提条件 已 开通DataV服务。说明 空间数据构建平台仅支持DataV...
概述
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
我是普通用户
获取权限后，可以在 SQLConsole 中执行SQL，并可以做可视化查看结果集、编辑结果集等操作。详情请参见 SQL窗口、跨库查询。可对数据进行变更、执行导入导出等操作。详情请参见 数据变更、数据导出、数据导入。支持普通用户的功能总览 类目 ...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
外部数据
不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程数据可能需要在外部数据源的授权。这些信息通过一个用户映射提供，它基于当前的本数据库角色提供了...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据...
DMS
使用DMS连接 云原生数据仓库AnalyticDB PostgreSQL版 数据库可以使得开发人员更专注于应用程序开发和业务需求，而无需过多关注底层数据库的管理和维护。功能简介 数据管理（Data Management Service，简称DMS）支持MySQL、SQL Server、...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
公共规范
将出现大量空值和零值的统计汇总表，依据其空值和零值分布状况可以做适当的水平和垂直切分，以减少存储和下游的扫描数据量。空值处理原则 汇总类指标的空值：空值处理，填充为零，当前MaxCompute基于列存储的压缩技术不会由于填充大量空值...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据集成>离线集成。说明 若您使用的是非极简模式的控制台，在顶部菜单栏中，选择 ...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
- 产品推荐
- 这些文档可能帮助您