创建数据脱敏场景
说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes 查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。MaxCompute引擎层脱敏 通过...
SQL 条件过滤数据
本文为您介绍创建数据迁移或数据同步项目时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
离线同步数据质量排查
或者下游在查询使用数据时，分区表达式没有正确赋值，查询使用了错误的分区数据。检查数据同步任务的调度变量表达式，即调度参数配置是否符合预期，调度时参数替换值是否符合预期。数据类型、时区问题 您的源头表数据类型、数据范围和目标...
选型配置说明
E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...
常见问题
对比项 DAS企业版 V3 DAS企业版 V2 DAS企业版 V1 DAS企业版 V0 计费项 采用按量计费的模式，计费项为：数据引入 实时搜索分析 洞察分析 数据热存储 数据冷存储 数据查询 数据导出 企业版 V3在冷热存储混合的基础上，按使用的功能细分计费项...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
公共规范
时间类型数据使用STRING类型（如果有特殊的格式要求，可以选择性使用DATETIME类型）。状态使用STRING类型。公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{...
数据服务概述
Dataphin数据源可以作为 Quick BI 的数据源，对业务数据进行展示、分析、探查和制作报表等 场景及使用流程 在开始使用数据服务前，需要您了解数据服务的使用场景，及在不同场景下对应角色的操作流程。入口介绍 在Dataphin首页，单击 服务，...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
数据字典
在数仓开发和数据分析过程中，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表时，您可以通过使用数据字典来替代维度表实现，避免使用Join语句，从而提升查询效率。注意事项 以下版本的 云数据库ClickHouse 集群不支持...
【通知】数据可视化（老）功能下线通知
若您正在使用数据可视化（老）功能进行数据分析，建议在功能下线前将数据集、图表和仪表盘迁移到数据分析功能。下线时间 2024年04月01日：针对部分用户，下线访问数据可视化（老）功能。说明 部分用户指在2023年04月01日至2024年04月01日这...
如何处理Tair集群数据倾斜
但在使用数据库的过程中，可能会由于前期规划不足、不规范的数据写入及突发的访问量，造成数据量倾斜或数据访问倾斜，最终引起数据倾斜。说明 数据倾斜通常是指大多数据分片节点的性能指标较低，而个别节点的性能指标较高的情况，高或低...
如何处理Redis集群数据倾斜
但在使用数据库的过程中，可能会由于前期规划不足、不规范的数据写入及突发的访问量，造成数据量倾斜或数据访问倾斜，最终引起数据倾斜。说明 数据倾斜通常是指大多数据分片节点的性能指标较低，而个别节点的性能指标较高的情况，高或低...
导出数据
未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到文件中，该水印信息数据使用者可以直接看到。在弹出的 生成工单成功 对话框中，单击 查看工单。在工单详情页 预检查 区域，确认 影响行数 ...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
内置检测模型说明
异常终端下载敏感数据 来自异常终端的数据下载可能是由于账号访问权限被外部攻击者获取，或者员工使用非工作终端进行数据下载。异常时间下载敏感数据 来自异常时间的数据下载可能是由于账号访问权限被外部攻击者获取，或者员工在非正常工作...
【通知】控制台全新升级
功能模块 变更说明 工作台 新增工作台，为用户使用数据安全中心提供全流程配置指引，包括资产同步、资产授权管理、数据识别以及数据审计配置，流程化产品配置链路，提升资产配置效率；同时为用户提供全局敏感数据风险态势，洞察敏感数据...
他云/自建数据库录入
不开启（不推荐）：不开启托管需要频繁使用数据库账号和密码登录，可能会影响正常功能使用。数据库账号 输入目标数据库的登录账号。DMS将通过此账号对数据进行读、写或其他操作，请提供具有相关权限的账号。数据库密码 输入目标数据库账号...
使用数据传输同步数据
本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
数据上传
本文为您介绍如何使用数据上传功能上传数据。使用限制 数据来源限制：仅支持上传 本地文件、DataWorks数据分析的电子表格、阿里云对象存储OSS 的数据。本地文件：支持 CSV、XLSX 格式，CSV 文件最大支持上传数据的数据量为5GB，XLSX 文件...
云数据库录入
不开启（不推荐）：不开启托管需要频繁使用数据库账号和密码登录，可能会影响正常功能使用。数据库账号 当为实例开启安全托管，并是首次登录实例，则需要输入需要登录的数据库账号。说明 DMS将通过该账号对数据进行读、写或其他操作，请...
数据归档OSS
使用数据归档功能 通过如下步骤，您可以开启数据归档功能，并使用数据归档功能来实现在线数据库与冷存数据库之间的转换。步骤一：开启 数据归档 在实例售卖页或实例详情页开启该功能：实例售卖页 点此打开RDS实例新版创建页面。选择存储...
数据服务概述
因此在使用数据服务前，请先开通 API网关。更多API网关信息，请参见 产品简介。使用场景 最小粒度的数据输出控制 当企业需要对外提供数据时，可以使用调用API的方式，该方式可帮助用户仅暴露最小单元的数据（可控制到行级、列级）。使用API...
数据迁移操作指导
数据迁移流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据迁移的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS迁移数据前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的要求。2....
迁移方案概览
说明 数据迁移在某些场景下可实现部分数据同步的功能，但数据同步的网络稳定性更好、功能更丰富，推荐您使用数据同步功能。更多区别，请参见 数据迁移和数据同步的区别是什么。迁移链路均支持跨地域的任务。是否支持创建跨阿里云账号的迁移...
我是安全管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
我是DBA
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
功能特性
调整数据库文件存储的使用场景-修改DBFS性能等级 在使用数据库文件存储的过程中根据业务负载的变化，调整数据库文件存储的性能级别，来平衡性能和成本-DBFS快照 DBFS手动快照 数据库文件存储快照基于云盘快照，它是一种便捷高效的数据容灾...
HBase Shell使用介绍
通过Shell工具可以对云数据库HBase进行数据管理，包括建表、插入数据、删除数据和删除表等操作，本文介绍Shell的基本使用命令。访问配置 如果使用的是云数据库HBase标准版，基本环境的配置操作请参见 使用HBase Shell访问HBase标准版。如果...
我是管理员
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
Data Copilot智能助手
其结合了 DMS 熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理数据。本文为您介绍如何使用DMS Data Copilot。功能特性 将自然语言生成规范的SQL，降低SQL编写门槛，提升SQL...
SQL Console初体验
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
常见问题
什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请如实填写公司信息），审批通过后即可访问数据湖构建的控制台。注意，子账号无法申请产品公测权限。数据湖构建如何收费？公测...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
- 产品推荐
- 这些文档可能帮助您