数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
基于Delta lake的一站式数据湖构建与分析实战
常用的数据同步方式有基于DataX、Sqoop等数据同步工具做批量同步；同时在对于实时性要求较高的场景下，配合使用Kafka+spark Streaming/flink等流式同步链路。目前很多云厂商提供了一站式入湖的解决方案，帮助客户以更快捷更低成本的方式...
数据倾斜诊断
目前 AnalyticDB PostgreSQL版 支持的数据分布方式有如下三种：随机（RANDOMLY）分布 该分布方式的表无法充分利用数据的特征。例如，多表关联查询场景下无法采用本地关联（Collocated Join），从而导致查询性能不如采用基于分布键HASH值...
数据变更最佳实践
删除数据、分区、表 AnalyticDB MySQL版 有多种删除数据的方式，建议如下：数据删除频率低、基于主键为条件的删除，可通过 DELETE FROM WHERE PK='xxx' 删除数据。数据删除频率低、基于任意条件的删除，可通过 DELETE 删除数据。通过 ...
使用DataWorks
背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，在DataWorks界面以可视化方式配置数据来源、去向及字段的映射关系等信息，完成数据导出操作。脚本模式：创建离线同步节点后，将DataWorks可视化界面切换至脚本模式...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
定义敏感数据
变更存量数据为敏感数据 您可以通过 ALTER TABLE 方式对已有的数据表单独进行配置，将普通数据（明文）变更为敏感数据（密文），具体配置方式请参见 明文和密文的转换。下一步 完成定义敏感数据后，您就可以正式开始使用全密态数据库了，...
数据源支持概述
支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 Druid 无 无 无 有 Redis 无 无 无 有 Kudu 有 有 无 有 DTS 有...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可以单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
同步数据
本文介绍了多种同步数据的方式。分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自...
数据可视化概览
背景信息 DMS为您提供了数据库数据管理的能力，同时通过SQL Console控制台为您提供以表格形式查询数据的方式，但对于需要通过分析数据去发现业务特性，比如分析趋势、增长对比等场景，单纯的表格无法满足需求，需要把数据可视化才可以支撑...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
生成测试数据
数据冲突处理方式 选择当生成的数据有冲突时处理的方式。ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。...
导入概述
Stream Load Broker Load Insert Into Routine Load Spark Load JSON格式导入 支持的数据格式 不同导入方式支持的数据格式略有不同。导入方式 支持的格式 Broker Load Parquet、ORC、CSV、GZIP Stream Load CSV、GZIP、JSON Routine Load ...
产品安全能力
数据脱敏 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后...
功能特性
数据开发 DataWorks DataStudio 数据分析 SQL查询 SQL查询功能支持通过编写SQL语句的方式对有查询权限的数据源进行快速的数据查询与分析。数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持...
备份集查询功能概览
通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的要求，且技术成本较高。数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询...
计费概述
计费方式 DTS服务的计费方式有包年包月、按量付费和Serverless，不同实例的计费方式不同。计费方式详情请参见 计费方式。说明 DTS专属集群的计费详情请参见 DTS专属集群计费方式。转换计费方式 在购买DTS实例后，如果发现当前计费方式无法...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
更改 Topic
说明 同步 OceanBase 数据库的数据至 RocketMQ 时，仅支持 已有 Topic 的映射方式。同步 OceanBase 数据库的数据至 Kafka、DataHub 时，如果选择同步类型时未选择 结构同步，则仅支持选择 已有 Topic。如果选择同步类型时已选择 结构同步，...
外部表概述
以OSS为例，如果您需要在MaxCompute中处理OSS上的数据，通常有以下两种方式：通过OSS SDK或者其他工具从OSS下载数据，然后再通过MaxCompute Tunnel将数据导入表里。编写UDF，在UDF里直接调用OSS SDK访问OSS数据。但这两种方法都有不足之处...
查看数据复制方式
本文介绍如何查看RDS SQL Server主备实例之间的数据复制方式。使用限制 仅 高可用系列 和 集群系列 的实例支持查看数据复制方式。暂不支持修改数据复制方式。复制方式介绍 同步 应用发起的更新在主实例执行完成后，会将日志同步传输到备...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
查询和修改数据复制方式
您可以根据自身业务特点，设置RDS MySQL主备实例之间的数据复制方式，以提高云数据库可用性。前提条件 实例满足以下条件：MySQL 5.7、8.0高可用系列（本地SSD盘）MySQL 5.7、8.0高可用系列（ESSD云盘），且内核小版本必须大于或等于...
数据订阅操作指导
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
MMA概述
帮助您快速了解MaxCompute数据迁移的方式。分区过滤表达式说明 介绍分区过滤表达式的格式。帮助您在创建数据迁移任务时快速完成分区过滤的参数配置。迁移任务查看与操作 介绍数据迁移任务的查看与操作，及增量迁移方法。帮助您快速了解迁移...
添加HBase数据源
HBase数据源类型和添加方式 HBase数据源类型 添加HBase数据源的方式 云数据库HBase标准版 如果云数据库HBase标准版或者云数据库HBase增强版与LTS使用相同的专有网络ID，添加方法请参见 通过Lindorm控制台添加HBase数据源。如果云数据库...
修改数据复制方式
您可以根据自身业务特点，设置MyBase MySQL主备实例之间的数据复制方式，以提高数据库可用性。前提条件 实例要求如下：MySQL 8.0高可用版（本地SSD盘）MySQL 5.7高可用版（本地SSD盘）MySQL 5.6高可用版（本地SSD盘、ESSD云盘）复制方式...
交叉透视表
当透视表接口请求失败时 透视表接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
应用场景
为提升核心应用用户体验和稳定性，您可以通过DTS提供的数据订阅，将深耦合业务优化为通过实时消息通知实现的异步耦合，让核心业务逻辑更简单可靠，具体调整为：该场景中，买家下单系统只要完成下单操作，就直接返回，底层通过DTS的数据订阅...
交叉透视表
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
数据流运维
说明 调度触发：通过调度或指定时间的方式运行数据流。手动触发：通过手动单击试运行的方式运行数据流。单击 状态 列前的，查看数据流运行日志。在 操作 列中，单击 执行历史，查看数据流的 操作时间、操作人员 和 操作内容。在 操作 列中...
功能特性
查看敏感数据识别结果 识别订正 对数据识别任务识别出的数据，支持管理员通过查看数据样本的方式来验证识别结果是否准确；对识别结果不准确的字段，支持管理员手动订正。订正任务 数据安全基线 安全基线核查 基线核查以GB/T 37988-2019...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
产品功能
数据和实例安全 TSDB 提供以下方案保证您的数据和实例的安全：提供 VPC 的实例访问方式，充分保证实例访问的安全性。提供网络白名单功能：您可以通过设置允许访问实例的机器名单，进一步保证实例和数据的访问安全。如果一台机器在 VPC 内部...
- 产品推荐
- 这些文档可能帮助您