冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
支持的数据源
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka至湖仓版（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS至湖仓版（推荐）大数据 Hive 数据迁移 Hive数据导入 相关文档 AnalyticDB...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
创建Impala数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Impala。如果您最近使用过Impala，也可以在 最近使用 区域选择Impala。同时，您也可以在搜索框中，输入Impala的关键词，快速筛选。在 新建Impala数据源 对话框中，配置连接数据源参数。配置...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
创建Impala数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Impala。如果您最近使用过Impala，也可以在 最近使用 区域选择Impala。同时，您也可以在搜索框中，输入Impala的关键词，快速筛选。在 新建Impala数据源 对话框中，配置连接数据源参数。配置...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
新建Doris数据源
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
新建Doris数据源
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
创建Hologres数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Hologres。如果您最近使用过Hologres，也可以在 最近使用 区域选择Hologres。同时，您也可以在搜索框中，输入Hologres的关键词，快速筛选。在 新建Hologres数据源 对话框中，配置连接数据源...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
新建ArgoDB数据源
在 新建数据源 对话框的 大数据存储 区域，选择 ArgoDB。如果您最近使用过ArgoDB，也可以在 最近使用 区域选择ArgoDB。同时，您也可以在搜索框中，输入ArgoDB的关键词，快速筛选。在 新建ArgoDB数据源 对话框中，配置数据源的基本信息。...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
产品优势
数据库备份DBS 支持多种环境的数据库备份，通过专线接入、公网等接入技术，实现用户本地IDC数据库备份、ECS自建数据库的备份、其他云环境和RDS数据库备份，通过简单地配置实现数据库全量备份、增量备份以及数据恢复。低成本 DBS使用飞天...
创建Hologres数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Hologres。如果您最近使用过Hologres，也可以在 最近使用 区域选择Hologres。同时，您也可以在搜索框中，输入Hologres的关键词，快速筛选。在 新建Hologres数据源 对话框中，配置连接数据源...
创建TDH Inceptor数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDH Inceptor。如果您最近使用过TDH Inceptor，也可以在 最近使用 区域选择TDH Inceptor。同时，您也可以在搜索框中，输入TDH Inceptor的关键词，快速筛选。在 新建TDH Inceptor数据源 ...
新建Paimon数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Paimon。如果您最近使用过Paimon，也可以在 最近使用 区域选择Paimon。同时，您也可以在搜索框中，输入Paimon的关键词，快速筛选。在 新建Paimon数据源 对话框中，配置数据源的基本信息。...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
功能特性
管理DTS专属集群 安全性 数据加密 支持以SSL安全连接的方式连接数据库。RDS MySQL实例间的同步 操作隔离 支持使用最小权限的RAM身份（即RAM用户和RAM角色）来访问数据传输服务DTS，以提高数据安全性，减少因权限滥用导致的安全风险。身份...
功能特性
对于 Oracle 数据库，OceanBase 数据库能够支持绝大部分的 Oracle 语法和几乎全量过程性语言功能，可以做到大部分的 Oracle 业务进行少量修改后自动迁移。在多家金融行业客户和阿里巴巴内部已有多次迁移至 OceanBase 数据库的成功案例。...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
轨迹层
数据分级：根据数据中的 value 字段值大小划分（自然分割）成2~7个数据大小级别，解决 value 值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。...
接入数据库
结构化数据：RDS、PolarDB、PolarDB-X 1.0（原DRDS）、Redis、MongoDB、OceanBase、自建数据库 大数据：TableStore、MaxCompute、ADB-MySQL、AnalyticDB for PostgreSQL（即ADB-PG）说明 仅OSS不支持。前提条件 已购买 DSC 服务并完成 DSC ...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
散点层
数据分级：根据数据中的value字段值大小划分（自然分割）成2~7个数据大小级别，解决value值相差太大导致的渲染问题。散点贴图：散点层贴图样式，可黏贴贴图URL链接获取。散点大小（从小到大）：单击右侧的 或 图标，添加或删除一个散点大小...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您