Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
一键创建OSS数据仓库
Schema名称 RDS、PolarDB for MySQL、MongoDB实例或者ECS自建数据库中的数据库名称。配置好数据源后，单击 测试连接，进行连通性测试。建仓配置 Schema名称 设置Schema的名称，即RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库在...
数据服务
API分组是一个特定功能或场景的API集合，是数据服务中API的最小组织单元，对应于API网关中的分组概念。数据服务中的API发布至API网关时，系统会在API网关中自动创建一个同名的分组。如何合理设置API分组？通常将解决同一个问题或者相似功能...
数据上传
忽略：忽略上传的数据，目标表中的数据不会更新。更新（replace）：上传的数据会全量覆盖目标表的旧数据，未配置列映射的字段强制写为NULL。更新（update）：上传的数据覆盖目标表的旧数据，但仅覆盖配置有列映射的字段数据。说明 仅...
区域热力层
无值：系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会展示为无值的颜色。面透明度：区域面的透明度。边线颜色：区域边界线的颜色，请参见 颜色...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
DataWorks on EMR Serverless StarRocks最佳实践
为EMR Serverless StarRocks实例中的数据库名称，您可以通过EMR StarRocks Manager连接实例后，在 元数据管理 中查看。Load URL StarRocks FE的地址用于Streamload，可以为多个FE地址，形如 FE地址:FE的HTTP端口，使用逗号分割。不涉及 ...
新功能发布记录
专属存储中的数据转存至阿里云对象存储OSS 退订服务 新增 DMS 支持手动退订 数据管理-新版 包年包月的服务，您可通过DMS的订单释放入口，或直接在用户中心进行退订。退款说明 07月 功能名称 变更类型 功能描述 相关文档 设置审批流程 新增 ...
采集数据
表：ods_raw_log_d col string 分区字段：dt 生命周期：7天 步骤一：购买并配置独享数据集成资源组 本教程需将存储在OSS、MySQL中的数据同步至MaxCompute，同步任务需使用DataWorks的独享数据集成资源组，因此您需要先购买独享数据集成资源...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
迁移类型 描述 结构迁移 结构迁移任务开始后，数据传输会迁移源库中的数据对象定义（表、索引、约束、注释和视图等）至目标端数据库中，并自动过滤临时表。全量迁移 全量迁移任务开始后，数据传输会迁移源端库表的存量数据至目标端数据库...
C100售前支持相关问题
不支持直接对PolarDB集群进行审计，支持对集群中的数据库进行审计。云数据库PolarDB是阿里巴巴自主研发的新一代关系型分布式云原生数据库，目前兼容三种数据库引擎：MySQL、PostgreSQL、Oracle（高度兼容Oracle语法）。数据库审计支持对这...
概述
负责迁移源库中的数据对象定义（表、索引、约束、注释和视图等）至目标库中，会自动过滤临时表。当源端数据库非 OceanBase 数据库时，会依据目标 OceanBase 租户类型的语法定义标准进行数据类型和 SQL 语法的自动转换和拼装，然后复制至...
OceanBase 数据库之间的数据迁移
迁移类型 描述 结构迁移 结构迁移任务开始后，数据传输会迁移源库中的数据对象定义（表、索引、约束、注释和视图等）至目标端数据库中，并自动过滤临时表。全量迁移 全量迁移任务开始后，数据传输会迁移源端库表的存量数据至目标端数据库...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
迁移类型 描述 结构迁移 结构迁移任务开始后，数据传输会迁移源库中的数据对象定义（表、索引、约束、注释和视图等）至目标端数据库中，并自动过滤临时表。全量迁移 全量迁移任务开始后，数据传输会迁移源库表的存量数据至目标端数据库对应...
数据保护伞入门
步骤一：配置数据分类分级 您可对当前的数据资产按照数据价值、内容敏感程度、影响和分发范围进行敏感级别划分，不同敏感级别的数据有不同的管控原则和数据开发要求。DataWorks提供了内置的分类分级模板，您也可基于业务需要，在数据保护伞...
计费常见问题
开启沙箱功能后，DBS会根据沙箱存储中的数据量产生沙箱存储费用。创建沙箱实例后，DBS会根据沙箱实例规格及使用时长产生沙箱实例费用。费用详情，请参见 DBS沙箱费用。说明 DBS控制台暂不支持直接创建按量付费的备份计划。DBS存储包和DBS...
迁移方案概览
云企业网CEN 源为自建MySQL或RDS MySQL的迁移方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL创建，DTS暂不支持基于 PolarDB MySQL版 创建的数据库。PolarDB-X 1.0为目标时不支持库表结构迁移，PolarDB-X 2.0为目标时均支持。PolarDB-X ...
概述
这意味着它是用于管理存储在关系中的数据的系统。关系实质上是用于表的数学术语。将数据存储在表中的概念现今是如此常见，以致于似乎本来就很明显，但存在许多其他组织数据库的方式。Unix 类操作系统上的文件和目录构成层次数据库的示例。...
查询概述
通过使用Catalog，您可以快速访问和分析存储在外部数据源中的数据，从而实现更加灵活和全面的数据管理和分析。SelectDB也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成SelectDB中的表，...
湖仓一体
通过使用Catalog，您可以快速访问和分析存储在不同数据仓库和存储系统中的数据，从而实现更加灵活和全面的数据管理和分析。基础概念与操作 Internal Catalog SelectDB原有的Database和Table都归属于Internal Catalog。Internal Catalog是...
常见问题
售前常见问题 产品计费常见问题 数据采集常见问题 数据存储常见问题 查询与分析常见问题 数据加工常见问题 消费与投递常见问题 售前常见问题 什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据...
数据库评估常见问题
本文档介绍了您在使用数据库评估过程中遇到的常见问题。画像报错，非法的项目？请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请...
产品架构
整体架构如下：LindormTable 的数据持久化存储在LDFS中，表的数据通过自动Sharding分散到集群中的多台服务器上，并且每一个分区可以拥有1至N个副本，这N个副本拥有主、从两种角色，主从副本可以加载在不同的Zone，从而保障集群的高可用和强...
功能特性
通过DataWorks导入数据 通过Kafka导入数据 云数据库 SelectDB 版支持通过Kafka连接器（SelectDB Connector for Apache Kafka）自动订阅和同步Kafka中的数据。本文介绍SelectDB Connector同步数据至云数据库 SelectDB 版的基本原理和使用...
常见问题
本文介绍使用HBase中常见的问题。阿里云数据库HBase适合什么场景？阿里云数据库HBase是基于HBase及HBase生态构建的低成本一站式数据处理平台，实现数据从处理、存储到分析全流程闭环，让客户用低成本实现一站式数据处理。相比自建HBase和...
存储资源
数据库连接池满 在应用中使用的数据库连接池已经达到设置的最大连接数，无法再创建新的数据库连接的情况。数据库连接池满可能会造成响应延迟、请求阻塞、服务无法响应等问题。可以采用以下容错策略：配额管理：根据系统负载和需求，合理...
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
从自建MySQL迁移至RDS实例
DTS会自动地在阿里云RDS MySQL中创建数据库，如果待迁移的数据库名称不符合阿里云RDS的定义规范，您需要在配置迁移任务之前在阿里云RDS MySQL中创建数据库。说明 关于阿里云RDS的定义规范和创建数据库的操作方法，请参见 创建数据库。对于...
后续指引
介绍：数据类型 常见问题：数据类型常见问题 常用命令 提供开发过程中的针对 表、资源、函数、实例 等的常用操作及相关命令信息。常用命令列表 开发作业 MaxCompute支持多种计算模型SQL、SQLML、PyODPS、MapReduce、Spark、Mars、Graph，...
一键诊断
在数据库出现故障时，您可以利用一键诊断功能，快速诊断选定时间段内数据库性能情况，直观地查看数据库性能情况的全貌，快速定位异常原因。前提条件 实例为如下版本：RDS MySQL 8.0 高可用系列或集群系列 RDS MySQL 5.7 高可用系列或集群...
配置MySQL输入
重要 分库分表中的数据表的Schema请保持一致，以避免执行报错。输出字段 选择需要同步的字段，包括 管理字段 和 数据字段：管理字段：为方便进行数据管理、排序和去重等操作，会在同步的目标端自动添加附加字段。数据字段：显示要同步的...
高性能版实例
以下内容为 AnalyticDB PostgreSQL版 实例常见故障场景中高性能版和高可用版的对比：恢复（Recovery）模式 根据以往 AnalyticDB PostgreSQL版 运行情况，故障最大的场景为恢复模式，故障概率远大于另外两种场景（计算节点故障和计算节点宿...
添加宜搭数据源
在 我的数据 页签中选择 数据源管理，单击 添加数据。在 添加数据 对话框中，类型 选择 宜搭数据源。填写宜搭数据源相关信息。参数 说明 自定义数据源名称（必填）数据源的显示名称。应用编码（必填）宜搭应用平台中已创建表单的应用编码。...
技术原理
以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，被分区水平切分成orders_00～orders_11共计12个分区，均匀分布在4个数据节点上。对于用户来说，通常无需关心具体的数据分布，PolarDB-X的分布式SQL层将会自动完成查询路由、...
创建数据流
您可以通过分区键中的值，快速查找您需要的数据。说明 已配置数据输入节点和连接各节点，您才能选择分区键。将鼠标放在 数据过滤 节点上，单击节点右侧出现的空心圆点并拉出连接线，连接至 数据输出 节点上。此时，节点的 自动消失，表示...
导入概述
Broker Load Broker导入，即通过部署的Broker程序读取外部数据源（例如HDFS）中的数据，并导入到StarRocks。Broker进程利用自身的计算资源对数据进行预处理导入。Spark Load Spark导入，即通过外部资源（例如Spark）对数据进行预处理生成...
- 产品推荐
- 这些文档可能帮助您