Dataphin即席查询全表数据结果为空，限制100条后能...
问题描述 使用select*查询物理表（默认返回前10000条数据），结果集显示为空；当使用limit限制结果显示100条后，结果集能正常显示。计算源为MaxCompute。解决方案 查看异常显示的Logview，在result栏可以看到如下异常信息：fetch result ...
ClickHouse集群中数据库和表的数量限制建议
一个集群限制数据库在100个以内，这仍然提供了足够的灵活性来组织不同的数据集或项目。云数据库ClickHouse集群中表数量有限制吗？在 云数据库ClickHouse社区兼容版集群 中，建议一个集群限制表的数量在1000个以内。在 云数据库ClickHouse...
回收站列表
同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 我的治理 页面。在 资源 页面，单击左侧导航栏 回收站列表...
回收站列表
同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 我的治理 页面。在 资源 页面，单击左侧导航栏 回收站列表...
写数据表
用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 查看上游节点输入到当前节点的字段...
添加数据集
数据源导入：选择 数据源导入 创建方式，可快速导入已添加完成的适配类型数据源中的数据表内容。添加适配数据内容的方法请参见 添加适配数据源。说明 仅支持导入兼容MySQL数据库、RDS for MySQL和RDS for PostgreSQL这三种类型的数据源。在...
配置AnalyticDB for PostgreSQL输出组件
表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 一键生成目标表。Dataphin会自动为您匹配创建表的代码，...
功能简介
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA ...可直接查询名下表中的数据（不包含敏感/字段）。说明 资源角色的申请与管理请参见 权限管理。
统一服务
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
功能简介
统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析...
使用ETL分析实时订单
当新的动态表转化为流时，您需要指定 转化格式，对动态表前后更改信息进行编码：Upsert流：动态表中的数据支持通过INSERT、UPDATE和DELETE操作修改，当转换为流时，会将INSERT和UPDATE操作编码为upsert message，将DELETE操作编码为delete ...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的...单击页面右上方的 保存，MaxCompute表中的数据会被同步修改。保存维表后，您可以使用 版本对比 功能检查修改操作是否符合预期，避免误操作。
基本概念
云数据库SelectDB版 支持的表引擎如下：Aggregate表引擎 Unique表引擎 Duplicate表引擎 索引（Index）索引是对表中一列或多列的值进行排序的一种结构，使用索引 可以快速过滤表中的数据，提高数据的查询效率。目前 云数据库SelectDB版 支持...
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
数据存储
索引 索引（Index）是对表（Table）中一列或多列的值进行排序的一种结构，使用索引（Index）可以快速过滤表中的数据，提高数据的查询效率。目前云数据库Doris版主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。自建的二级...
Iceberg概述
Iceberg是一种开放的数据湖表格式。您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决...
查询结果不符合预期的常见原因
表属性VERSIONS被设置为0导致数据被删除 宽表的VERSIONS属性的值为0，表示表中的数据不会保留，任何写入的数据都将被删除，无法查询。如果建表时未设置VERSIONS属性，则VERSIONS的值默认为1，即表中的数据仅保留一个版本。更多介绍，请参见...
支持的云服务
表格存储 表格存储是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务，MaxCompute 2.0支持直接通过外部表方式访问表格存储中的表数据并进行处理，详情请参见 Tablestore外部表。更多表格存储信息，请参见 表格存储。对象存储OSS ...
配置同步任务
您可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。编码方式 当数据源类型为Oracle时，支持设置。选择读取数据的编码方式。Dataphin支持选择的 编码方式 包括 UTF-8、GBK、ISO-8859-1 和 系统默认。筛选条件 填写...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
数据类型的限制 不支持表中全部列均为 LOB 类型（BLOB/CLOB/NCLOB）的增量数据同步。对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析...
公开与隐藏数据表资产
数据表资产扩展属性：指在自定义扩展属性中创建的数据表自定义扩展属性，输入数据表资产对应扩展属性名称，单击 查询，展示符合该条件的资产。说明 默认展示物理化成功的所有数据表资产。根据实际需求选择公开或隐藏数据表资产。公开数据表...
公开与隐藏数据表资产
数据表资产扩展属性：指在自定义扩展属性中创建的数据表自定义扩展属性，输入数据表资产对应扩展属性名称，单击 查询，展示符合该条件的资产。说明 默认展示物理化成功的所有数据表资产。根据实际需求选择公开或隐藏数据表资产。公开数据表...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
DescribeColumnsV2-查询数据资产表中列的数据V2
test TableId string 否 MaxCompute、RDS 等资产表中的列所属的资产表唯一标识 ID。说明 根据资产表的 ID 查询数据安全中心连接授权的数据资产表中列的数据，资产表 ID 可调用 DescribeTables 接口获取。11132334 RuleId long 否 资产表中...
概览信息
资产搜索：选择需要搜索的资产，例如数据表，在 资产搜索 文本框中输入数据表的资产名称，单击 图标，跳转到资产目录展示相应的数据表。说明 支持数据表、指标、标签和API资产搜索。数据资产总量统计：总资产统计：展示资产总量和今日新增...
概览信息
资产搜索：选择需要搜索的资产，例如数据表，在 资产搜索 文本框中输入数据表的资产名称，单击 图标，跳转到资产目录展示相应的数据表。说明 支持数据表、指标、标签和API资产搜索。数据资产总量统计：总资产统计：展示资产总量和今日新增...
Flink_SQL任务开发方式
Dataphin数据源表开发方式 Dataphin数据源表开发方式是指您在开发Flink_SQL任务时，可以直接访问在Dataphin中所创建的数据源中的表进行任务开发。如果您希望使用此种方式，需要先在数据源上配置数据源编码。具体操作，请参见 数据源管理...
查看表资产详情
单击 数据预览，对数据表数据进行预览。更多信息，请参见 预览物理表数据。单击 表信息，展示物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。更多信息，请参见 查看物理表信息。单击 临时查询，通过SQL查询预览数据资源。更...
查看表资产详情
单击 数据预览，对数据表数据进行预览。更多信息，请参见 预览物理表数据。单击 表信息，展示物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。更多信息，请参见 查看物理表信息。单击 临时查询，通过SQL查询预览数据资源。更...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
Flink_SQL任务开发方式
Dataphin数据源表开发方式 Dataphin数据源表开发方式是指您在开发Flink_SQL任务时，可以直接访问在Dataphin中所创建的数据源中的表进行任务开发。如果您希望使用此种方式，需要先在数据源上配置数据源编码。具体操作，请参见 数据源管理...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
数据归档
新建数据归档 示例：将数据库 odc_test 中的表 student 归档至数据库 test2 中。信息项 示例值 所属数据源 mysql_4.2.0 源端数据库名称 odc_test 目标数据库名称 test2 表名称 student 在 SQL 开发窗口左侧导航栏的 任务 页签中，单击 数据...
配置MaxCompute输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的...
配置MaxCompute输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
数据方案概览
无锁数据变更 将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理，可以根据设定的规则定期清理历史数据。可编程对象 支持存储...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据...说明 在DLF页面删除数据表后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Table操作。
- 产品推荐
- 这些文档可能帮助您