查询Delta表数据
如果需要向Delta表中添加字段（使用ADD COLUMN），为了避免Hive查询数据异常的情况，建议将新增字段追加到分区字段之前。更多详细信息，请查看 ALTER TABLE。执行以下命令，进入Hive命令行。hive 执行以下命令，在Hive中查看Delta表的数据...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角，单击...
CREATE CQ
每当流表中有数据插入，如果符合预设的查询条件，则可以将该数据存储下来，作为实时计算的数据来源。本文介绍如何通过DML语句创建持续查询。语法 CREATE CQ cq_name INSERT INTO[catalog_name.][db_name.]table_name[column_list]select_...
DELETE
DELETE 用于删除表中的数据。注意事项 执行 DELETE 命令时，表中必须存在主键。DELETE 暂不支持使用表的别名。不建议通过 DELETE 命令删除全表、全分区的数据，建议使用 TRUNCATE TABLE、TRUNCATE TABLE PARTITION 命令，详情请参见 ...
入门概述
快速入门简要介绍了如何快速上手数据资源平台，包括不限于数据的接入、治理、建模等。本文介绍数据资源平台入门概述。快速使用说明 准备工作：在使用...查询数据：在数据查询模块中预览插入到物理表的表数据，具体操作，请参见 物理表查询。
写数据表
用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 查看上游节点输入到当前节点的字段...
数据查询
数据查询（兼容HBase）数据查询（兼容HBase）界面支持查询指定表的详细信息，也支持为已有的表新增相关属性。查询已有数据 支持查询 SQL表 和 HBase表 中已有的数据。在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。...
逻辑表
相关操作 生成逻辑表后，您可以对逻辑表进行以下操作：数据查询：在SQL窗口中查询逻辑表，您可以像查询单张表一样查询该逻辑表。具体操作，请参见 逻辑表查询。数据导出：导出逻辑表中的所有内容。具体操作，请参见 数据库导出。数据变更：...
配置转换组件
背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表记录过滤：仅支持单个表结构。前提条件 已完成数据源信息的配置。配置表...
我的资产
通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据资产，并提供数据资产详情查看等功能，帮助用户清晰的了解在数据加工、数据分析等场景下可...
获取物理表
数据源同步后，还需通获取当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据源类型为MaxCompute、RDS MySQL...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
使用SQL管理外部项目
本文为您介绍如何使用SQL方式对不同场景中已创建的外部项目、及其中的表进行管理，例如查询或更新表数据等操作。背景信息 您在通过DataWorks控制台的数据湖集成界面创建External Project后，可以使用SQL方式操作External Project，场景如下...
逻辑库
背景信息 分库分表场景下，业务数据按照路由算法分散到多个物理库的若干张表中，通常存在以下问题：对数据进行查询、分析比较困难，通常需要遍历查询所有的表才能找到想要的数据。在分库分表中，增加、减少一个字段的工作量很大。DMS提供的...
数据扫描和识别
首次扫描：完成授权后，DSC 会扫描整个数据库或数据项目中所有的表。增量扫描：当有新增数据库或数据项目表时，DSC 会对新增表进行扫描；如果现有数据表结构（列）发生变化，DSC 也会对该表进行扫描。DSC 是否会登录到数据库内获取数据？已...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA ...可直接查询名下表中的数据（不包含敏感/字段）。说明 资源角色的申请与管理请参见 权限管理。
外部数据
一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。在 contrib 模块中有一些外部数据包装器。其他类型的外部数据包装器可以在第三方产品中找到。要访问外部数据，我们需要建立一个外部...
使用ETL分析实时订单
Right Join：在左表中获取两张表的交集，在右表中获取所有数据。Join条件+新增条件 单击+新增条件，选择JOIN的条件字段。说明 等号（=）左侧为JOIN后新表的左表字段，右侧为JOIN后新表的右表字段。完成Join条件配置后，单击 输出字段 页签...
逻辑表查询
本文介绍逻辑表查询的操作步骤。背景信息 分库分表后，需要快速地查询单个分表或查询多个分表并返回结果，可以对使用者屏蔽人为寻找分库、分表场景。用户最终使用查询操作都是被当做单个表查询，这样的操作相对较透明，也符合用户当下的...
创建及管理外部表
外部表是指不存储数据于交互式分析Hologres中的表，仅用于查看外部表的数据。HoloStudio的PG管理模块，支持使用可视化方式创建、查看以及删除外部表。本文为您介绍在HoloStudio中基于PG管理的外部表操作。前提条件 阿里云账号注册，详情请...
数据表
已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择 资产明细>我已授权的＞数据表。在 我已授权 的数据表页面...
按线上API关联
根据已上线的API（服务）关联对应资源信息，手动选中目标服务后，系统自动选中API的归属应用、和API关联的物理表、和API关联物理表有产出关系的场景、场景下包含的所有场景节点、场景下输出的物理表，以及场景节点包含的所有逻辑表，以及...
MySQL实例间的双向同步
例如数据库中存在了两个表A和B。表A上有一个触发器，触发器内容为在INSERT一条数据到表A之后，在表B中插入一条数据。这种情况在同步过程中，如果源实例表A上进行了INSERT操作，则会导致表B在源实例跟目标实例数据不一致。此类情况须要将...
添加自增主键导致主从节点查询数据不一致
同样的数据在主从节点上的RowID可能不同，因此无主键表中的数据在主从节点中的排列顺序不同，从而导致同样的数据对应的自增主键值不同，即用相同的自增主键值分别在主从节点上查询出的数据不同。详情请参见 BUG#92949 和 MySQL官方文档。...
OSS Foreign Table功能概览
使用OSS Foreign Table分区表 OSS Foreign Table提供了分区表功能，当查询语句的WHERE条件中包含分区列时，可以有效减少从OSS上拉取的数据，从而提升查询的执行效率。与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性...
数据表
本文介绍如何在数据表资产管理中，查看已物理化的数据表。前提条件 已将数据模型“dws_ren_kh_demo_di（银行客户信息）”，物理化到“dataq_odps_dev”云计算资源，具体操作，请参见 物理化逻辑表。操作步骤 登录 数据资源平台控制台。在...
数据方案概览
表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。数据变更 普通数据变更 支持数据...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
查询用户OSS或专属存储的归档数据
常见问题 Q：逻辑库进行数据归档查询时会将所有逻辑库的表合并到一个物理表中吗？A：会。逻辑库在进行数据归档时，会将所有逻辑库的表都合并到一个物理库表内，因此在归档视图页面中，单击任意一个逻辑表进行查询，可以查询到逻辑库的表的...
API概览
ListPartitionsByFilter 按条件获取元数据表分区列表 获取数据湖元数据表分区列表，按Filter条件查询。BatchCreatePartitions 批量新增元数据表的分区 为数据湖的元数据表，批量新增多个分区。BatchDeletePartitions 批量删除元数据表分区 ...
通过HINT查询热数据
本文介绍如何在Lindorm宽表SQL中通过HINT查询热数据。引擎与版本 HINT语法仅适用于宽表引擎，且引擎版本需为2.3.1及以上版本。说明 如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。前提条件 Lindorm实例已开通冷存储功能...
表值函数
例如，在SQL语句中可以合并两个放在不同表中的数据。用编程的方式构造数据集，以某个固定的格式传递给用户终端。如果需要构造某些数据，表值函数可以直接通过函数生成构造好的数据，而省去了构造关系表。使用流水线函数提高并行查询的性能...
名词解释
PRIMARY KEY 〇 〇 Primary Key（主键）用于唯一标识表中每个记录的一列或一组列。主键的值在表中是唯一的，且不允许为空。在宽表中，主键可以由一个或多个列组成。在时序表中，主键必须由一个时间戳列和一个或多个标签列组成。重要 在宽表...
DML差异
LOAD XML 不支持 将数据从XML文件读取到表中。REPLACE 支持，详情请参见 REPLACE INTO。REPLACE的运行与INSERT完全相同，不同之处在于，如果表中的旧行与PRIMARY KEY或UNIQUE索引的新行具有相同的值，则在插入新行之前删除该旧行。SELECT，...
DataV读取数据源超时
DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL查询。API接口内部业务调用链路较长 为API服务设计缓存空间，针对常用的数据进行高效缓存，减少多次调用读取耗时。优化调用链路，将可以并行调用的过程并行化处理...
容量中心
可查看每个表的 表名、行数、磁盘使用大小、数据大小、宏块使用率、分区数量 和 自增列使用率。查看集群容量信息。当选择所有租户时，不再显示数据库和数据表筛选，改为展示集群下不同租户的存储、分区副本、CPU、内存的图表信息。右侧展示...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
索引管理
如何选择索引类型：选择性高的列使用B-tree索引 例如，如果一个表有1000行数据并且一个列中有800个不同的值，则该索引的选择度为0.8，索引的选择性会比较高。唯一索引的选择度总是1.0。选择度低的列使用位图索引 例如区分值区间在100至...
- 产品推荐
- 这些文档可能帮助您