查询Delta表数据
spark-sql 在Spark中创建并查询表数据。执行以下命令，在Spark中创建Delta表。create table delta_table(id int)using delta location"/tmp/delta_table;执行以下命令，向表中插入数据。insert into delta_table values 0,1,2,3,4;执行以下...
Hive访问EMR HBase数据
hive 在Hive中创建并查询表数据。执行以下命令，在Hive中创建HBase表。create table hive_hbase_table(key int,value string)stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping...
Hive访问EMR HBase数据
hive 在Hive中创建并查询表数据。执行以下命令，在Hive中创建HBase表。create table hive_hbase_table(key int,value string)stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping...
元表和字段资产详情
导出字段：导出表中字段信息，格式类型为CSV，便于其他开发或业务人员快速分析使用。② 明细信息 为您展示 表结构、数据预览 明细信息。表结构：包括 字段 详情、描述、数据类型、关联标准（需购买数据标准模块）信息，同时您可以在 操作 ...
元表和字段资产详情
导出字段：导出表中字段信息，格式类型为CSV，便于其他开发或业务人员快速分析使用。② 明细信息 为您展示 表结构、数据预览 明细信息。表结构：包括 字段 详情、描述、数据类型、关联标准（需购买数据标准模块）信息，同时您可以在 操作 ...
镜像表和字段详情
您可以使用生成的select语句，在即席查询中查询表数据。查看DDL语句：单击查看表的DDL语句。查看转交记录：为您展示当前数据表最近100条负责人转交记录。查看权限列表：查看数据表权限信息。导出字段：导出表中字段信息，格式类型为CSV，...
镜像表和字段详情
您可以使用生成的select语句，在即席查询中查询表数据。查看DDL语句：单击查看表的DDL语句。查看转交记录：为您展示当前数据表最近100条负责人转交记录。查看权限列表：查看数据表权限信息。导出字段：导出表中字段信息，格式类型为CSV，...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
2023年
数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（TimeTravel查询），也支持指定源表某个历史时间区间...
概述
当应用程序使用 testAcc 连接数据库，并查询某个表中的 name、age 和 hobby 时，Proxy会将 name 和 age 列的数据进行脱敏后再返回，hobby 列的数据则未进行脱敏原样返回。Proxy会对不同类型的数据进行不同的脱敏处理，具体脱敏处理说明如下...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA ...可直接查询名下表中的数据（不包含敏感/字段）。说明 资源角色的申请与管理请参见 权限管理。
创建/刷新物化视图支持批量写入
SELECT INTO 语法用于建立一张新表，并将查询所对应的数据写入表中，而不是将查询到的数据返回给客户端。其表结构与查询的输出列完全相同。原理介绍 对于物化视图的创建（CREATE MATERIALIZED VIEW）和刷新（REFRESH MATERIALIZED VIEW），...
SHOW（2.0版）
SHOW ALL CREATE TABLE 查询当前数据库中所有表的DDL。SHOW ALL CREATE TABLE db_name;SHOW PROCESSLIST MPP 查询当前正在运行的MPP任务。指定/*+cross-frontnode=true*/时，查询当前数据库实例所有正在运行的MPP任务；不指定/*+cross-...
创建/刷新物化视图支持批量写入
SELECT INTO 语法用于建立一张新表，并将查询所对应的数据写入表中，而不是将查询到的数据返回给客户端。其表结构与查询的输出列完全相同。原理介绍 对于物化视图的创建（CREATE MATERIALIZED VIEW）和刷新（REFRESH MATERIALIZED VIEW），...
使用SQL管理外部项目
向表中插入数据。向非分区表插入数据。进入关联的MaxCompute项目（非外部项目）。use doc_test_prod;向非分区表中插入数据。insert into table ext_mcdlf_ddl.ddl_test values(1,"ddl_test_1");向分区表中插入数据。进入关联的MaxCompute...
通过文件管理优化性能
如果不可能存在查询的数据，则可以直接跳过，如果可能存在被查询的数据，则需要扫描表文件，但被扫描的表文件中不一定包含查询的数据，我们将这种判断表文件中包含查询数据，但实际并不存在的情况称为假阳性。为了能尽可能多的跳过和查询...
通过SQL模式创建API（Dataphin表）
在 即席查询 中查看数据是否符合预期，确保逻辑表中有数据。具体操作请参见 查询并下载数据。在集成中配置同步任务，输入组件选择 逻辑表输入配置（LogicalTable），输出组件选择 MySQL输出组件，具体操作请参见 配置LogicalTable输入组件...
概述
本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL标准存储引擎创建表时，该表由表定义和相关数据组成。创建Federated表时，表定义是相同的，但是数据的物理存储...
配置Oracle输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
表资产
本文介绍如何公开表资产。前提条件 已编目表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。...在数据概览中，显示已公开的数据表“dws_ren_kh_demo_di”及相关数据信息。
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
SHOW TABLES
SHOW TABLES语句用于展示数据库中满足查询条件的所有表。在使用CREATE TABLE语句建表前，您可以通过SHOW TABLES语句查看当前数据库已存在的表，避免重名报错。适用引擎 SHOW TABLES语法适用于宽表引擎和时序引擎。语法 show_tables_...
DELETE
DELETE 用于删除表中的数据。注意事项 执行 DELETE 命令时，表中...在customer表中，查询并删除 id 与orders表中 id 相同，且 age 为18的数据。DELETE customer FROM customer JOIN orders ON customer.id=orders.id WHERE customer.age=18;
如何对JSON类型进行高效分析
在处理JSON数据时，为了提高查询性能，数仓往往在ETL任务中预先解析JSON数据且按需计算出对应值，然后作为表的单独一列插入到表中，即将JSON数据一些属性按需处理后构成大宽表。查询时不再需要读取和解析整个JSON列数据，直接读取对应普通...
CREATE CQ
每当流表中有数据插入，如果符合预设的查询条件，则可以将该数据存储下来，作为实时计算的数据来源。本文介绍如何通过DML语句创建持续查询。语法 CREATE CQ cq_name INSERT INTO[catalog_name.][db_name.]table_name[column_list]select_...
数据标准
数据字典管理：支持创建并维护逻辑表中使用的数据字典，方便用户在定义数据元或维度属性时进行数据字典引用，支持数据字典物理化、数据字典导入、导出，方便数据字典使用与跨项目复制。质量校验函数：支持质量检测函数自定义，方便用户在...
通过HINT查询热数据
通过以下两种语句查询表的所有数据（包括冷数据和热数据）。SELECT/*+_l_hot_only_(false)*/*FROM t_test_versions_2 WHERE c1 IN(1,2,3);SELECT*FROM t_test_versions_2 WHERE c1 IN(1,2,3);说明 使用HINT不支持单独查询冷数据。
数据下载
数据分析>电子表格：在数据分析中使用电子表格下载数据。详情请参见 下载电子表格。数据开发>查询下载：在数据开发（DataStudio）使用SQL语句查询并下载数据。详情请参见 数据开发概述。安全中心>实体转交：在安全中心的转交日志下载数据。...
数据分析概述
在SQL查询中可预览数据集中的数据，并快速生成该表的查询SQL语句，详情请参见 SQL查询。电子表格 电子表格是数据分析的核心功能，为您提供获取、探索和分析数据的个人空间，详情请参见 电子表格。以在线表格为主体，电子表格为您提供常用的...
逻辑表
数据导出：导出逻辑表中的所有内容。具体操作，请参见 数据库导出。数据变更：仅需配置一次变更工单，系统执行工单时会自动在各个物理分表中执行工单中的SQL语句。更多信息，请参见 普通数据变更。结构设计：仅需编辑一次逻辑表结构，系统...
Flink_SQL任务开发方式
以下示例代码实现了模拟数据的输入输出（从t1表中读数据写到t2表中）。说明 使用原生DDL+DML开发语句创建表，您需关闭Dataphin 编码规范 中的 禁止使用Flink原生DDL语句 设置。具体操作，请参见 编码规范。create temporary table t1(id ...
数据表
本文介绍如何在数据表资产管理中，查看已物理化的数据表。前提条件 已将数据模型“dws_ren_kh_demo_di（银行客户信息）”，物理化到“dataq_odps_dev”云计算资源，具体操作，请参见 物理化逻辑表。操作步骤 登录 数据资源平台控制台。在...
数据查询
在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。设置筛选条件，包括 namespace 和 表。可选：输入列簇、row key、start key（分区起始Key）、end key（分区终止Key）和limit（显示条数）。单击 查询，界面将展示目标...
数据存储
索引 索引（Index）是对表（Table）中一列或多列的值进行排序的一种结构，使用索引（Index）可以快速过滤表中的数据，提高数据的查询效率。目前云数据库Doris版主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。自建的二级...
冷热分层
当查询数据时，您只需要读取指定条件的数据，且查询条件不会过于复杂。适用场景 时序类数据场景：时序类数据天然具备时间属性，数据量大，且仅执行追加操作。示例如下：IM场景：通常用户会查询最近若干条聊天记录，只有在特殊需求的时候才...
预览物理表
提供不同数据资源的快速预览和字段详情查看，便于开发人员、数据应用人员和数据分析人员全面直观的了解数据，本章节介绍如何预览物理表。前提条件 已新建工作组“信息...预期结果 在物理表查询中可展示“stg_base_yhkh_demo_di”物理表信息。
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
入门概述
快速入门简要介绍了如何快速上手数据资源平台，包括不限于数据的接入、治理、建模等。本文介绍数据资源平台入门概述。快速使用说明 准备工作：在使用...查询数据：在数据查询模块中预览插入到物理表的表数据，具体操作，请参见 物理表查询。
使用数据探索查询Iceberg表
本文为您介绍如何使用DLF数据探索查询Iceberg表。目前DLF数据探索可以直接支持Delta、Hudi、CSV、Parquet、JSON、ORC等格式的表；受限于Spark和Iceberg的底层设计，在DLF数据探索中查询Iceberg表需要指定特定的Catalog。准备工作 已开通DLF...
FineReport
如下示例，查询 select*from demo_sales，查询并取出demo_sales表中的所有数据。通过聚合查询选出聚合的数据集。如新建数据集 ds2，写入数据库查询语句 SELECT 门店名称,SUM(销售额)AS 销售总量 FROM demo_sales GROUP BY 门店名称，查询并...
- 产品推荐
- 这些文档可能帮助您