查询表描述信息
使用DescribeTable接口可以查询指定表的结构、预留读/写吞吐量详情等信息。说明 API说明请参见 DescribeTable。前提条件 已初始化Client。具体操作，请参见 初始化。已创建数据表。接口/通过表名查询表描述信息。DescribeTable(request*...
功能发布记录（2022年）
中国香港，马来西亚（吉隆坡）、阿联酋（迪拜）所有DataWorks用户 DataWorks On EMR使用说明 DataStudio智能编辑器支持可视化插入字段和表权限校验 智能编辑器自动识别代码中查询表字段的部分，您可以把鼠标悬浮在表名上，选择需要查询的...
编辑器代码提效
DataWorks提供的权限校验、自动补全代码、内置代码模板等功能，帮助您快速校验当前账号对于目标表的操作权限并引导授权，同时根据输入的关键词，智能推荐相关代码或内置代码模板，快速创建代码任务，提升代码开发效率。本文为您介绍编辑器...
列出表名称
使用ListTable接口获取当前实例下已创建的所有表的表名。说明 API说明请参见 ListTable。前提条件 已初始化OTSClient。更多信息，请参见 初始化OTSClient。已创建数据表。更多信息，请参见 创建数据表。接口"""说明：获取所有表名的列表。...
Quick BI中数据填报填入颜文字Emoji时，报错...
更多信息 MySQL 字符编码查询：1、查询所有表的编码 SELECT TABLE_NAME,TABLE_COLLATION FROM information_schema.TABLES 2、查询数据库的编码 show create database db1;3、查询单个表的编码 show create table user;4、查询单个表所有...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
HBase Shell使用介绍
通过Shell工具可以对云数据库HBase进行数据管理，包括建表、插入数据、删除数据和删除表等操作，本文介绍Shell的基本使用命令。访问配置 如果使用的是云数据库HBase标准版，基本环境的配置操作请参见 使用HBase Shell访问HBase标准版。如果...
Iceberg连接器
Iceberg是一种开放的数据湖表格式，使用Iceberg连接器可以用来查询Iceberg格式的数据文件。背景信息 Iceberg的详细信息，请参见 Iceberg概述。本文为您介绍Iceberg连接器相关的内容和操作，具体如下：配置Iceberg连接器 示例：查询Iceberg...
表
字典编码列 dictionary_encoding_columns，使用详情请参见 设置表属性。位图列 bitmap_columns，使用详情请参见 设置表属性。分区表 无 选择分区字段。在页面右上角，单击 提交表。提交之后，您可以在左侧对应模式下，刷新出新建的内部表。...
公开数据集概述
如果您已开通MaxCompute服务，可以通过MaxComputeSQL分析连接查询公开数据集中的表，以便您快速试用MaxCompute。本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别...
一键MaxCompute数据同步节点
导入MaxCompute数据至Hologres的方式，比创建外部表直接查询数据的性能更好，创建外部表查询MaxCompute数据，详情请参见 一键MaxCompute表结构同步节点。创建表数据同步节点 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 ...
Delta Lake 快速入门
创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也可以将parquet、csv、json等数据格式转换为delta。对于所有文件类型，您将文件读入DataFrame并将格式转为delta：Python%pyspark events=spark.read.json("/xz/events_...
跨库查询（Beta）
（可选）数据导入内部表 若是想要实现跨库、跨实例导入数据，或者外部表查询性能不满足预期，可以通过如下SQL语句，将数据导入至Hologres内部表。说明 在使用之前，需要先创建一张内部表用于接收数据，创建内部表请参见 表。insert into...
通过创建外部表加速查询MaxCompute数据
Hologres支持通过创建外部表（包括手动创建外部表方式和外部表自动加载功能）来加速MaxCompute数据的查询，此方法允许您直接在Hologres环境中访问和分析存储在MaxCompute中的数据，从而提高查询效率并简化数据处理流程。前提条件 已开通...
时序表操作
时序模型通过时序表存储时间序列数据，单表能提供高并发写入和查询以及PB级海量数据的低成本存储。创建时序表时，您可以配置数据生命周期 和为时序表创建分析存储。创建时序表后，您可以根据实际管理时序表，例如获取实例中的所有时序表...
创建并使用MaxCompute表
查询表数据时，内部表会导入真实数据，查询数据速度较快；外部表无需导入数据即可查询，较节省内存。MaxCompute内部表与外部表介绍，请参见 表。表结构设计。主要配置项说明如下。配置 说明 字段类型 定义字段数据类型，仅支持下拉选择...
创建并使用MaxCompute表
查询表数据时，内部表会导入真实数据，查询数据速度较快；外部表无需导入数据即可查询，较节省内存。MaxCompute内部表与外部表介绍，请参见 表。表结构设计。主要配置项说明如下。配置 说明 字段类型 定义字段数据类型，仅支持下拉选择...
创建项目
通常您需要在开发界面查询表，个人对生产环境产出的表默认无权限，可以在DataWorks的数据治理模块进行申请。由于开发和生产项目Owner都是同一个账号，请谨防通过发布任务到生产项目时，将生产项目表读写到开发项目再通过开发项目获取生产...
数据分层存储
分区表 查询所有分区：select parent_table_name,count(*)as partition_cnt,sum(hot_storage_size)/1024/1024/1024 as hot_size_gb from hologres.hg_table_info where type='PARTITION' and collect_time:DATE=CURRENT_DATE-interval '1 ...
数据查询
除了使用HBase shell来写Get、Scan请求，Lindorm insight提供了一个简单的SQL查询入口，您可以使用SQL语法来查询HBase增强版宽表数据。前提条件 已登录目标集群的集群管理系统，具体操作，请参见 登录集群管理系统。使用限制 为确保数据...
JDBC数据服务问题
不同的 数据服务类别 会返回不同的查询结果参数：单表查询：可以将查询结果参数的 表别名字段名 直接配置为需要的字段逻辑运算表达式，如(score1+score2)/2。多表查询：可以将查询结果参数的 表别名.字段名 直接配置为需要的字段逻辑运算...
从Flink SQL导入
创建源表、结果表，并将源表数据插入到结果表中。创建源表sls_test_single_local。CREATE TEMPORARY TABLE sls_test_single_local(id INT,name VARCHAR,age BIGINT,rate FLOAT)WITH('connector'='datagen','rows-per-second'='50');创建...
特征工程
通过推荐算法定制生成的特征工程，对原始数据集（包括用户表、物料表和行为表等）进行处理，并生成新的特征表，以供后续的召回和排序使用。前提条件 已开通PAI（Designer），并创建默认工作空间。具体操作，请参见 开通PAI并创建默认工作...
访问列存数据
完成数据整理后，如果想要进一步提升后续查询的效率，可以执行以下语句设置表的相关参数来加速后续查询：ALTER TABLE mydb.mytable SET TBLPROPERTIES('read.scan-major-rewritten-files-only'=true);参数说明 read.scan-major-rewritten-...
Delta连接器
Z-Order Trino基于Z-Order优化了Delta表查询。目前支持Parquet自身的优化和Data Skipping的优化。执行优化后，Delta会按文件粒度统计各个字段的最大和最小值，该统计信息用于直接过滤数据文件。Trino的Delta连接器可以读取到这些统计信息。...
Tablestore外部表
执行以下代码，查询MaxCompute外部表数据。查询数据 select*from mf_ots_external_permi;返回结果如下，错误字段会以JSON格式写入至 corrupt_col 列中。id|name|desc|corrupt_col|+-+-+-+-+|1|NULL|张三的描述|{"name":"\"张三\""}|+-+-+-+...
管理项目数据
在表名上单击右键，选择 Find usages，可以查询表被脚本引用的情况。查看函数详细信息 在 Functions 节点树中，单击 UserDefined 节点，可以查看您创建的函数。说明 Functions 节点树的 BuiltIn 节点下分类显示系统的内建函数，双击即可...
新建元表
JDBC读写表：使用JDBC支持表查询，表写入，用于流写，批读写等。CDC Source表：增量流式读取。Kafka 来源topic、connector、消息体格式 来源表：数据的来源表。connector：支持选择kafka或upsert-kafka。消息体格式：支持csv、json、avro、...
新建元表
JDBC读写表：使用JDBC支持表查询，表写入，用于流写，批读写等。CDC Source表：增量流式读取。Kafka 来源topic、connector、消息体格式 来源表：数据的来源表。connector：支持选择kafka或upsert-kafka。消息体格式：支持csv、json、avro、...
画像分析-BSI优化方案（Beta）
通过原始属性标签与行为标签表查询：SELECT b.uid,b.gmv FROM dws_userbase a JOIN usershop_behavior b ON a.uid=b.uid WHERE a.province='广东' AND a.gender='Male' ORDER BY gmv DESC LIMIT 10;基于行为标签的人群圈选 圈选消费金额...
使用限制
系统相关 项 值 每个用户实例个数 不限制 每个用户doc总数 理论上不限制，具体根据配额存储容量计算 每个用户pv总数 理论上不限制，具体根据配额LCU峰值计算 支持系统字符编码 UTF-8 实例相关 项 值 集群规格 共享集群 独享集群 实例名长度...
最佳实践：表管理OpenAPI基础实践
说明 下方代码简化了部分非表查询流程，只展示表查询的最小实现。import React from 'react';import { Table,Form,Field,Input,Button,Pagination,Dialog,Card } from '@alifd/next';function getTableList(params:TableListInput):Promise...
安装Proxima CE包
表名：即您在运行Proxima CE的代码中所指定的输出表的表名。输出表的表名不能使用半角点号.，其为MaxCompute的特殊字符，会导致MaxCompute表解析失败。输出表的表名不能包含 tmp_字符串，会导致任务运行失败。输出表名和分区名的字符长度不...
功能发布记录
查询引擎新增Lazy Create Fragment Instance机制，对于大表查询（常见预览场景）limit N场景，降低查询开销，显著改善查询性能。全面优化执行计划展示格式（Explain&Explain Analyze），改善可阅读性，简化SQL性能优化手段，详情请参见 ...
新建及管理质量规则模板
自定义SQL：自定义SQL指标的统计逻辑，代码示例如下：单表查询 select sum(${t1.c1})from${t1} where ds=${bizdate};子查询 select sum(${t1.c1})from(select${t1.c1} from${t1} where ds=${bizdate})a;多表查询 select sum(${t1.c1})from$...
新建及管理质量规则模板
自定义SQL：自定义SQL指标的统计逻辑，代码示例如下：单表查询 select sum(${t1.c1})from${t1} where ds=${bizdate};子查询 select sum(${t1.c1})from(select${t1.c1} from${t1} where ds=${bizdate})a;多表查询 select sum(${t1.c1})from$...
版本发布说明
修复查询归档表的timestamp字段概率性结果不正确的问题。修复 rename table 命令被中断之后可能出现的找不到物理分片的问题。修复inspect index在当前数据库包含视图时无法诊断的问题。修复修改全局唯一索引拆分键列类型时，DDL可能发生的...
常见问题
查询集群中所有实例当前正在running的查询：SELECT*FROM remote(default,system,processes)WHERE query LIKE 'XXX' 查询当天的历史查询结果，包括是否成功、已经失败的错误信息：SELECT*FROM remote(default,system,query_log)WHERE event_...
管理问题数据
说明 若预览问题数据无权限或通过命令查询问题数据表无权限，请参考MaxCompute数据安全访问控制说明，前往 安全中心 申请该表查询权限，操作详情请参见：MaxCompute数据访问权限控制。查看问题数据采集日志 您可以通过以下入口查看问题数据...
- 产品推荐
- 这些文档可能帮助您