API概览

DescribeTables 查询数据资产表的数据 查询数据安全中心连接授权的MaxCompute、RDS等数据资产的表数据。DescribeColumns 查询数据资产表中列的数据 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列...

使用须知

访问Lindorm CDC数据的介绍 访问语法示例:Lindorm宽引擎(lindorm_table)中有一个Database名称为DB1,DB1中有一个名为tableX,可以通过以下两种方式查询表的数据。示例一 SELECT fieldA FROM lindorm_table.DB1.tableX;示例二 USE ...

SQL查询

数据源查询 在数据分析查询引擎绑定时自动创建的MaxCompute数据源,默认使用个人账号执行任务,如果要访问生产表,您需在SQL命令中指定生产项目名称,若查询的表数据无权限,请前往 安全中心 进行申请。数据源白名单访问控制 当使用数据...

授权和回收数据板块权限

权限类型 默认授予某个逻辑查询数据权限,不支持修改。授权原因 填写授予数据板块权限的原因。单击 确定,完成数据板块权限的授权。回收数据板块权限 按照下图操作指引,进入 数据板块回收 对话框。在 数据板块回收 对话框,配置参数。...

结构优化

本功能持续收集SQL查询的性能指标及其使用到的数据表、索引等信息,并进行算法统计分析,自动给出调优建议,减少用户手动调优的负担。背景信息 随着各类数据分析业务的丰富和发展,数据库所承载的查询数量和复杂度持续增加。库结构的设计...

数据开发:开发者

若当前节点查询(即使用 select 语句)其他任务产出的表数据,您可通过以下方式配置当前节点依赖的上游节点(用于产出当前节点查询的表数据),由该上游节点调度当前节点运行。上游节点非当前业务流程或非当前工作空间中的节点:在当前节点...

Oracle数据

由于主备数据同步存在一定的时间差,在网络延迟等特定情况下,会导致备库同步恢复的数据与主库有较大差别,从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统,对外可以提供强一致性数据查询...

DataV读取数据源超时

问题原因 查询超时的原因如下:使用SQL查询的业务数据表数量太大。API接口内部业务调用链路较长。解决方案 执行以下操作,通过优化查询时间的方式进行解决:使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引,减少扫描行...

查询Delta表数据

您可以通过Hive、Presto和Trino引擎查询Delta表数据,详情请参见 通过Spark创建表查询Delta表。E-MapReduce也支持对已经存在的Delta数据,通过创建Hive外表来查询数据,详情请参见 创建Hive外表。使用限制 本文适用于EMR-3.37.0及后续版本...

一键MaxCompute数据同步节点

背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时,您需要先在Hologres中创建外部表,该外部表可视为MaxCompute源表(即需要同步的MaxCompute数据所在的表)与Hologres内部表的链接,通过该连接将MaxCompute源表数据同步至...

一键MaxCompute结构同步节点

DataWorks支持一键导入结构功能,帮助您使用DataStudio快速批量创建与目标MaxCompute结构相同的Hologres外部,后续您可使用Hologres外部加速查询MaxCompute表的数据。本文为您介绍如何创建并使用一键MaxCompute结构同步节点。...

数据源读取时间超时的优化思路

使用SQL查询的业务数据数量太大,查询超时 针对查询条件所使用的字段添加索引,减少扫描行数。在数据库中增加定时任务,定时计算所需要的业务指标并更新结果。DataV组件直接查询结果表的数据,不需要在每次组件获取数据时,再次执行SQL...

数据源读取时间超时的优化思路

使用SQL查询的业务数据数量太大,查询超时 针对查询条件所使用的字段添加索引,减少扫描行数。在数据库中增加定时任务,定时计算所需要的业务指标并更新结果。DataV组件直接查询结果表的数据,不需要在每次组件获取数据时,再次执行SQL...

数据查询

本文介绍数据查询的方法和相关操作。标准SQL查询 Lindorm时序引擎根据时序特性对SQL查询做了更多的优化,支持降采样、聚合、最新值查询的能力,提供了丰富的时序特性的函数算子和SQL计算分析能力。推荐您使用SQL查询数据,关于SQL语法请...

HBase Shell使用介绍

truncate:清空表中的数据,其内部实现是将指定的表下线、删除、重建,该操作会丢失Region分区 truncate_preserve:清空表中的数据,其内部实现是将指定的表下线、删除、重建,并且Region分区与旧表保留一致 进入和退出Shell环境 执行以下...

一键同步MaxCompute数据

目标表名 需要导入数据的表名称。目标表描述 目标表的信息描述。同步字段 需要导入的MaxCompute表字段。您可以选择导入部分或全部字段。分区配置 需要导入的分区字段。一键MaxCompute数据同步 功能仅支持导入一级分区。如果您需要导入多级...

创建并使用MaxCompute

批量删除MaxCompute表 您可前往数据地图的 我的数据,批量删除您个人名下的表。说明 由于生产数据安全管控,您无法直接通过命令删除生产表。若要删除非您名下的表,需前往 安全中心 申请表权限。批量转交表责任人 您可前往数据地图的 我...

创建并使用MaxCompute

批量删除MaxCompute表 您可前往数据地图的 我的数据,批量删除您个人名下的表。说明 由于生产数据安全管控,您无法直接通过命令删除生产表。若要删除非您名下的表,需前往 安全中心 申请表权限。批量转交表责任人 您可前往数据地图的 我...

通过HINT查询数据

本文介绍如何在Lindorm宽SQL中通过HINT查询数据。引擎与版本 HINT语法仅适用于宽引擎,且引擎版本需为2.3.1及以上版本。说明 如何查看或升级当前版本,请参见 宽引擎版本说明 和 升级小版本。前提条件 Lindorm实例已开通冷存储功能...

新建

OFFSET 指定 SELECT 语句开始查询的数据偏移量。默认情况下偏移量为 0。示例:SELECT `emp_no`,`birthdate`,`name`,`gender` FROM `employee`;相关信息 新建视图 新建函数 新建存储过程 新建序列 新建程序包 新建触发器 新建类型 新建同义...

加速服务

通过使用加速服务,您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用方法。背景信息 DataWorks数据服务的加速方案有两种:加速服务 和 MCQA,您可以 点击这里 加入DataWorks用户钉群进行咨询。两种方案的对比...

数据服务入门

DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线,帮助用户统一管理面向内外部的API服务。例如,您可以将查询数据功能快速的生成对应的API,或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...

将时空数据写入宽引擎

} } } 查询数据,通过以下方式查询数据流和宽表的数据。通过流引擎SQL查询数据流表的数据。不使用时空函数查询,在数据流中执行查询语句时会默认将时空数据转化为WKT格式,有关WKT格式的介绍请参见 空间数据类型。SELECT*FROM gps_data...

访问列存数据

列存即列式存储,是一种将数据按列进行存储和处理的数据管理方式。Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储,相较于行式存储,列式存储的查询响应时间更短,消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据...

访问Kafka数据

查询表Kafka_tbl中Schema的数据。DESCRIBE kafka_tbl;查询Kafka_tbl中的数据。SELECT*FROM kafka_tbl LIMIT 10;使用Spark函数提取Kafka中的数据。例如,查询Kafka_tbl中Value为 {"content":"kafka record"} 的数据。SELECT get_json_...

Delta连接器

EMR Trino提供了独立的Delta连接器,在E-MapReduce集群上支持了较为完整的数据湖特性并进行了特性扩展。背景信息 Delta Lake是DataBricks公司推出的一种数据湖方案,以数据为中心,围绕数据流走向推出了一系列功能特性,详情请参见 Delta ...

X-Engine引擎常见问题

假设要查询的表所在的数据库为 test,表名为 test1,则查询表 占用的存储空间容量 的SQL语句如下:SELECT SUM(TOTAL_EXTENT_COUNT)/512 AS SIZE_GB,SUM(USED_EXTENT_COUNT)/512 AS USED_SIZE_GB,SUM(FREE_EXTENT_COUNT)/512 AS FREE_SIZE_...

成本

存储压缩表的数据查询时需要进行解压缩,同时由于所需存储空间较小、能够节约一定的IO带宽。因此在IO速度较慢时能够提高查询性能(如机械硬盘场景),反之则对查询性能有一定影响。LZ4算法的解压缩速度约为ZSTD解压缩速度的三倍,因此对...

文档修订记录

QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块,提供了便捷的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作,致力于为您...

写入与查询

本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版(3.0)。常见问题概览 湖仓版(3.0)集群是否支持通过JDBC方式查询Hudi表的数据?湖仓...

结果编辑与导出

编辑结果集 示例:在结果集页签中,插入数据到数据库 odc_test 下的表 employee 中。信息项 示例值 项目名称 odc_4.2.0 数据库名称 odc_test 表名称 employee 在 SQL 窗口中,编辑和执行 SQL 语句以查询表 employee 的数据。SELECT `emp_no...

迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...

本文为您介绍如何使用数据传输迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输...

离线同步数据质量排查

错误的查询检查条件 以MaxCompute为例,大多数情况下数据表都是分区,分区值是DataWorks调度参数如$bizdate,常见的错误:调度参数没有合理的替换,即数据写出到$bizdate 这个字面值分区中,而非实际的业务日期(如20230118中)。...

API概览

ListUserRoles 获取单个User的数据湖角色列表 获取单个User的数据湖角色列表。ListPermissions 获取权限列表 获取权限列表。CheckPermissions 对User权限进行校验 对User权限进行校验。GetCatalogSettings 获取数据湖Catalog的配置 获取...

CREATE MATERIALIZED VIEW

基于满足物化视图场景的数据创建物化视图,支持分区和聚簇场景。背景信息 视图 是一种虚拟,任何对视图的查询,都会转换为视图SQL语句的查询。而物化视图是一种特殊的物理,物化视图会存储实际的数据,占用存储资源。更多物化视图计费...

查询物理表数据

数据查询提供通过SQL查询预览数据资源,为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理数据。前提条件 已新建云计算资源,具体操作,请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角,单击...

申请、续期和交还权限

如果您需要使用他人开发的表,则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后,修改了审批流程设置(如权限申请从开启变更为关闭),则依然按照申请时执行,审批通过,则会...

查询物理表数据

数据查询提供通过SQL查询预览数据资源,为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理数据。前提条件 已新建云计算资源,具体操作,请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角,...

资源角色

查询实例下所有数据库中的数据(不包含敏感字段),提交各类数据方案与库结构的工单。对应于审批节点中 动态计算 的DBA。实例Owner 每个实例可以设置3个实例Owner。云数据库资源默认主账号为实例Owner。非云数据库默认当前录入的云账号...

常见问题

A:这是因为主和索引的冷数据归档过程是独立的,并且归档主和索引冷数据的操作是周期性触发的,导致了主和索引滞留在热存储的数据不一致,进而出现查询到的冷数据不一致的现象。您可以在查询条件中添加热数据的时间范围,避免...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用