在Dataphin的SQL中如何自动解析出物理表上游依赖
问题描述 当您进行SQL开发过程中，从物理表获取数据时，需要将物理表添加为上游依赖，确保在调度过程中，引用的物理表中存在数据。问题原因 NA 解决方案 如果要解析出物理表，创建表tbl_issues_dependency的代码任务输出名称需要确保为如下...
管理Notebook单元
Notebook单元是Notebook中用于构建内容的基本组件。通过向Notebook中添加单元，您可以创建和组织内容。不同类型的单元支持不同的操作和功能。本文将为您介绍各单元的使用场景和支持的管理操作。Markdown单元 Markdown支持您使用标准的...
管理Notebook单元
Notebook单元是Notebook中用于构建内容的基本组件。通过向Notebook中添加单元，您可以创建和组织内容。不同类型的单元支持不同的操作和功能。本文将为您介绍各单元的使用场景和支持的管理操作。Markdown单元 Markdown支持您使用标准的...
分布式序列
数据访问代理上的逻辑表，示例如下：dbp_sequence 的分表规则，示例如下：物理数据库中的表和内容示例如下：说明 表中内容是客户端运行 SQL 后自动创建的，其中 SQL 是用来获取 sequence 的。获取 sequence 的 SQL 代码，示例如下：注意...
通过SQL模式创建API（服务单元）
注意事项 API的请求参数和返回参数需从同一个服务单元（单物理表服务单元或多物理表服务单元）中获取，否则后续无法正常调用该API。步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作...
使用SQL查询时序数据
创建时序表并建立SQL映射关系后，您可以通过控制台、SDK等不同方式使用SQL查询时序数据。时序表的SQL映射关系 根据每个时间线每个时刻对应一个值或者多个值，时序模型分为“单值模型”和“多值模型”。对于同一个时序表，您可以建立三种SQL...
SQL洞察
A：日志列表中所展示的数据库名称是从会话中获取的，而SQL语句中的数据库名称则由用户指定，取决于用户的输入或查询的设计，例如跨数据库查询、动态SQL等场景。两者之间可能存在不一致的情况。相关API API 描述 GetErrorRequestSample 异步...
SETPROJECT
工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。项目空间名称获取方式：登录 MaxCompute控制台，选择 工作区>项目管理，项目管理 页面的...
Flag参数列表
说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MiB，默认值为256 MiB。ALL 调度 Session odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句...
创建并管理数据集
当您分析的数据并不能直接从数据表中获取，而需要基于原始数据进行一定的加工时，可以新建计算字段。Quick BI支持丰富的字段计算，帮助您灵活的处理数据：聚合：例如通过客户名称统计客户数为 COUNT(DISTINCT[客户名称])四则运算：例如计算...
Quick BI的参数SQL应该怎样写
应用场景 如果某些要展示的数据无法从已有的数据表里直接取出，需要先对表内的数据做一次聚合、去重或者需要先聚合后再将多个表关联到一起等复杂加工，然后再应用处理后的结果取数，那么此时就需要通过SQL创建数据集。参数SQL创建数据集...
使用Java SDK创建定时SQL任务
public class App {/本示例从环境变量中获取AccessKey ID和AccessKey Secret。static String accessId=System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");static String accessKey=System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");设置...
使用限制
2、SQL语句中的常量字符串如果自身包含了单引号，则每个单引号使用两个单引号来表示，如 SELECT 'ab '' c' FROM t；字符串实际值为ab ' c SELECT 'ab '''' c' FROM t；字符串实际值为ab '' c；3、动态参数中字符串类型的转义问题建议参考 ...
使用SQL导入MaxCompute的数据至Hologres
使用 INSERT 语句将MaxCompute源头表中的数据导入至Hologres，您可以选择部分字段导入（字段顺序需要一一对应），也可以选择全部字段导入，示例DDL如下。部分字段数据导入 INSERT INTO holo_customer(c_customer_sk,c_customer_id,c_email_...
自定义 HINT
自定义路由 HINT 基本语法：/*+DBP:$ROUTE={GROUP_ID(分片位),TABLE_NAME(物理表名)}*/SQL 语句 路由 HINT 使用说明：GROUP_ID 表示指定的分片 ID，数值类型 TABLE_NAME 表示数据所在的物理表名。如果仅存在分库规则，无分表规则的话，...
时空数据库版本发布记录
Raster SQL 修复等值线/等值面生成函数 ST_Contour 中band参数变为从0开始的问题。Trajectory SQL 修复轨迹模块因为依赖pg_type导致无法安装的问题。Importer SQL 修复 ST_ImportOSGB 函数导入OSGB时会崩溃的问题。5.7 类别 说明 新增特性 ...
时空数据库版本发布记录
Raster SQL 修复等值线/等值面生成函数 ST_Contour 中band参数变为从0开始的问题。Trajectory SQL 修复轨迹模块因为依赖pg_type导致无法安装的问题。Importer SQL 修复 ST_ImportOSGB 函数导入OSGB时会崩溃的问题。5.7 类别 说明 新增特性 ...
时空引擎版本发布记录
修复 ST_AsEWKB 函数无法转换从数据表中构建出的轨迹问题。修复 ST_BuildPyramid 函数，解决超大数据构建矢量金字塔时的内存占用问题。4.8 新特性 增强 ST_Union 函数，支持按内存使用量分批次执行，避免大数据量造成OOM。新增 ST_SetValue...
监控指标常见问题
未走Fixed Plan的 insert、update 或 delete 命令会产生表锁，Query并发会造成锁等待，可以从业务上判断是否可以改写为走Fixed Plan的SQL，避免表锁，降低CPU水位。示例查看过去一小时未走fixed plan的insert/update/delete select*from ...
Spark SQL、Dataset和DataFrame基础操作
Spark SQL可以用于执行SQL查询并从Hive表中读取数据。Dataset是数据的分布式集合。Dataset是Spark 1.6中添加的一个新接口，它集成了RDD和Spark SQL的优点，可以从JVM对象构造数据集，然后使用函数转换（Map、FlatMap或Filter等）进行操作。...
Quick BI的SQL数据集保存报错“自定义sql保存报错”
产品名称 Quick BI 产品模块 数据集 概述 本文向您介绍SQL数据集保存报错如何处理。问题描述 SQL数据集能够运行，但是保存时会报错“自定义sql保存报错”。...检查SQL中表名是否有特殊符号。2.检查表名是否超过150个字符。
调整实例sql_mode参数
sql_mode是MySQL的一个系统变量，用于设置服务器对SQL语句的解析和执行规则。它可以影响MySQL的行为，包括语法规范、数据校验、数据类型转换和错误处理等。本文介绍sql_mode的参数取值规则和取值解释，您可以根据实际业务进行调整。参数...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
数据管理的审计事件
GetDataCorrectSQLFile 获取数据变更工单SQL附件。GetDataCorrectTaskDetail 获取数据变更任务详情。GetDataCronClearTaskDetailList 获取历史数据清理工单历史任务详情。GetDataExportDownloadURL 获取数据导出结果附件下载地址。...
API概览
GetTableColumnStatistics 获取元数据表字段的统计信息 获取数据湖元数据表指定字段的统计信息。GetTableVersion 获取元数据表指定版本 获取数据湖元数据表的一个指定版本。ListTableNames 获取元数据表名称列表 仅用于查询数据湖元数据表...
SQL脚本
您可以在SQL语句中，使用${lifecycle} 参数自动获取当前工作空间设置的临时表生命周期，默认为28天。说明 如果您在SQL语句中自行创建了数据表，请按需设置临时表的生命周期，详情请参见 设置工作空间临时表清理时间。如果您在可视化参数...
数据库自治服务的审计事件
GetSqlListByTable 根本表获取SQL。GetSqlOptimizeAdvice 查询自动SQL优化产生的诊断建议。GetSqlOptimizeDataDetail 获取SQL治理的明细。GetSqlOptimizeDataTop 获取SQL治理的红黑榜数据。GetSqlOptimizeDataTrend 查询SQL治理的趋势数据...
DBMS_SQL
FETCH_ROWS(c)函数 INTEGER 从游标中获取的行数。IS_OPEN(c)函数 BOOLEAN 查看游标是否打开。LAST_ROW_COUNT 函数 INTEGER 返回获取的累计行数。OPEN_CURSOR 函数 INTEGER 打开游标。PARSE(c,statement,language_flag)存储过程 N/A 解析...
管理表结构版本
在 普通数据变更、无锁数据变更、结构设计、结构同步 等工单中执行修改表结构的SQL。在SQL任务中执行修改表结构的SQL（由管理员发起）。说明 若数据库在DMS以外发生结构变更，您可以在DMS中进行如下操作，同步元数据（获取并保存最新的表...
功能特性
您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、折线图、饼图等图形或组件展现出来，并对这些图形或组件进行自由组合、布局，以某种分析思路对业务进行直观呈现。数据分析概述 访问数据分析...
管理健康报告
参数化SQL分析从SQL执行频次、SQL执行总耗时、SQL耗时离散度、SQL CPU资源总消耗、SQL内存资源总消耗、SQL执行失败频次等维度进行排序，获取相应的TOP SQL并展现相关指标。通过参数化SQL分析，您可以：获取StarRocks数据库整体的SQL执行...
表批读写
sub(current_date(),1)任意可以转换为时间戳的其它表达式 version是一个长整型数值，可以从DESCRIBE HISTORY table_spec查询中获取到。时间戳表达式和版本都不能是子查询。SQL%sql SELECT*FROM events TIMESTAMP AS OF '2018-10-18T22:15:...
FineBI
Hologres默认把表中第一个时间戳类型作为Segment_key。您可以通过创建带参数的SQL数据集，当您的SQL的执行计划中有 Segment Filter 关键字出现时，即表示Segment_key已经生效，您可以使用带参数的SQL数据集创建的时间控件。创建带参数的SQL...
SQL概述
SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确查询（TermQuery）等以及通过多元索引的统计聚合能力进行查询，例如数据表中满足某个条件的个数、某列求和等。基本概念 SQL的使用...
通过SQL模式创建API（Dataphin表）
注意事项 API的请求参数和返回参数需从同一个Dataphin逻辑表中获取，否则后续无法正常调用该API。步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作指引，进入 API创建方式选择 ...
RDS SQL Server空间不足问题
数据压缩比由表结构、列的数据类型和数值分布情况等决定，跨度较大，例如从10%到90%。SQL Server中提供了一个专用的存储过程 sp_estimate_data_compression_savings 可以帮助您快速评估在指定的表或索引上开启压缩可以节省多少数据存储空间...
图表管理
图表可视为对透视表进行可视化编码，通过将透视表中的维度和度量转换为轴来做图形化展示。在透视驱动逻辑下，每个度量可以做不同的图形编码，在维度栏中最下层级的维度可以视为公用的维度轴。适用于少量数据在客户端的自由分析场景。数据...
计划缓存(Auto Plan Cache)
获取Plan Cache中的缓存信息 SQL语句的执行计划存储在SQL Sharing模块中，您可以通过以下SQL语句在 INFORMATION_SCHEMA.SQL_SHARING 表中查询Plan Cache中的缓存信息。SELECT TYPE,REF_BY,SQL_ID,SCHEMA_NAME,DIGEST_TEXT,PLAN_ID,PLAN,...
DMS作业调度
例如通过表中时间列按天归档。RDS PostgreSQL实例、AnalyticDB PostgreSQL版 实例和OSS Bucket需在同一地域内。准备工作 AnalyticDB PostgreSQL版 创建 AnalyticDB PostgreSQL版Serverless模式 实例，如何创建实例，请参见 创建实例。创建...
- 产品推荐
- 这些文档可能帮助您