分区剪裁合理性评估
如果分区剪裁条件放在ON子句中，从表的分区剪裁会生效，主表则不会生效。下面针对三种JOIN具体说明：LEFT OUTER JOIN 分区剪裁条件均放在ON子句中 set odps.sql.allow.fullscan=true;explain select a.seller_id,a.pay_ord_pbt_1d_001 from...
Quick BI的SQL数据集保存报错“自定义sql保存报错”
产品名称 Quick BI 产品模块 数据集 概述 本文向您介绍SQL数据集保存报错如何处理。问题描述 SQL数据集能够运行，但是保存时会报错“自定义sql保存报错”。解决方案 1.检查SQL中表名是否有特殊符号。2.检查表名是否超过150个字符。
Quick BI中加速对SQL语法的要求
加速引擎的逻辑是：数据从MaxCompute同步到Presto中，然后用相同SQL在Presto中查询，所以需要使用二个环境都支持的SQL语法。Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。适用于 Quick BI
表结构说明
各字段说明如下：字段 描述 Id mysql.sql_sharing 表中数据行的自增ID。Sql_id 模板化SQL语句的SQL ID。Schema_name 执行SQL语句所在的Schema的名称。Type 该记录被哪些功能引用。Digest_text 模板化后的SQL语句。Plan_id 执行计划ID。Plan...
血缘查看
SELECT column1,column2 FROM table1 WHERE column3 IN(SELECT column4 FROM table2 WHERE column5='value')可正常展示血缘的SQL命令示例：示例1：创建名为A的表（不包含具体列信息），同时从B表中选择某些具体列（不包含*）作为A表的内容...
数据查询
查询已有数据 支持查询 SQL表 和 HBase表 中已有的数据。在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。设置筛选条件，包括 namespace 和 表。可选：输入列簇、row key、start key（分区起始Key）、end key（分区...
访问数据可视化功能
在顶部菜单栏中，选择 SQL窗口>SQL窗口。在 请先选择数据库 对话框中，搜索并选择数据库，单击 确认。在页面左侧的 表 页签中，右键单击目标表，选择 数据可视化，进入 数据分析 功能的 新建数据集 页面。方式三：SQL结果集一键可视化 登录...
SQL查询
SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确查询（TermQuery）等以及通过多元索引的统计聚合能力进行查询，例如数据表中满足某个条件的个数、某列求和等。SQL示例 查询当前...
行级管控
成功添加行级管控后，在没有申请行权限前，您不能在SQL窗口中查看该目标表中的数据。可选：申请单值行权限，需要添加管控值。在目标管控组的操作列中，单击 详情。在 管控值详情 面板，单击 添加行值。在 导入行值 对话框中，选择是否追加...
配置Microsoft SQL Server输入组件
Microsoft SQL Server输入组件用于读取Microsoft SQL Server数据源的数据。同步Microsoft SQL Server数据源的数据至其他数据源的场景中，您需要先配置Microsoft SQL Server输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍...
SQL任务开发
您也可以在下拉列表中选择 连接SQL compute，直接创建一个新的SQL Compute。Compute更多介绍，请参见 管理Compute。在新建的任务编辑器中输入SQL语句。（可选）在任务开发页面右侧，您可以单击 版本信息 页签，查看版本信息。您可以在此处...
管理表结构版本
进入版本管理的方式：在DMS左侧的实例列表中，展开目标实例，右键单击目标数据库，从弹出的列表中选择 版本管理。在目标数据库的SQL Console中，选择>版本管理。在实例管理的数据库列表页面，从 操作 列中选择 更多>版本管理（仅适用于管理...
新建 SQL 文件回放任务
选择解析文件 从下拉列表中选择已完成解析的文件。如果您是通过 解析文件列表 页面新建的 SQL 文件回放任务，则该参数不支持修改。目标端数据库实例 从下拉列表中选择目标端数据库实例。基准数据迁移 包括 已完成数据迁移 和 使用备份数据...
DML差异
根据SELECT的结果将许多行快速插入到表中，可以从一个或多个表中进行选择。INSERT.ON DUPLICATE KEY UPDATE 支持，详情请参见 INSERT ON DUPLICATE KEY UPDATE。说明 目前仅3.1.3.5及之后版本的集群支持。不支持更新主键列。如果指定ON ...
查看云虚拟主机SQL Server数据库中表的大小
当您的云虚拟主机SQL Server数据库剩余可用空间较小时，您可以查看数据库中所有表的大小，并删除有异常的或者无用的表，以便享有更多的可用空间。本文为您介绍查看云虚拟主机SQL Server数据库中表的大小的方法。操作步骤 登录待查看表大小...
SQL Console初体验
使用可视化的方式查看表数据 在 SQL Console 左侧的表列表中，右键单击目标表，选择 打开表，即可查看表数据。说明 若您需要筛选表数据，在该页面右上角 输入关键字进行过滤。变更表数据 使用SQL语句变更表数据 在SQL Console中输入变更表...
SQL 拦截
在新弹出窗口中，配置以下信息：数据库名称：从下拉菜单中选择要进行 SQL 拦截的目标数据库。名称：输入拦截规则的名称，仅支持数字、字母、下划线、中划线、64 个字符以内。单击 确定，完成拦截规则创建。返回 SQL 拦截规则列表，找到刚刚...
SQL处理优化
从节省计算成本的角度，还需要特别说明一个典型场景，在后付费的SQL查询场景中，由于Transactional Table 2.0源表数据可能存在大量中间状态的记录，即Update/Delete记录，而Storage Reader会读取出来所有的中间状态记录进行Merge，只输出...
配置Microsoft SQL Server输入组件
Microsoft SQL Server输入组件用于读取Microsoft SQL Server数据源的数据。同步Microsoft SQL Server数据源的数据至其他数据源的场景中，您需要先配置Microsoft SQL Server输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍...
SQL使用限制
SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK调用SQL的场景。WHERE 子句条件个数 256个 数量限制 WHERE 子句中的条件个数最大为256个。列记录长度 8 MB 数量限制 表中单个单元的最大长度为8 MB。IN的参数个数 1024 ...
SQL使用限制
SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK调用SQL的场景。WHERE 子句条件个数 256个 数量限制 WHERE 子句中的条件个数最大为256个。列记录长度 8 MB 数量限制 表中单个单元的最大长度为8 MB。IN的参数个数 1024 ...
Flink_SQL任务开发方式
以下示例代码实现了模拟数据的输入输出（从t1表中读数据写到t2表中）。说明 使用原生DDL+DML开发语句创建表，您需关闭Dataphin 编码规范 中的 禁止使用Flink原生DDL语句 设置。具体操作，请参见 编码规范。create temporary table t1(id ...
SQL使用限制项
SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK调用SQL的场景。列记录长度 8 MB 数量限制 表中单个单元的最大长度为8 MB。IN的参数个数 1024 数量限制 IN的最大参数限制，例如 in(1,2,3….,1024)。如果 in(…)的参数...
SQL窗口
实例名 您可以从当前已存在实例的下拉列表中选择目标实例名称。说明 当前实例列表会展示已登录和未登录实例名称。当您选择的为未登录实例时，您可以在执行完SQL语句并保存后，登录该实例即可在列表中看到新增的内容。数据库名称 Hologres...
Flink_SQL任务开发方式
以下示例代码实现了模拟数据的输入输出（从t1表中读数据写到t2表中）。说明 使用原生DDL+DML开发语句创建表，您需关闭Dataphin 编码规范 中的 禁止使用Flink原生DDL语句 设置。具体操作，请参见 编码规范。create temporary table t1(id ...
约束条件
Delta表支持标准的SQL约束管理子句，以确保自动验证添加到表中的数据的质量和完整性。当违反约束时，Delta Lake会抛出一个InvariantViolationException信号，表示无法添加新数据。支持两种类型的约束：NOT NULL：表示特定列中的值不能为...
查询与变更表结构
变更表结构 以在test_table表中新增Phone_number列为例介绍如何变更表结构。您还可以在 SQL Console 中进行例如新增外键索引、修改存储引擎等其它变更操作。通过SQL语句变更表结构 进入SQL Console。在 SQL Console 窗口中，输入表结构变更...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
SQL 编辑和执行
column_name column_type 指定数据表中每个列（字段）的名称和数据类型，如果创建多个列，需要用逗号隔开。SQL 窗口编辑区的工具栏中同时提供以下功能键：功能 说明 SQL 检查 单击该按钮检查 SQL 语法。执行计划 查看选中的或当前光标所在...
Spark SQL、Dataset和DataFrame基础操作
val peopleDF=spark.read.json("examples/src/main/resources/people.json")peopleDF.write.parquet("people.parquet")示例2：通过SQL从parquetFile表中读出年龄在13岁到19岁之间的年轻人的名字，并转化为DataFrame，随后通过Map操作将名字...
使用SQL查询数据时报错The sql scanned rows of main ...
当使用SQL查询数据出现扫描到的行数或者数据量超过限制的情况时，您可以根据具体的查询条件创建二级索引或多元索引来优化查询。问题现象 使用SQL查询数据时出现如下报错：[Message]:The sql scanned rows of main table exceeds the quota,...
TOP SQL
在左侧导航栏中，选择 自治服务>性能优化。选择 TOP SQL 页签，执行如下操作：查询实时TOP SQL 在页面右侧选择排序相关内容，并打开 自动刷新 开关。说明 实时TOP SQL的数据来源于实例启动后缓存中的数据，当有新增SQL或者原有SQL被执行时...
SQL查询介绍
SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确查询（TermQuery）等以及通过多元索引的统计聚合能力进行查询，例如数据表中满足某个条件的个数、某列求和等。基本概念 SQL的使用...
时间窗口SQL脚本
是否由系统添加Create Table语句 选中该复选框，则SQL脚本的最后一行SQL语句必须为Select语句，PAI会自动创建一个临时表，用来存储Select语句查询的结果。不选中该复选框，您需要自己在SQL语句中创建数据表${o1}，作为向下游传递的数据表。...
SQL组件概述
后续在使用SQL组件节点时，只需从代码组件列表中选择和自己的业务处理过程类似的组件，并为该组件配置自己业务中特定的输入表和输出表，无需再次编辑代码，便可直接生成新的SQL组件节点，极大提升了开发效率，避免重复开发。SQL组件节点...
配置SQL赋值节点
背景信息 SQL赋值节点赋予任务流获取表中数据作为下游节点的变量的能力。变量在任务节点中的应用如下：在单实例SQL节点中，变量可以作为表名，或用在筛选条件中。在脚本代码节点中，变量可以作为脚本的参数。在Lindorm文件检查节点中，变量...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
自定义SQL Console的使用规范
affected_rows>1000 then@act.reject_execute 'DML影响行数超过阈值1000,拒绝执行' else@act.allow_execute end 说明 该段安全规则DSL表示：在SQL Console中，执行语句为DML且影响行数大于1000行（系统默认值2000个）则拒绝执行，小于或...
表值函数
例如，在SQL语句中可以合并两个放在不同表中的数据。用编程的方式构造数据集，以某个固定的格式传递给用户终端。如果需要构造某些数据，表值函数可以直接通过函数生成构造好的数据，而省去了构造关系表。使用流水线函数提高并行查询的性能...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
- 产品推荐
- 这些文档可能帮助您