将MySQL数据库的表导出为一个SQL文件
本文为您介绍将云虚拟主机MySQL数据库的表导出为一个SQL文件的方法。前提条件 本地主机已安装SQLyog。说明 您可以前往 SQLyog官网 下载。背景信息 如果您通过云虚拟主机管理控制台，下载并解压缩云虚拟主机数据库的备份文件到本地，则可以...
Split Size Hint
SQL中有两个读表src的地方，一个Hint为1MB一个为10MB，那么最后会按照1MB来切分。SQL中有两个读表src的地方，一个Hint为1MB一个没有，那么最后会按照1MB来切分。使用场景 当您发现作业有很多子任务都在等待资源，没有办法申请到更多资源的...
SELECT 语法
在使用数据访问代理时，您可以通过 SELECT 语句从一张或多张表中查询数据。基本语法[HINT]SELECT[ALL]select_expr[,select_expr.][FROM table_references[WHERE where_condition][GROUP BY {col_name|expr}[ORDER BY {col_name|expr}[ASC|...
WITH查询（公共表表达式）
WITH 子句定义了两个辅助语句 regional_sales 和 top_regions，其中 regional_sales 的输出用在 top_regions 中而 top_regions 的输出用在主 SELECT 查询。这个例子可以不用 WITH 来书写，但是我们必须要用两层嵌套的子 SELECT。使用这种...
Logview诊断实践
例如：两个表Join，左表是人口数据，数据量很大，但是由于并行度足够，效率可观。右表是个维表，记录每种性别对应的一些信息（比如每种性别可能的坏毛病），虽然只有两种性别，但是每种都包含数百行。那么如果直接按照性别来Join，可能会让...
深度解析PolarDB数据库并行查询技术
如果改为并行HASH JOIN，并行优化器会对串行执行的HASH JOIN进行并行化改造，使之成为并行HASH JOIN，并行化改造的方案可以有以下两种解决方案：方案一：是将2个表都按HASH key进行分区，相同HASH值的数据处于同一个分区内，由同一个线程...
SELECT
element[,.])并且 with_query 是：with_query_name[(column_name[,.])]AS[[NOT]MATERIALIZED](select|values|insert|update|delete)TABLE[ONLY]table_name[*]说明 SELECT 语句支持在单个或多个表中检索目标行。SELECT 的通常处理如下：WITH...
表删除，更新和合并
从表中删除 从最新版本的Delta表中删除数据，但直到显示清除旧版本后才从物理存储中删除数据。例如，要删除2017年之前的所有事件，可以运行以下命令：SQL%sql DELETE FROM events WHERE date*from pyspark.sql.functions import*deltaTable...
依赖关系
若同一个工作空间中，两个调度节点往同一张表插入数据，自动解析场景下将导致其中一个节点产生报错：当前工作空间${projectname}的节点${nodename1}和${projectname}的节点${nodename2}的输出名称相同：${node_outputname}，不能多个节点...
Presto FAQ
注意 上面的SQL语句中您只需要修改tbl为您真实的表名，其它部分不用修改。如何查询CSV文件的中文出现乱码问题？原因：在Linux中使用 file 命令查看文件编码，之后建表的时候使用 LazySimpleSerDe作为Serde。解决方案：如果原始编码为 ISO-...
表批读写
SQL%sql SELECT*FROM events TIMESTAMP AS OF '2018-10-18T22:15:12.013Z' SELECT*FROM delta.`/mnt/delta/events` VERSION AS OF 123 DataFrameReader选项 您可以使用DataFrameReader从特定版本的Delta表中创建DataFrame Python%pyspark ...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI推出自研的基于大语言模型的自然语言到数据库查询语言转义（Large Language Model based Nature Language to SQL，简称LLM-based NL2SQL）解决方案，PolarDB for AI会...
执行计划和基本算子
背景信息 通常SQL调优的过程离不开以下两个步骤：分析问题，例如通过 EXPLAIN 命令查看执行计划，您也可以通过 EXPLAIN ANALYZE 查看实际执行情况来分析问题。（参见 查询执行器介绍 章节）。通过 Hint 控制优化器行为，修改执行计划。执行...
RDS PostgreSQL慢SQL问题
SQL优化示例 本节列举两个示例，分别使用EXPLAIN命令对SQL优化前后的表进行分析，对比一下前后的差距。无索引表的优化 SQL优化前：对无索引的表T1执行 explain analyze select*from t1 where id=1;命令的返回结果如下。QUERY PLAN-Gather...
DataWorks V2.0
一个 DataWorks工作空间对应两个MaxCompute项目，分别是开发环境和生产环境，详情请参见 简单模式和标准模式的区别。隔离风险，进一步保障生产环境代码的稳定性。数据开发 任务开发 整体功能 进行单任务、工作流的代码编写、周期调度配置，...
组件参考：所有组件汇总
K近邻 该组件进行分类的原理是针对预测表的每行数据，从训练表中选择与其距离最近的K条记录，将这K条记录中类别数量最多的类，作为该行的类别。逻辑回归多分类 该组件是一个二分类算法，PAI提供的逻辑回归可以支持多分类，且支持稀疏及稠密...
使用Logview 2.0查看作业运行信息
例如，简单的MapReduce通常会产生两个Fuxi Task，一个是Map一个是Reduce，两个Fuxi Task的名称分别为M1和R2，当SQL比较复杂时，可能会产生多个Fuxi Task。您可以在执行界面上看到每个Fuxi Task的名称。例如M1，表示一个Map Task；R4_3_9的3...
高性能Flink SQL优化技巧
本文将从作业配置和Flink SQL优化两方面为您介绍如何提升Flink SQL作业性能。作业配置优化推荐方案 资源优化技巧 VVP中限制了JobManager和TaskManager的CPU的实际使用大小，配置了多少个CPU，最大就只能使用多少个CPU。因此在资源优化时，...
V5.4.x系列实例版本说明
修复在无主键的表上修改拆分键，报错信息会不准确的问题。修复当查询结果中单行数据量超过16 MB时，查询结果的数据包未做切分导致报错的问题。修复主键数据类型为UNSIGNED BIGINT的全局二级索引表，全局二级索引的数据回填进度不正确的问题...
DBMS_SQL
DBMS_SQL包提供查询 PolarDB PostgreSQL版（兼容Oracle）动态SQL的功能，可以在应用运行时构建查询。PolarDB PostgreSQL版（兼容Oracle）支持查询动态SQL，且以与Oracle兼容的方式来使用动态SQL。表 1.DBMS_SQL函数/存储过程 函数/存储过程...
新功能发布记录
数据脱敏管理 支持影子表同步功能，根据源表的表结构在同一个数据库中自动创建和同步影子表结构。影子表同步 影子表同步任务 支持分区计划功能，自动预创建和删除过期的 RANGE 分区和 RANGE COLUMNS 分区。分区计划 分区计划任务 支持 SQL ...
新建函数
概述 函数是在数据库内定义的子程序，可以从内置 SQL 语句中调用函数。如果自带的函数不能满足业务需求，则可以通过 ODC 新建函数，添加自定义函数，以实现某些功能运算和完成各种特定操作，且自定义函数可以减少重复编码，提高程序可读性...
概述
使用指定模式创建的黑白名单SQL语句，即使对应的黑白名单规则都被禁用或被删除，其在数据库表中的SQL语句仍然会被保留。如果对应的黑白名单再次被启用，同账号的规则还是会生效。如果您想彻底删除黑白名单，可通过超级账号连接到对应集群的...
SQL性能问题
TopN优化方法 无排名优化 TopN的输出结果不需要显示rownum值，仅需在最终前端显示时进行1次排序，极大地减少输入结果表的数据量。无排名优化方法详情请参见 Top-N。增加TopN的Cache大小 TopN为了提升性能有一个State Cache层，Cache层能...
2021年
2021-11-29 华北2（北京）华东2（上海）华北3（张家口）华东1（杭州）华南1（深圳）网络开通流程 MaxCompute支持清空分区表中指定分区的数据 MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据，但不会删除分区表或者分区表...
调整实例sql_mode参数
在默认情况下，上述查询中的两个单引号之间的反斜杠是用于转义的。然而，当设置 sql_mode 为 NO_BACKSLASH_ESCAPES 时，反斜杠将被视为普通字符，而不是转义字符。因此，上述查询将返回 It\'s a test，而不是 It's a test。说明 NO_...
通过直连数据源模式创建API
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连API模式生成API。步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作指引，进入 API创建方式选择 对话框。在 ...
时空数据库版本发布记录
新增 ST_ImportOSGB 函数，支持将基于对象存储的OSGB数据按照固定的表结构导入到数据库中。新增 ST_ImportIFC 函数，支持将基于对象存储的IFC数据按照固定的表结构导入到数据库中。新增支持Scene数据类型的模型合并操作：新增 ST_...
时空数据库版本发布记录
新增 ST_ImportOSG 函数，支持将基于对象存储的OSGB数据按照固定的表结构导入到数据库中。新增 ST_ImportIFC 函数，支持将基于对象存储的IFC数据按照固定的表结构导入到数据库中。新增支持Scene数据类型的模型合并操作：新增 ST_...
访问CDC数据
Lindorm CDC数据源从Kafka中读取数据，每一条操作记录都会被保存。Lindorm CDC数据源的Schema支持以下meta字段：字段名 类型 说明 字段配置值_cdc_timestamp_kafka long 该操作记录写入Kafka的时间戳。单位为毫秒。无需配置，Schema中包含...
公告
那么您需要在运行含有UDF的SQL任务前，将上述的两个参数替换为如下新参数即可，详情请参见 通过UDF访问VPC网络资源。set odps.session.networklink=your_networklink_name 外部表场景 若您在建表DDL语句中加入VPC开关、访问的VPC、对应的IP...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
Spark SQL、Dataset和DataFrame基础操作
本文为您介绍Spark SQL、Dataset和...val peopleDF=spark.read.json("examples/src/main/resources/people.json")peopleDF.write.parquet("people.parquet")示例2：通过SQL从parquetFile表中读出年龄在13岁到19岁之间的年轻人的名字...
SQL组件概述
组件是一种带有多个输入参数和输出参数的SQL代码过程模板，而SQL代码过程可通过引入一个或多个源数据表，并进行过滤、连接、聚合等操作，加工出业务所需的目标表，因此，您可通过组件快速加工出符合业务需求的目标表。本文为您介绍组件的...
约束条件
说明 详细内容请参考Databricks官网文章：约束条件 注意 ...CHECK约束在和命令的输出中显示为表属性。DESCRIBE DETAILSHOW TBLPROPERTIES SQL%sql ALTER TABLE events ADD CONSTRAINT validIds CHECK(id>1000 and id);DESCRIBE DETAIL events;
常见问题
有的同一数据集的两个表可以用高级联动功能，而有的同一个数据集的两个表却不能使用高级联动功能？图表联动设置时提示“请设置维度关联关系，并关联非同源字段”？指标看板中没有维度，不能设置联动么？仪表板可以创建事件吗？例如单击A...
算子介绍
本文介绍了一些基本的算子含义和实现。算子介绍 含义 算子 可下推至DN的算...GROUP BY `k` ORDER BY `k`")WHERE id>1000 中的条件没有对应的Filter算子，是因为这个算子最终被下推到了LogicalView中，可以在LogicalView的SQL中看到 WHERE(id>?
typeconv-overview
值存储 SQL INSERT 和 UPDATE 语句将表达式的结果放入表中。语句中的表达式类型必须和目标列的类型一致（或者可以被转换为一致）。UNION、CASE 和相关结构因为来自一个联合的 SELECT 语句中的所有查询结果必须在一个列集中显示，所以每个 ...
设置调度依赖最佳实践
配置任务依赖实质上是给两个节点设置依赖关系。只有真实存在的节点，才能够设置有效的依赖关系。无效的上游依赖 无效的上游依赖通常有以下两种情况：父节点不存在。父节点输出不存在。通常由于解析出来的父节点输出名称不存在，会导致上游...
通过自治服务解决MySQL实例CPU使用率过高的问题
本文将介绍如何使用数据库自治服务DAS（Database Autonomy Service）（原CloudDBA）来定位系统中的慢SQL和其它异常SQL语句，您可通过自治服务提供的建议优化这些SQL语句，降低实例的CPU使用率以提升系统效率。问题描述 在使用云数据库RDS ...
- 产品推荐
- 这些文档可能帮助您