CLONE TABLE
当您需要将一张表中的数据复制到另一个表中时，可以使用MaxCompute的 clone table 功能，提高数据迁移效率。...最佳实践 实现同Region的MaxCompute项目数据迁移请参见 使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移。
扫描全部/部分分库分表
CONDITION="condition_string"#使用TABLE和CONDITION中的内容计算物理库表名称[,NODE="node_list"])#过滤通过CONDITION计算出的结果，仅保留指定物理库#将SQL语句下发到指定分库分表上执行，显式指定物理表名 SCAN([TABLE=]"table_name_...
如何优化数据全量抽取
Get partition id and physical table name of given logical table try(final ResultSet rs=statement.executeQuery(MessageFormat.format(topology,logicalTableName))){ while(rs.next()){ partitionTableMap.computeIfAbsent(rs....
排序和翻页
Java SDK：排序和翻页 Go SDK：排序和翻页 Python SDK：排序和翻页 Node.js SDK：排序和翻页.NET SDK：排序和翻页 PHP SDK：排序和翻页 索引预排序 多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，使用多元索引查询数据时，...
列存索引中TopK算子的实现
PolarDB MySQL版 IMCI最初也采用了上述方式来实现分页查询，并在内存不足以缓存大小为K的堆时，采用了全表排序后取相应的位置记录的方式，所以在深翻页时的性能表现也不是非常理想。为此，在分析了深翻页场景的特点和传统方案存在的问题，...
使用Hologres实现分页
Hologres支持为实时报表等场景提供分页能力，本文为您介绍几种常见的分页实践，您可以根据业务需求选择合适的方案，以达到更佳的查询性能。分页决策树 分页SQL命令语法如下。SELECT.FROM.ORDER BY key LIMIT N OFFSET S SQL实现原理：对于...
SQL查询介绍
通过控制台使用SQL查询 通过命令行工具使用SQL查询 使用SDK 通过JDBC使用SQL查询 JDBC连接表格存储 通过Hibernate使用 通过MyBatis使用 使用Go语言驱动 计费说明 SQL本身不会有额外的费用，但是使用SQL查询数据过程中涉及到的表扫描、索引...
采集MySQL查询结果
是否使用limit分页 选中该选项后，将使用Limit分页。建议使用 Limit 进行分页。选中 是否使用limit分页 后，进行SQL查询时，系统将自动在SELECT语句中追加LIMIT语句。分页大小 分页大小。选中 是否使用limit分页 后，需要配置。同步最大...
7.数据加载
数据过滤、排序、分页 平台提供 API，可以对要加载的数据，进行过滤、排序和分页操作。DataSource 的 configDataFilter API 用于配置过滤、排序、分页条件。DataSource 的 refreshData API 用于重新请求数据。重新请求数据之后，后续再调用...
采集SQL Server查询结果
不配置时，默认使用 false，表示不使用Limit分页。建议使用 Limit 进行分页。设置 Limit 为 true 后，进行SQL查询时，会自动在 StateMent 中追加LIMIT语句。PageSize int 否 分页大小，Limit 为 true 时必须配置。MaxSyncSize int 否 每次...
采集PostgreSQL查询结果
不配置时，默认使用 false，表示不使用Limit分页。建议使用 Limit 进行分页。设置 Limit 为 true 后，进行SQL查询时，会自动在 StateMent 中追加LIMIT语句。PageSize int 否 分页大小，Limit 为 true 时必须配置。MaxSyncSize int 否 每次...
SELECT
HINT 宽表引擎和时序引擎支持通过Hint优化查询计划或实现特定的查询功能。详情请参见 HINT简介。示例 本文提供的示例基于CREATE TABLE文档和UPSERT文档的示例语句。CREATE TABLE sensor(device_id VARCHAR NOT NULL,region VARCHAR NOT ...
轨迹生成
在车联网场景中，为了方便分析和预测，车辆的实时位置点会被聚合为一条轨迹线，每产生一个新的位置点都会被追加至轨迹线中。因为位置点是实时上传的且数据量较大，所以数据库在处理追加数据的操作时通常会消耗大量的IO。为解决这一问题，...
通过向导模式生成API
当您的排序列表中有多个字段时，序号越小的字段，排序的优先级越高，您可以通过 上移 和 下移 操作来调整排序字段的优先级。对于每个排序字段，您均可以选择 升序 或 降序 的方式进行排序。单击API编辑页面右侧的 请求参数，配置各项参数。...
Hudi
本文为您介绍如何使用Hudi连接器。背景信息 Apache Hudi是一种开源的数据湖表格式框架。Hudi基于对象存储或者HDFS组织文件布局，保证ACID，支持行级别的高效更新和删除，从而降低数据ETL开发门槛。同时该框架还支持自动管理及合并小文件，...
Lock Table和Unlock Table
Dataphin中支持使用Lock Table和Unlock table对物理表进行锁定和解锁。例如，Insert语句执行异常后，该表或分区将被锁住无法操作，这时您可以通过unlock table语法解锁表或分区。本文为您介绍Lock Table、Unlock Table及Show Locks语法。...
API调用特殊参数
使用场景 交管云控平台使用 数据资源平台 统一服务作为数据服务发布、管理的平台，交通行业线的API开发者在为API服务编写查询SQL时，会选择使用比较基础的语法，例如只包含select和where条件做一些简单的查询逻辑。等到API开发完成上线后，...
API调用特殊参数
使用场景 交管云控平台使用 企业数据智能平台 统一服务作为数据服务发布、管理的平台，交通行业线的API开发者在为API服务编写查询SQL时，会选择使用比较基础的语法，例如只包含select和where条件做一些简单的查询逻辑。等到API开发完成上线...
列出多元索引列表
查询数据时支持使用 排序和翻页、折叠（去重）等功能实现数据排序和数据去重。您也可以组合多种条件查询数据，具体操作，请参见 多条件组合查询。如果要使用某个多元索引统计和分析数据，您可以使用统计聚合功能实现最值、求和、求平均值、...
概述
为便于介绍，在自建集群上将分别使用Datastream和Table/SQL两种Demo来实现以上计算逻辑。为了快速进行三种场景的自建Flink作业迁移过程，您需要提前进行以下操作：下载代码示例 请单击 代码示例 下载实现代码。下载文件说明如下：Table/SQL...
排序和翻页
索引预排序 多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，使用多元索引查询数据时，IndexSort决定了数据的默认返回顺序。在创建多元索引时，您可以自定义IndexSort，如果未自定义IndexSort，则IndexSort默认为主键排序。...
ListApplications-查询应用列表
推荐在实现严格遍历时，使用 id 属性 id sort string 是 分页排序升降序，asc 为升序，desc 为降序；推荐在实现严格遍历时，使用升序 asc nextToken string 否 键集分页 token，获取第一页数据时无需传入，否则需要传入前一页查询结果中的 ...
MAX_PT
返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现，select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...
列存表使用排序键和粗糙集索引加速查询
如何选择排序键和排序方式 当您的查询SQL经常包含某一个列或者某几个列的等值或者范围限定条件查询时，比如时间列等，可以考虑使用这些列作为排序键，从而利用数据排序并结合粗糙索引，加速这类SQL的查询速度。一般情况下建议使用组合排序...
排序和翻页
索引预排序 多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，使用多元索引查询数据时，IndexSort决定了数据的默认返回顺序。在创建多元索引时，您可以自定义IndexSort，如果未自定义IndexSort，则IndexSort默认为主键排序。...
如何实现分页查询
本文详细介绍如何实现分页查询。表 如果只有表，没有多元索引，您可以通过以下方式进行翻页：重要 通过表主键查询数据时不支持获取整个范围的行数和总页数。使用nextStartPrimaryKey翻页：每次GetRange请求的Response中会有一个...
排序和翻页
索引预排序 多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，使用多元索引查询数据时，IndexSort决定了数据的默认返回顺序。在创建多元索引时，您可以自定义IndexSort，如果未自定义IndexSort，则IndexSort默认为主键排序。...
Hash Clustering
从上图可以看到，Shuffle的时候需要一次计算，并且中间结果需要落盘，后续Reducer读取的时候，又需要读取和排序的过程。对于 M 个Mapper和 R 个Reducer的场景，将产生 M x R 次的IO读取。对应的Fuxi物理执行计划如下所示，需要两个Mapper ...
交换分区
如果您计划向分区表添加大量数据，可以使用 ALTER TABLE…EXCHANGE PARTITION 命令来实现批量加载。您还可以使用 ALTER TABLE…EXCHANGE PARTITION 命令删除旧的或不需要的数据进行存储。当 ALTER TABLE…EXCHANGE PARTITION 命令执行完成...
排序和翻页
索引预排序 多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，使用多元索引查询数据时，IndexSort决定了数据的默认返回顺序。在创建多元索引时，您可以自定义IndexSort，如果未自定义IndexSort，则IndexSort默认为主键排序。...
多元索引嵌套类型
创建包含嵌套类型列的多元索引映射关系，SQL示例如下：CREATE TABLE `test_table_test_table_index`(`col_nested` MEDIUMTEXT)ENGINE='searchindex' ENGINE_ATTRIBUTE='{"index_name":"test_table_index","table_name":"test_table"}';...
Quick BI v3.11.0版本说明
差异性 旧交叉表 新交叉表 优势 取数逻辑 先根据配置取1W条，再计算总计、小计、处理分页、排序等逻辑。根据全量数据计算，总计、小计根据指标原有配置进行计算，计算完成后再分页。总计、小计或排序均可能影响计算结果。因此，优化后的...
排序
rec_sln_demo_user_table_preprocess_all_feature_v2 rec_sln_demo_item_table_preprocess_all_feature_v2 rec_sln_demo_behavior_table_preprocess_v2 实现排序 进入PAI-Designer页面。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在...
pgvector兼容模式使用指南
使用pgvector可以方便地构建向量索引，执行向量之间的相似度计算和查询，常用于向量相似度搜索、推荐系统、聚类分析等场景。前提条件 使用pgvector兼容模式前，请先满足以下条件：AnalyticDB PostgreSQL 6.0版 实例的内核版本需为v6.6.1.0...
查询数据
ORDER BY排序（order_condition）通过ORDER BY子句按照指定字段和排序方式对查询结果集进行排序。使用规则如下：支持使用ASC或者DESC关键字设置排序方式。默认按照升序（ASC）排列。SELECT*FROM orders ORDER BY orderprice DESC LIMIT 10;...
如何在较大结果集中使用ORDER BY
使用场景 常见Lindorm SQL的ORDER BY语法使用场景如下：在数据量较小（10万内的数据量）的结果集场景中，使用ORDER BY可以在内存中计算，没有任何使用限制。这种场景需要开启在内存中计算功能，如果需要开启，请联系Lindorm技术支持（钉钉...
RDS MySQL助力MySQL 5.7升级8.0
为避免出现字符集引发的问题，在升级前需要检查MySQL中的字符集和排序规则使用情况，您也可以通过下述SQL来修改库、表、字段的字符集和排序规则。SQL#修改库的字符集和排序规则 ALTER DATABASE database_name CHARACTER SET=charset ...
表统计信息查看与分析
Hologres从 V1.3版本开始提供表统计信息日志系统表（hologres.hg_table_info）按日收集实例内表的统计信息，帮助您对实例中的表信息进行查看、分析，以便您可以根据这些信息采取优化措施。本文将会介绍在Hologres中如何查看表统计信息并...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
- 产品推荐
- 这些文档可能帮助您