Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-srcPattern.*\.log-parallelism 20 执行以下命令，查看目标bucket的内容。hdfs dfs-ls oss:/<yourBucketName>/hourly_table/2017-02-01/03 返回信息...
HINT
SELECT/*+Leading((table2 table1)(table3 table4))*/*FROM table1 LEFT JOIN table2 ON table1.a=table2.a RIGHT JOIN table3 ON table1.a=table3.a LEFT JOIN table4 ON table3.a=table4.a ORDER BY table1.a;Runtime Filter ...
使用FeatureStore Python SDK搭建推荐系统
同步用户表：rec_sln_demo_user_table_preprocess_all_feature_v1（单击查看详情）CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_preprocess_all_feature_v1 like pai_online_project.rec_sln_demo_user_table_preprocess_all_...
建表时创建列存索引的DDL语法
示例：SHOW CREATE TABLE test.t1\G*1.row*Table:t1 Create Table:CREATE TABLE `t1`(`id` int(11)NOT NULL,`col1` int(11)DEFAULT NULL,PRIMARY KEY(`id`))ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='columnar=1' SHOW CREATE TABLE ...
分区和列操作
分区和列操作为您提供了变更MaxCompute中表的分区或列的操作方法，您可以根据实际业务场景执行相应操作。本文为您介绍如何添加或删除分区、添加或修改列及注释常用操作。分区和列操作详情请参见 分区和列操作。分区和列操作常用命令如下。...
字典编码Dictionary Encoding
不建议为实际内容为JSON，但保存为text类型的列设置字典编码。可以在建表之后单独使用设置字典编码。表示修改字典编码列，修改之后非立即生效，字典编码构建和删除在后台异步执行，详情请参见 ALTER TABLE。不建议关闭字典编码，会使得数据...
DDL
给定以下表定义和内容：CREATE TABLE persioninfo(a int,b int,c int,d int,PRIMARY KEY((a,b),c,d));SELECT*FROM persioninfo;a|b|c|d-+-+-+-0|0|0|0/row 1 0|0|1|1/row 2 0|1|2|2/row 3 0|1|3|3/row 4 1|1|4|4/row 5 Lindorm CQL中，...
Hologres开发规范
Table Group规范（可选）每个数据库都会有默认的Table Group和Shard数，您可以根据业务需要新建Table Group或者修改Shard数，以此达到更好的性能，建议规范如下。如无必要不要新建Table Group。数据量较大的表，可独立新建Shard数较大的...
pg_hint_plan
示例命令如下：/*+NestLoop(t1 t2)MergeJoin(t1 t2 t3)Leading(t1 t2 t3)*/SELECT*FROM table1 t1 JOIN table table2 t2 ON(t1.key=t2.key)JOIN table table3 t3 ON(t2.key=t3.key);说明 其中 NestLoop(t1 t2)：指定表t1和t2的连接方法。...
Hive作业配置
在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Hive类型作业。在页面左侧，在需要操作的文件夹上单击右键，选择 新建作业。在 新建作业 对话框中，输入 作业名称 和 ...
pg_hint_plan
示例命令如下：/*+NestLoop(t1 t2)MergeJoin(t1 t2 t3)Leading(t1 t2 t3)*/SELECT*FROM table1 t1 JOIN table table2 t2 ON(t1.key=t2.key)JOIN table table3 t3 ON(t2.key=t3.key);说明 其中 NestLoop(t1 t2)：指定表t1和t2的连接方法。...
DLF+EMR之统一权限最佳实践
可选服务：需要至少选中 Hive，DLF-Auth 组件，其他组件根据业务需要选择。元数据：选择 DLF 统一元数据。DLF数据目录：选择默认的DLF Catalog，或者新建一个数据目录（Catalog）。此处演示使用catalog_test做示例。继续其他配置完成EMR ...
使用Hologres实现分页
Hologres支持为实时报表等场景提供分页能力，本文为您介绍几种常见的分页实践，您可以根据业务需求选择合适的方案，以达到更佳的查询性能。分页决策树 分页SQL命令语法如下。SELECT.FROM.ORDER BY key LIMIT N OFFSET S SQL实现原理：对于...
DML操作常见问题
执行INSERT INTO或INSERT OVERWRITE操作插入数据时，需要保证SELECT得到的字段和目标表的字段匹配，匹配内容包括顺序、字段类型和总的字段数量。MaxCompute不支持插入表的指定字段，其他字段为NULL或者其他默认值时，您可以在SELECT时设置...
Python 3 UDTF读取MaxCompute资源示例
返回值中的第一个返回值是解析JSON过程中的出错信息，如果没有出错，则会根据输入的Key依次输出从JSON中解析出来的内容，使用示例如下。根据输入参数的个数定制输出别名个数。SELECT my_json_tuple(json,'a','b')as(exceptions,a,b)FROM ...
Java API
} DML操作/Table 为非线程安全对象，每个线程在对Table操作时，都必须从Connection中获取相应的Table对象 try(Table table=connection.getTable(TableName.valueOf("tablename"))){/插入数据 Put put=new Put(Bytes.toBytes("row"));...
约束
本文介绍了约束的相关内容。简介 数据类型是一种限制能够存储在表中数据类别的方法。但是对于很多应用来说，它们提供的约束太粗糙。例如，一个包含产品价格的列应该只接受正值。但是没有任何一种标准数据类型只接受正值。另一个问题是我们...
SQL诊断
仅包含 CREATE TABLE、DROP TABLE、TRUNCATE TABLE、ALTER TABLE、CALL、CREATE EXTENSION、CREATE FOREIGN TABLE、ALTER FOREIGN TABLE、IMPORT FOREIGN SCHEMA、DROP FOREIGN TABLE、CREATE SCHEMA、CREATE VIEW、DROP VIEW、GRANT、...
JindoDistCp使用说明
示例命令如下：jindo-distcp-tool-${version}.jar-src/data/hourly_table-dest oss:/example-oss-bucket/hourly_table-srcPrefixesFile prefixes.txt 假设prefixes.txt的内容为.*test.*，则只有路径中带有test字符的文件才会拷贝到OSS。...
ALTER TABLE
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明，将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时，获得的锁将是子...
Hudi MetaStore使用说明
db hoodie.table.keygenerator.class=org.apache.hudi.keygen.NonpartitionedKeyGenerator hoodie.table.name=h0 hoodie.datasource.write.hive_style_partitioning=true hoodie.metastore.table.id=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx ...
GetMetaTableChangeLog
ChangeType String 否 ALTER_TABLE 变更类型，包括CREATE_TABLE、ALTER_TABLE、DROP_TABLE、ADD_PARTITION和DROP_PARTITION。ObjectType String 否 TABLE 变更主体类别，包括TABLE和PARTITION。StartDate String 否 2020-06-01 00:00:00 表...
使用说明
此时，触发了 INTERVAL 自动创建新的分区，导致 sales 表的分区增加，表结构变为：SHOW CREATE TABLE sales\G*1.row*Table:sales Create Table:CREATE TABLE `sales`(`id` int(11)DEFAULT NULL,`name` varchar(20)DEFAULT NULL,`order_time...
查询语法说明
本文介绍aliyun-sql插件的查询语法，包括基础查询、游标查询、JSON格式查询、translate查询、特殊语法、自定义UDF...LPAD SELECT LPAD(str_field,20,"ABC")FROM table 从左边对字符串使用指定的字符进行填充，并指定填充之后字符串的长度。...
元数据仓库共享模型（MaxCompute）
版本变动详情 版本 变动内容 v3.14 新增告警事件表fct_dataphin_monitor_alert_event_di。新增告警推送记录表fct_dataphin_monitor_alert_notification_di。新增质量监控对象告警配置表dim_dataphin_dp_quality_watch_alert。安全识别记录...
元数据仓库共享模型（Hadoop）
版本变动详情 版本 变动内容 v3.14 新增告警事件表fct_dataphin_monitor_alert_event_di。新增告警推送记录表fct_dataphin_monitor_alert_notification_di。新增质量监控对象告警配置表dim_dataphin_dp_quality_watch_alert。安全识别记录...
SQL Server数据源
当配置此项后，数据同步系统就会忽略tables、columns配置项，直接使用这项配置的内容对数据进行筛选，例如需要进行多表join后同步数据，使用 select a,b from table_a join table_b on table_a.id=table_b.id。当您配置querySql时，SQL ...
Python脚本
output_table_uri=args.output3 o=init_odps()project_name,table_name,partition=parse_odps_url(output_table_uri)o.run_sql(f"create table {project_name}.{table_name} as select*from pai_online_project.heart_disease_prediction;...
RDS MySQL出现“the table '/home/mysql/xxxx/xxxx/...
请按照实际情况选择以下步骤进行操作：在控制台的参数设置中，根据RDS实例当前空闲空间和应用空间使用情况，调高参数loose_rds_max_tmp_disk_space（仅限MySQL 5.5或5.6支持该参数），建议设置为略小于当前空闲空间，保留一部分空间以便...
RDS MySQL出现“the table '/home/mysql/xxxx/xxxx/...
请按照实际情况选择以下步骤进行操作：在控制台的参数设置中，根据RDS实例当前空闲空间和应用空间使用情况，调高参数loose_rds_max_tmp_disk_space（仅限MySQL 5.5或5.6支持该参数），建议设置为略小于当前空闲空间，保留一部分空间以便...
使用PTS测试Hologres性能实践
说明 如果PTS采用按量抵扣模式，费用根据计费项VUM消耗量进行计算。VUM消耗量=施压机数×单机并发数×压测时长（分钟），其中单机并发数为固定值500。以本文的测试场景为例，VUM消耗量分别为：OLAP查询场景：1（使用资源IP数，即施压机数）...
MaxCompute JSON类型使用指南
在写入数据时MaxCompute会自动提取出公共Schema,"b":bigint,"c":bigint>，当读取数据时可以根据Schema进行列裁剪，减少读的数据，提高效率。例如：SELECT json_val["b"],json_val["c"]FROM json_table;在读表时进行列裁剪只保留b,c变量+-+-...
如何发起实时数仓Hologres性能压测
说明 如果PTS采用按量抵扣模式，费用根据计费项VUM消耗量进行计算。VUM消耗量=施压机数×单机并发数×压测时长（分钟），其中单机并发数为固定值500。以本文的测试场景为例，VUM消耗量分别为：OLAP查询场景：1（使用资源IP数，即施压机数）...
如何发起实时数仓Hologres性能压测
说明 如果PTS采用按量抵扣模式，费用根据计费项VUM消耗量进行计算。VUM消耗量=施压机数×单机虚拟用户数×压测时长（分钟），其中单机虚拟用户数为固定值500。以本文的测试场景为例，VUM消耗量分别为：OLAP查询场景：1（使用资源IP数，即...
RDS MySQL创建索引时提示“Specified key was too ...
show table status like '[$Table_Name]'\G 系统显示类似如下：根据实际情况，执行其中一条SQL语句，修改 Row_format 值。alter table[$Table_Name]Row_format=dynamic;alter table[$Table_Name]Row_format=compressed;使用前缀索引替代。...
RDS MySQL创建索引时提示“Specified key was too ...
show table status like '[$Table_Name]'\G 系统显示类似如下：根据实际情况，执行其中一条SQL语句，修改 Row_format 值。alter table[$Table_Name]Row_format=dynamic;alter table[$Table_Name]Row_format=compressed;使用前缀索引替代。...
湖仓一体
说明 该操作仅会删除SelectDB中该Catalog的映射信息，并不会修改或变更任何外部数据目录的内容。列类型映射 创建Catalog后，云数据库SelectDB 会自动同步数据目录的数据库和表。针对不同的数据目录和数据表格式，云数据库SelectDB 会进行列...
通过主外键约束消除多余的JOIN
Plan Summary|+-+1-Output[Query plan]{Est rowCount:1.0} 2->Exchange[GATHER]{Est rowCount:1.0} 3-TableScan {table:store_returns,Est rowCount:1.0} 视图 由于视图的设计，可能会使用到两个或以上表的JOIN，但是将视图内容应用到...
设置列索引查询过滤算法
本文介绍pruner的适用场景、注意事项、语法和相关参数等内容。简介 列存索引数据以单列数据块（默认包含64K行，可以通过 表的总行数/64K 来估算数据块数量）粒度存储，扫描数据时需要遍历指定列的所有数据块，并根据过滤条件来获取满足条件...
DQL操作常见问题
产生原因 示例SQL是table1通过ID字段和table2的ID字段做左外关联，所以会出现以下情况：如果table2表中找不到关联数据，table1也会返回一条数据。如果table1找不到但是table2能找到关联数据，则不返回结果。如果table1和table2都能找到关联...
- 产品推荐
- 这些文档可能帮助您