数据传输规格说明
迁移或同步的表对象数量小于或等于下表建议的迁移或同步最大表对象数量。规格定义 性能上限（RPS）参考 建议最大表对象数量 MICRO 300 100 SMALL 3,000 2,000 MEDIUM 5,000 40,000 LARGE 10,000 100,000 XLARGE 25,000 200,000 说明 规格的...
表索引诊断
对于分区子表数量超过1W的分区表，建议使用 冷热分层 的能力，将不常访问的分区子表设为冷存存储，以节约存储成本。对于存储为0的分区表或分区数为0的表，建议删除，否则空表也会占用一定的Meta空间。存储为0的表 展示当前热存和冷存都为0...
申请、续期和交还表权限
项目：当表类型选择为 物理表、元表、镜像表、物理视图 时，建议选择物理表所在的项目。说明 批量申请权限最多选择100张数据表。筛选项为非必选项，若筛选项未进行选择，可混合选择多种类型的数据表；若选择筛选项，可精确筛选数据表。若先...
申请、续期和交还表权限
项目：当表类型选择为 物理表、元表、镜像表、物理视图 时，建议选择物理表所在的项目。说明 批量申请权限最多选择100张数据表。筛选项为非必选项，若筛选项未进行选择，可混合选择多种类型的数据表；若选择筛选项，可精确筛选数据表。若先...
存储格式
说明 当采用数据传输服务DTS写入AnalyticDB PostgreSQL时，AnalyticDB PostgreSQL的目标表建议设计为行存表，而不要采用列存表。DTS为准实时数据同步的方式，除INSERT外，同时支持UPDATE和DELETE等较多更新操作的同步。下述语句创建了一个...
Explain和Explain Analyze
rows：算子的预估输出行数，如果rows的值与实际行数相差较大，大部分原因是表的统计信息未更新，建议对表执行一次 analyze命令。width：算子的预估输出平均宽度（单位：字节），值越大说明列越宽。[20:20 id=100002 dop=20 time=2427/2424/...
自助健康检查常用命令
列出所有Binlog TTL大于7天的表，建议缩短TTL select table_namespace as schema,table_name as tables,property_value as"binlog.ttl"from hologres.hg_table_properties where property_key='binlog.ttl' and property_value:bigint>...
数据质量入门
通常，为保障周期调度产出的表数据符合预期，建议该分区表达式的取值与当天周期调度产出的表分区一致。说明 单表可多次执行添加操作，配置多个分区表达式，校验多个分区数据。在表规则配置页面，单击 图标。在 添加分区 对话框输入分区表达...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据表管理
说明“更新时间列”用于系统 实时检测有关数据是否有更新，若对查询的数据实时性要求较高，建议表中含有最后更新时间列，并在“选择更新时间列”下拉框中选中该列名称，方便系统及时读取最新数据。当物理表中有“更新时间列”，若数据库中...
质量规则参数配置
说明 为了性能考虑，跨数据源最多只会读取1000条码表数据进行对比，建议码表和被检验表在同一数据源。跨数据源对比字段会被自动转换为string类型，部分特殊字段类型可能会出现异常情况。建议码表中的字段类型和校验字段类型都是string或...
质量规则参数配置
说明 为了性能考虑，跨数据源最多只会读取1000条码表数据进行对比，建议码表和被检验表在同一数据源。跨数据源对比字段会被自动转换为string类型，部分特殊字段类型可能会出现异常情况。建议码表中的字段类型和校验字段类型都是string或...
表存储格式：列存、行存、行列共存
（不建议使用）设置的PK和Clustering Key不一致 但如果在建表时，设置表为行存表，且将PK和Clustering Key设置为不同的字段，查询时，系统会根据PK定位到Clustering Key和RID，再通过Clustering Key和RID快速定位到全行数据，相当于扫描了...
外部表自动加载（Auto Load）
外部表全量自动加载场景下：不建议设置自动加载时间小于5分钟。不建议对表超过1000张的外部数据源开启全量自动加载。操作步骤 开启自动加载 语法-打开自动加载 ALTER DATABASE<database name>SET hg_experimental_enable_auto_load_foreign_...
建表概述
参数说明 具体参数和相关内容如下表所示：参数 说明 列存表 行存表 行列共存表 建议值 建表后是否可修改 orientation 表存储格式。column（默认值）row row,column column 否，如需修改请重新建表。table_group Table Group。默认为 ...
实时数仓Hologres
维表独有：维表建议使用主键作为Join条件，对于此类主键点查的维表，创建Hologres表时建议选择行存模式，列存模式对于点查场景性能开销较大。选择行存模式创建维表时必须设置主键，并且将主键设置为Clustering Key才可以工作。详情请参见 ...
概览
维表 维表一般适用于点查询场景（Lookup by Key)，因此在Hologres中，维表建议使用行存储，并且JOIN的字段必须是完整的主键字段。结果表 结果表用于接收并存放经过Flink计算的结果数据，为下游数据继续消费提供各类读写接口。阿里云实时...
存储成本优化
删除废表 建议您定期地删除访问跨度大（即长期不会访问）的废表，因为这些表的意义并不大，会极大地浪费存储资源，例如：3个月内没有被访问的表。一张表是非分区表，同时最近1个月内没有被访问。存储为0KB的表，即没有存储的表。
数据膨胀诊断
suggest_action text 诊断该表建议采取的动作，取值如下：空（不需要操作）VACUUM VACUUM FULL last_vacuum timestamp with time zone 最后一次手动清理表的时间（不计算VACUUM FULL）。diagnose_time timestamp with time zone 诊断信息...
Quick Audience数据集样例
string 大宽表建议日粒度更新。文本型多枚举值 保留原值。string 日期型 保留原值。datetime、date 数值型 保留原值。double、bigint 商品标签数据集样例 ADS大宽表样例：item_id 商品名 商品规格 购买门槛 上架时间 季节 价格 利润率.A...
苹果iphone手机如何提交反馈？
在使用IOS端阿里邮箱时出现报错或异常，建议通过反馈功能反馈，会有相关工程师给您回复，处理反馈。操作步骤 以iOS 16.0.2（20A380）为例：点击头像，在最下方找到并点击设置图标：选择意见反馈：对遇到的问题进行描述，若涉及收发信，请...
设计阶段
设计表分区：建议所有表都创建为分区表。设计数据生命周期。企业应根据自身实际情况来进行设置，也可以参考如下数值：数仓分层 说明 ODS层 非去重数据：默认不保留。ETL临时表：保留14日。镜像全量表：重要数据建议采用极限存储。流水全...
创建并管理维表
生命周期 表的存储会占用MaxCompute资源，建议您对表设置合理的生命周期，以便资源回收。如果超过设置的生命周期，表会被删除。选中 我已知晓此风险并确认作为此表owner，对后续此表的变更负责，单击 确认，进入维表的编辑页面查看和修改表...
Stage级别诊断结果
建议 建表时选择合适的分布字段。更多详情，请参见 分布字段合理性诊断。查看上游Stage是否存在Stage输出数据倾斜问题。更多详情，请参见 Stage输出数据倾斜。Stage输出数据倾斜 问题 Stage输出数据倾斜会导致当前Stage处理耗时不均匀，...
DELETE
为了提高删除（DELETE）的效率，尽量通过Fixed Plan执行DELETE语句，详情请参见 Fixed Plan加速SQL执行，或者建议为表设置合适的主键和索引（Distribution Key，Segment Key，Clustering Key），这样就能快速定位到需要被删除的文件和文件...
开发运维建议
临时表建议以 tmp_开头，子表建议根据业务场景以规则结尾，例如按年分区的主表如果为tbl，则子表为tbl_2016、tbl_2017等。索引 B-Tree索引字段至多2000字节，如果存在超过2000字节的字段需要新建索引，建议使用函数索引（例如哈希值索引）...
常见问题（FAQ）
我们建议进行表流读取和写入。使用Delta Lake时，是否可以轻松地将代码移植到其他Spark平台？是。使用Delta Lake时，您将使用开放的Apache Spark API，因此可以轻松地将代码移植到其他Spark平台。要移植代码，请将deltaformat替换为parquet...
写入或更新调优指南
开启Binlog的Hologres表建议使用行存表。列存表开启Binlog会使用较多的资源，影响写入性能。维表 维表必须使用行存表或行列共存表，列存表对于点查场景性能开销较大。创建行存表时必须设置主键，并且将主键配置为Clustering Key时性能较好...
数据归档至RDS MySQL
说明 建议源表中包含修改时间的字段，以便将业务修改时间作为归档的过滤条件。注意事项 若在数据归档过程中选择了自动清理源库表数据，请注意源库表空间的预留情况，避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为...
如何设计时序数据表
PRIMARY KEY设计的最佳实践 数据库会根据PRIMARY KEY进行存储分片与查询优化，指定PRIMARY KEY的查询请求将会非常高效，强烈建议建表时指定。说明 单机版实例不支持PRIMARY KEY。通常建议选择数据源的唯一标识作为PRIMARY KEY，场景示例...
数据归档至PolarDB MySQL版
说明 建议源表中包含修改时间的字段，以便将业务修改时间作为归档的过滤条件。注意事项 若在数据归档过程中选择了自动清理源库表数据，请注意源库表空间的预留情况，避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为...
Spark SQL创建C-Store表
BROADCAST：定义维度表，维度表会在集群的每个节点存储一份数据，因此建议维度表的数据量不宜太大。是 distributeColumns={column_name1[,column_name2,.]} 定义分布键（一级分区）。AnalyticDB MySQL版 支持将多个字段作为分布键。...
配置SQL审核优化建议
UPDATE_CHECK_PRIMARY_KEY_CHANGE UPDATE 语句检测是否更新了唯一键：UPDATE_CHECK_UNIQUE_KEY_CHANGE UPDATE 语句建议同时更新表上的“修改时间”列：UPDATE_ALSO_TO_UPDATE_MODIFY_TIME_COLUMN UPDATE 语句不建议更新表上的“创建时间”...
Hologres开发规范
建议规范：若是有分区表，建议按照实时任务写入当天分区，并且按照数仓分层设置合适的TTL，且更新的历史数据不应该写入已经超过TTL设置的分区。Table Group规范（可选）每个数据库都会有默认的Table Group和Shard数，您可以根据业务需要...
数据归档至AnalyticDB MySQL 3.0
说明 建议源表中包含修改时间的字段，以便将业务修改时间作为归档的过滤条件。注意事项 若在数据归档过程中选择了自动清理源库表数据，请注意源库表空间的预留情况，避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为...
分区表常见问题
建议单表数据量超过1 TB或者1亿行尽量使用分区表。分区表创建多少个分区比较合适？在满足分区不超过8192个的前提下，根据业务场景和数据量决定分区数。单分区数据量大概多少合适？单个分区建议数据行数在500万至5000万之间，如果行长超过4 ...
场景化建表调优指南
效果验证 您可以将Lineitem表定义为列存表，分别对按上述建议设置表属性、不将 l_shipmode 设为Clustering Key和Bitmap_columns两种情况进行效果验证，建表语句请参见 场景4 DDL，验证方法请参见 OLAP查询场景。验证结果如下：按上述建议...
数据归档至Lindorm
说明 建议源表中包含修改时间的字段，以便将业务修改时间作为归档的过滤条件。注意事项 源库和目标库的管控模式均为安全协同或稳定变更，才可执行周期归档任务。若您仅需要单次执行归档任务，则不限制数据库的管控模式。说明 若实例的管控...
数据归档至Lindorm
说明 建议源表中包含修改时间的字段，以便将业务修改时间作为归档的过滤条件。注意事项 源库和目标库的管控模式均为安全协同或稳定变更，才可执行周期归档任务。若您仅需要单次执行归档任务，则不限制数据库的管控模式。说明 若实例的管控...
MaxCompute表的高级功能
如果导入的是分区表，建议给分区表设置生命周期，过期不用的数据将会被自动清理。使用Insert Overwrite语句对源表（或分区）进行操作。使用ALTER合并模式时，通过客户端命令进行合并。建议为临时表设置生命周期，在到期后垃圾回收机制会...
- 产品推荐
- 这些文档可能帮助您