表结构配置管理
FAQ 数据导入页面有的数据表不是我创建的，是什么表？答：有多种情况：空间下的同一类型的 自定义标签 将存储于计算源，生成一个用户标签表，自定义标签类型即为表名，创建者显示为API同步。包含的字段即为所有属于该类型的自定义标签，...
通过文件管理优化性能
具体来看，当整张表的大小小于2.56TB时，会以256MB作为目标表文件大小，当表的大小介于2.56TB-10TB之间时，目标文件大小线性增长，当表的大小大于10TB后，以1GB作为目标表文件大小。需要注意的是，如果设置了表属性：delta.targetFileSize ...
ALTER TABLE
当被设置为一个负值（必须大于等于-1）时，ANALYZE 将假定可区分非空值的数量与表的尺寸成线性比例，确切的计数由估计的表尺寸乘以给定数字的绝对值计算得到。例如，值-1 表示该列中所有的值都是可区分的，而值-0.5 则表示每一个值平均出现...
DDL操作常见问题
创建的表为什么在DataWorks上看不到？分区操作 分区和分区列的区别是什么？一张表的分区的数量是否越多越好？如果源表没有分区字段，是否可以增加或更改分区？如何查看指定的分区是否存在？如何查看分区数量？列操作 是否可以添加或删除列...
创建逻辑模型：维度表
存储策略 维度表基于什么策略（即存储数据的时间周期及数据量范围）存储数据。维度 维度表关联的维度，用于配置维度表分析数据的视角。说明 创建维度，详情请参见 创建概念模型：维度。表名规则 通过已配置的检查器规范维度表的命名规则。...
概述
查询响应较慢，响应速度随MaxCompute Project的表数量线性增加。数据类型 支持基本类型、DECIMAL2.0、DATETIME及ARRAY类型。支持基本类型、DECIMAL2.0、DATETIME及ARRAY类型。仅支持基本类型。引擎优化 不涉及 较Lightning的查询性能大幅...
常见问题
为什么系统表system.materialize_mysql中sync_failed_tables字段不为空？如何处理报错：“Too many partitions for single INSERT block(more than 100)”？数据写入与查询 如何处理insert into select XXX内存超限报错？如何查询CPU使用量...
导入与导出
整库同步：在AnalyticDB MySQL中新建一张表，表名要不同于报错的表，表结构需要和源表的表结构一致，通过 INSERT INTO SELECT 将源表中的数据写入新建表中，删除报错的表，然后通过Rename将新表更名为报错的表名，重启DTS任务即可。...
移动分析控制台中的 Crash 日志没有反解
在解决该问题前，我们需要先了解什么是符号表以及为什么需要符号表。什么是符号表 符号表是内存地址与代码中的函数名、行号之间的映射关系表。为什么需要符号表 iOS App 上传的闪退日志中包括的调用栈信息都是通过内存地址记录的，开发者...
Quick BI报表SQL中sync开头的表名是什么表
概述 本文描述了Quick BI报表SQL中sync开头的表名是什么表。详细信息 sync开头的表名不是用户的物理表，而是数据集经过Quick 引擎加速后生成的加速后的表。适用于 Quick BI 公共云专业版
库表
本文介绍 AnalyticDB MySQL 中库表优化的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何合理建表？表个数的上限是多少？创建表后为什么看不到分区...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
分区表常见问题
本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容，请搜索钉钉群号加群进行咨询。钉钉群号：24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和...
特征重要性过滤
否 weightTable 特征重要性的权重表（即线性特征重要性、GBDT特征重要性、随机森林特征重要性的输出表）。是 outputTable 过滤出TopN特征的输出表。是 modelTable 特征过滤产出的模型文件。是 selectedCols 默认输入表的所有字段列名。否 ...
任务列表
任务类型 任务名称 任务详情中展示的步骤名称 备注示例 企业版 标准版 库表恢复 库表恢复 临时节点增量恢复（按需）临时节点增量恢复（按需）正在回放第 16 个 Redo Log(ib_logfilexxx)，总共需回放 50 个 Redo Log 主节点库表恢复 备节点...
常见问题
在使用Lindorm SQL查询宽表数据或创建索引时，可能会遇到报错或出现查询性能不符合预期的情况。本文介绍Lindorm SQL使用时的常见问题和解决方案。说明 本文列举的常见问题 仅适用于宽表引擎。什么查询语句是低效查询语句？使用SELECT语句...
PolarDB并行查询
为什么线性扩展如此重要？从上图可以看到，随着并行度的增长，E2E的响应时间是线性下降的，这对于客户有两个重要作用：随着业务增长数据不断膨胀，通过相应提高并行度来使用匹配的计算资源，来持续得到稳定可预期的查询性能。始终快速的...
iOS 符号表管理
什么是符号表 符号表是内存地址与函数名、文件名、行号的映射表。符号表元素如下所示：<起始地址><结束地址><函数>[<文件名:行号>]iOS App 出现闪退时，闪退日志中的 Crash 堆栈为混淆后的二进制信息，需要通过符号表对这些二进制堆栈信息...
数据湖管理FAQ
为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的JSON文件，但是没有建表？使用SLS元数据发现的批量模式，为什么有的Logstore生成了表，有的没有？为什么SLS元数据发现 报错：Make sure the bucket you ...
数据归档
当前OSS暂不支持分区表、包含全文索引的表、加密表、包含外键的表和压缩表（表压缩、页压缩）。受限于OSS的访问延迟，相比ESSD存储，冷表的数据访问会具有更大的延迟（10ms级别）。RDS MySQL归档表的数据大小不能低于6M。开启数据归档后，...
AUTO模式核心特性及典型场景
如果 PolarDB-X 能通过DDL的方式删除历史数据，将极大的提高清理数据的速度，基于这种思路 PolarDB-X 在AUTO模式下开发出了TTL的功能，可以快速的删除历史数据，详情请参见 什么是TTL功能。若在建表时使用TTL相关语法，则将创建一张TTL表。...
开发运维建议
临时表建议以 tmp_开头，子表建议根据业务场景以规则结尾，例如按年分区的主表如果为tbl，则子表为tbl_2016、tbl_2017等。索引 B-Tree索引字段至多2000字节，如果存在超过2000字节的字段需要新建索引，建议使用函数索引（例如哈希值索引）...
深度解析PolarDB数据库并行查询技术
以HASH JOIN为例，对于串行执行的HASH JOIN来说，首先选择一个表创建HASH表称之为Build表，然后读取另一个Probe表，计算HASH，并在Build表中进行HASH匹配，若匹配成功，输出结果，否则继续读取。如果改为并行HASH JOIN，并行优化器会对串行...
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
Dataphin的派生指标与汇总逻辑表之间关系
产品名称 Dataphin 产品模块 派生指标 汇总逻辑表 概述 通过OneData方法论和Dataphin产品功能，描述派生指标与汇总逻辑表的映射关系。解释派生指标会落地到哪张汇总逻辑表中，以及这种汇总逻辑表组织形式的优势。问题描述 您配置了派生指标...
迁移HBase至Hologres
主键值+主键范围,返回列))GET select from where PK=XX HoloClient.get(Get(表名,主键值,返回列))宽表设计 宽表是HBase最基本的数据模型，在Hologres中使用行存表，有关行存表的设计方案，请参见 Key/Value查询场景最佳实践。行存表可以...
某互联网保险公司保险订单迁移MySQL到Lindorm
客户价值 从MySQL上千张物理分库分表到Lindorm单表，整个业务从1万+的物理分库分表减少到10+物理表，大幅度降低了运维成本 Lindorm分布式架构具备完全线性扩展及存储计算分离的能力，从容应对业务请求峰值和数据量的快速增长 Lindorm压缩...
数据库实时入仓快速入门
表结构 users表的表结构比MySQL源表中多了_db_name和_table_name两列，代表数据来源的库名和表名，且作为联合主键的一部分来保证分库分表合并后的数据唯一性。表数据 在users表信息页面右上角，单击 查询表 后，输入如下命令，单击 运行。...
Faster DDL
为什么不到1 GB的表执行DDL有时需要十几分钟？为什么使用了临时表的连接退出时会造成实例抖动？针对这些常见问题，RDS内核团队进行分析后发现MySQL在DDL操作期间的缓存维护逻辑存在性能缺陷，通过深入分析及多次测试，开发Faster DDL功能，...
设置调度依赖最佳实践
可以通过项目配置，定义以什么形式开头的表为临时表。如果代码中的一个表，既是产出表又是被引用表（被依赖表），则解析时只解析为产出表。如果代码中的一个表，被多次引用或者被多次产出，则解析时只解析一个调度依赖关系。说明 默认情况...
数据建模
（比如：本表SQL执行输出与关联表SQL执行输出进一步的计算逻辑支持${result_1}和${result_2}的四则运算，支持使用abs取绝对值的运算比如：(${result_1}+5*abs(${result_1}-${result_2}))/2）逻辑表数据质量的强规则和弱规则有什么区别？...
基于PostgreSQL标准权限模型授权
哪些角色在什么时候可以删除表。每个组在哪些Schema中工作。建议您执行如下操作，规划实例对象：确定权限组以及组的作用。权限组分为以下类型：XX_DEV_GROUP：表的Owner，拥有表的所有操作权限。XX_WRITE_GROUP：表的写入权限，可以写入...
大数据计算服务MaxCompute
类别 详情 支持类型 源表、维表和结果表 运行模式 流模式和批模式 数据格式 暂不支持 特有监控指标 源表 numRecordsIn：源表当前读取到的数据总条数。numRecordsInPerSecond：源表当前每秒读取的数据条数。numBytesIn：源表当前读取到的...
定义向量列（2.0版）
算法 适用场景 适用数据 Native_FLAT（SSE线性计算）适用于单表数据量小于10万条、向量维度为256左右的小数据量场景。int[]、short[]、byte[]、float[]GRAPH_HNSW 适用于单表数据量在百万级别到千万级别之间，对向量维度敏感的中等规模数据...
Dataphin逻辑表的物化表是根据什么规则生成和变化的
产品名称 Dataphin 产品模块 事实逻辑表、维度逻辑表、汇总逻辑表 概述 本文介绍了Dataphin物化拆分的基本规则和多版本模型刷新机制 问题描述 1.修改逻辑表的哪些地方会导致物化表的版本发生变化？2.有些逻辑表存在多个物化表，具体是根据...
常见问题
快速入门常见问题如下：新创建的MaxCompute项目为什么不支持数据类型自动隐式转换呢？在MaxCompute中创建表的方式有哪些？MaxCompute支持通过什么方式运行SQL语句?数据导入方式有哪些？误删除表数据如何恢复？不同项目的表是否可以相互引用...
明细粒度事实层（DWD）
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
明细粒度事实层（DWD）
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
概述
这里字段比较少可能还不觉得什么，实际业务里面表的字段往往都是几十上百个字段，让用户手动敲这么多字段定义是非常耗时的。而有了Create Table Like Mapping的语法，这个工作量可以大大减少,它的语法如下：create external table dla_...
示例项目使用说明
MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS数据实例 Spark SparkPi：计算Pi SparkWordCount：单词统计 LinearRegression：线性回归 OSSSample：OSS使用示例 MaxComputeSample：MaxCompute...
- 产品推荐
- 这些文档可能帮助您