查看并编辑表规范及管控研发流程
时间分区-分钟 逻辑表的分钟调度周期会使用天分区、小时分区和分钟分区作为系统分区字段。通常情况下不建议修改，除非您企业有自己的规范。中文名：默认为 时间分区-分钟，支持修改。包含汉字、字母、数字、下划线（_）或短划线（-），且不...
表格存储建表注意事项
应用程序在选择分区键时，应该遵循以下基本原则：不要使用拥有固定值或取值范围较小的属性，如客户性别（Male/Female）。尽量避免使用按自然序排序后会有明显访问热点的属性，如在查询最新数据场景中使用时间戳（TimeStamp）作为分区键。...
存储成本优化
您可以根据实际的业务情况选择分区字段，除了日期和时间，也可以使用其他的枚举值个数相对固定的字段，例如渠道、国家和省份地市。或者使用时间和其他字段共同作为分区字段。一般而言，推荐使用二级分区，因为最大的单表最多只支持6万个...
路由到对象存储OSS
注意事项 Connector基于事件被处理的时间做时间分区，非事件的产生时间，如按时间分区，时间边界的数据可能被投递至下一个时间分区目录。脏数据处理问题：如果在任务的自定义分区或文件内容中配置了JsonPath，但数据未命中JsonPath规则，...
创建OSS Sink Connector（新版）
注意事项 Connector基于事件被处理的时间做时间分区，非事件的产生时间，如按时间分区，时间边界的数据可能被投递至下一个时间分区目录。脏数据处理问题：如果在任务的自定义分区或文件内容中配置了JsonPath，但数据未命中JsonPath规则，...
查看内置规则模板
离散值（分组个数），固定值 group by之后的分组数，与固定值进行比较。离散值（分组个数），1天波动率 group by之后的分组数，与1天前样本进行比较，计算波动率。平均值，1天波动率 取该字段的平均值，与前1天进行比较，计算出波动率后，...
名词解释
计算节点为用户可购买的计算资源单位，包括固定的 CPU核，内存，存储。每个计算节点规格包含1个MPP的数据分区（Segment）。计算节点个数 集群实例所购买的计算节点数量，单实例最大支持4096个节点。集群实例的存储空间和计算资源随计算节点...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
创建指标质量规则
支持配置不超过5个自定义告警接收人；支持配置不超过3个值班表。告警方式：支持选择电话、邮件、短信、钉钉不同的接收方式。单击 确定，完成告警配置。告警配置列表 告警配置完成后，您可在告警配置列表中进行排序、编辑、删除操作。序号 ...
创建指标质量规则
支持配置不超过5个自定义告警接收人；支持配置不超过3个值班表。告警方式：支持选择电话、邮件、短信、钉钉、飞书、企业微信、自定义渠道 不同的接收方式。此接收方式可通过 消息渠道设置 进行管控。单击 确定，完成告警配置。告警配置列表...
创建投递任务
当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。ossBucket：OSS Bucket名称。ossEndpoint：OSS Bucket所在地域的服务地址。ossStsRole：表格存储服务关联角色的ARN信息。format：投递的数据的存储以Parquet列存...
2022.01.30更新
待办分区支持过滤 场景：在规划过程中可进入迭代的事项可能需要经过需求评审、工时评估等一系列的前置步骤，在待办分区支持过滤可以让规划更加快捷高效。2.增加迭代工时容量 场景：当迭代的总工时容量是固定的，每进入一个事项就会消耗一...
配置规则：按模板（批量）
如果您需要批量为表配置分区表达式，则可以单击 设置分区表达式 按钮为选中的表批量添加分区表达式。单击 生成规则，进入 规则验证 页面。您可以单击自定义列，按需自定义规则详情表中需要显示的内容。在 规则验证 页面您可以进行如下操作...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
CREATE TABLE LIKE
在Hologres中使用 CREATE TABLE LIKE 创建一张分区表示例如下：创建一个分区表-新增一个字段ds，并将表设置为以ds为分区的分区表 CALL hg_create_table_like('new_table',$select*,"b"as ds from src_table$,'partition by list(ds)');...
升级配置
说明 部分套餐配置中不提供每月固定流量配额（例如：1核vCPU、1 GB内存、1 Mbps带宽、20 GB SSD磁盘的套餐），该类型的套餐不统计流量所产生的费用，但如果您基于该类型的套餐进行升级配置，升级后的套餐将包含每月固定流量配额，并且...
RestAPI Reader最佳实践
接口测试工具调用示例：准备工作：创建MaxCompute分区表 本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。说明 分区表配合覆盖写命令，可以实现分区覆盖写的效果，让数据同步...
CREATE TABLE AS
CREATE TABLE AS 语句支持从分区主表或分区子表创建新的非分区表，只能复制表结构并同步数据（从分区主表复制，会同步所有子表的数据），不支持复制分区结构（分区键约束、继承关系等）成为一张分区表。命令语法 Hologres中 CREATE TABLE ...
数据质量风险监控
单击+，选择 分区表达式 为 dt=$[yyyymmdd-1]，对应表ods_user_trace_log的分区格式为${bdp.system.bizdate}（即获取到前一天的日期）。分区表达式的详细信息请参见 基础属性：调度参数。如果表中无分区列，可以配置无分区。单击 计算，...
数据质量风险监控
单击+，选择 分区表达式 为 dt=$[yyyymmdd-1]，对应表ods_user_trace_log的分区格式为${bdp.system.bizdate}（即获取到前一天的日期）。分区表达式的详细信息请参见 调度参数支持的格式。如果表中无分区列，可以配置无分区。单击 计算，...
MaxCompute+API 数据源
举例：假设用户的MaxCompute 数据表mytable，分区为ds=20220113，首次配置数据源索引重建之后，以后每天产出一个新分区（新分区数据是表的全量数据），需要向量检索版实例扫描到新分区然后自动进行索引重建拉取新分区数据，此时就需要：...
数据存储
数据分区 云数据库SelectDB所有的数据模型都支持两层的数据分区：第一层是Partition分区，支持Range和List的划分方式，典型场景下按照时间进行Range分区，方便数据查询裁剪和过期清理等。SelectDB支持简单易用的动态分区方式，简化分区管理...
对象存储OSS
String 否 process-time 对于写分区表，Flink提供了两种类型分区提交触发器，类型如下两种：process-time：分区提交触发器基于分区创建时间和当前系统时间，既不需要分区时间提取器，也不需要watermark生成器。一旦当前系统时间超过了分区...
管理问题数据
问题数据表分区结构：分区级别 分区字段名 描述 一级分区 dqc_task_run_dt 当前问题数据的采集时间，即数据质量规则运行时间（格式为yyyymmdd）。二级分区 dqc_task_id 当前问题数据采集对应的DQC规则实例ID。说明 DQC规则执行将产生DQC...
多元索引最佳实践
在此场景中可以将“商品ID”进度MD5处理，分区键设置的建议如下：如果无需在数据表上根据UserId进行范围查询，则建议直接使用“商品ID”进行MD5后处理的值 作为分区键。如果要在数据表上根据UserId进行范围查询，则建议 拼接“UserId”和...
宽表模型介绍
表格存储 按照分区键对数据表的数据进行分区，具有相同分区键的行会被划分到同一个分区，实现数据访问负载均衡。属性列（Attribute Column）一行中除主键列外，其余都是属性列。属性列会对应多个值，不同值对应不同的版本，每行的属性列...
单元化介绍
单元化架构就是将单元作为部署的基本单位，在全站所有机房中部署多个单元，每个机房内单元数目不固定，任一单元均部署系统所需的全部应用，数据则是全量数据按照某种维度划分后的一部分。传统意义上的 SOA 化（服务化）架构，服务是分层的...
列存索引如何实现高效数据过滤
优点是数据预先按分区键分布，通常均具有较好的过滤效果，如果用户大部分查询条件均包含分区键，并且还有按分区管理数据生命周期的需求，分区表pruning是个不错的选择，可根据需要建立一级或二级分区。minmax：一般需要该列数据分布有较好...
CREATE EXTERNAL TABLE
重要 创建Hudi外表时，会自动创建_hoodie_commit_time、_hoodie_commit_seqno、_hoodie_record_key、_hoodie_partition_path 和_hoodie_file_name 5个固定列。指定文件存储格式为 PARQUET。CREATE EXTERNAL TABLE IF NOT EXISTS adb_...
CREATE MATERIALIZED VIEW
基于满足物化视图场景的数据创建物化视图，支持分区和聚簇场景。背景信息 视图 是一种虚拟表，任何对视图的查询，都会转换为视图SQL语句的查询。而物化视图是一种特殊的物理表，物化视图会存储实际的数据，占用存储资源。更多物化视图计费...
数据脱敏
前N天 自定义分区字段名称=$[yyyymmdd-N]time=$[20190710-5]，表示对2019年7月10日前的5天内的数据进行脱敏。后N小时 自定义分区字段名称=$[hh24mi:ss+N/24]time=$[0924mi:ss+2/24]，表示对9点以后的2小时的数据进行脱敏。前N小时 自定义...
投递日志到MaxCompute（旧版）
MaxCompute分区列取值不支持配置为空，所以映射到分区列的字段必须为保留字段或日志字段，且可以通过cast运算符将string类型字段值转换为对应分区列类型，空分区列的日志会在投递中被丢弃。日志服务中一个日志字段只能映射到一个MaxCompute...
流式数据湖仓Paimon
一个分区的存活时长由该分区的分区值计算而来，详情请参见 如何设置分区自动过期？partition.timestamp-formatter 将时间字符串转换为时间戳的格式串。String 否 无 设置从分区值提取分区存活时长的格式，详情请参见 如何设置分区自动过期...
基本概念
列的数量和顺序是固定的，每一列拥有一个名称。行的数量是变化的，表示在给定的时刻，表中存储的数据量。表的每一列都有一个数据类型，表示该列的取值类型，详情请参见 数据类型汇总。Hologres中的表包括以下两种类型：内部表 指数据存储在...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
- 产品推荐
- 这些文档可能帮助您