应用场景
OceanBase 数据库可以利用分区表特性将数据打散后分布到集群的多个节点上，从而满足一部分的查询需求，之后利用强一致性全局索引功能来满足其它维度的查询和分析需求，在数据库层面实现了数据分片和水平扩展能力，并且对用户透明。...
分区设计
按多个业务维度切分，用户建立多张表存入相同数据，但是每张表按照不同业务维度切分，查询时根据过滤条件选择不同的表，以提升访问性能，适合查询复杂且单一切分方式不能满足需求的场景；按自增主键切分，若表分区方式为分区表，主键为自增...
CDM公共维度层设计规范
模型设计者根据自身业务需求设置表的生命周期管理。您可依据3个月内的最大需要访问的跨度设置保留策略，具体计算方式如下：当3个月内的最大访问跨度小于或等于4天时，建议将保留天数设为7天。当3个月内的最大访问跨度小于或等于12天时，...
发布模型至引擎
模型创建成功后，您需将维度表、明细表、汇总表、应用表通过发布操作物化至所需物理引擎。本文为您介绍如何发布模型并查看发布记录。前提条件 已创建所需模型。DataWorks支持如下建模方式：可视化建模：创建逻辑模型：维度表、创建逻辑模型...
MySQL分库分表实践
本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
3、产品经理/PM如何做好需求管理？
上述需求字段和需求描述模板设置完成之后，创建需求后单个需求的详情页面展示如下：设置需求的优先级 云效上提供了四个级别的优先级：紧急、高、中和低，分别对应：紧急需求（临时紧急插入的需求）、核心需求、优化需求（正常情况下规划和...
加速服务
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
使用场景
二级索引支持在指定列上建立索引，生成的索引表中的数据按照指定的索引列进行排序，数据表的每一个数据写入都会自动同步到索引表中。您只需向数据表中写入数据，然后根据索引表进行查询，在许多场景下能提高查询的效率。样例场景 在电话...
维度建模概述
DataWorks的数据建模产品遵循Kimball维度建模理论，使用DataWorks的维度建模功能进行数据仓库模型设计时，您可根据业务情况设计并创建维度表、明细表、汇总表、应用表，并可将模型快速发布到相应的研发引擎。同时，还可以使用逆向建模，将...
从OSS导入JSON数据文件
JSON数据作为一种通用类型的数据类型，其自解析、灵活的特性，使其能够很好满足复杂场景下数据的记录需求。很多数据库的日志内容中往往都是以JSON的形式进行记录，例如将一次HTTP请求的Request参数和Response内容以JSON的形式记录在一条...
Table Group与Shard Count操作指南
若是因为业务需求需要建立多个Table Group，建议合理设置每个Table Group的Shard数。表迁移时分区表只需要操作父表即可。V1.1及以上版本命令语法 CALL HG_MOVE_TABLE_TO_TABLE_GROUP('<table_name>','<new_table_group_name>');V0.10版本...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
功能特性
空库初始化 表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性。表一致性修复 普通结构变更 支持CREATE TABLE、ALTER、DROP等SQL语句，可以对数据库中的表结构进行变更操作。普通...
配置并管理实时同步任务
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
创建索引表
调用createSchema创建表后，会生成如上图结构所示的ID主表和z3二级索引表 在已经存在的主表上建立二级索引 调用LindormDataStore.createIndex方法，在已创建且"geomesa.secondary.enabled"参数为true的主表上，创建二级索引 String index=...
二级索引简介
当某些应用需要使用不同属性作为查询条件来执行数据查询时，您可以通过将这些属性作为二级索引的主键列实现按照属性快速查询数据的需求。表格存储提供了本地二级索引和全局二级索引来满足您不同读取一致性要求的查询场景。本文介绍了二级...
数据模型架构规范
公共汇总粒度事实层：以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段来物理化模型。数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称...
使用须知
使用创建索引语句（CREATE INDEX）时，如果指定async参数，则为异步构建，语句完成时，会在SYSTEM.CATALOG表中建立索引表的元信息，并建立跟主表的关系，但是状态是building，索引表中没有数据，也不可查，需要后续用 REBUILD语句。...
管理关系
一对一 一对一关系是指关系数据库中第一个表中的单个行只可以与第二个表中的一个行相关，且第二个表中的一个行也只可以与第一个表中的一个行相关。一对多 一对多关系是指关系中第一个表中的单个行可以与第二个表中的一个或多个行相关，但...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
开发计划
从需求阶段、开发阶段、测试阶段到发布阶段每个环节需要对应不同角色进行管理，涉及产品、研发、测试三种角色，建立开发计划、埋点需求发布、埋点开发、埋点测试、计划发布&归档五个流程。支持对发布后的埋点进行归档，使开发过程透明，...
配置并管理实时同步任务
单击 刷新源表和 AnalyticDB for MySQL 3.0表映射 将根据您在步骤3配置的目标表名映射规则来生成目标表，若步骤3未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标...
CREATE TABLE
CREATE TABLE 用于在当前数据库中创建一个新的、初始为空的表。简介 CREATE TABLE 将在当前数据库中创建一个新的、初始为空的表。该表将由发出该命令的用户所拥有。如果给定了一个模式名（例如 CREATE TABLE myschema.mytable.），那么该表...
整库离线同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
整库离线同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在原有表字段...
功能特性
慢Query日志查看与分析 表统计信息日志Table info 提供表统计信息日志系统表table_info按日收集实例内表的统计信息，帮助对实例中的表信息进行查看、分析，以便根据这些信息采取优化措施。表统计信息查看与分析 备份与恢复 支持自动周期...
时序模型介绍
功能特性 创建和管理时序表 通过控制台、SDK、CLI工具等方式列出实例中的全部时序表、创建一张时序表、查询时序表的配置信息、更新时序表的配置信息以及删除一张时序表。在创建或者更新时序表的配置信息时，您可以设置时序表中数据的自动...
一键实时同步至Hologres
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标Hologres表...
配置并管理实时同步任务
在 选择同步的源表 区域，为您展示所选数据源下所有的表，您可以在 源端库表 区域选中需要同步的整库全表或部分表，并单击 图标，将其移动至 已选库表。重要 如果选中的表没有主键，将无法进行实时同步。在 设置表名到Topic的映射规则 区域...
功能特性
计算引擎访问宽表数据 宽表引擎 动态列 Lindorm宽表引擎支持动态列功能，用于在实际业务中动态写入数据并执行查询，减少了数据结构设计的复杂性。动态列 二级索引 Lindorm宽表引擎提供了Tabular模型下的二级索引功能。在非主键匹配的查询...
一键实时同步至AnalyticDB for MySQL 3.0
单击 刷新源表和 AnalyticDB for MySQL 3.0表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为...
索引选择
针对这类数据建立索引的组合方案如下：对元数据表建立多元索引，全量数据表不建立索引或采用二级索引。元数据表一般是产生数据的主体表，例如设备信息表、用户信息表等。在时序模型中，产生数据的主体也可以认为是一个时间线，这条时间线会...
多元索引限制
表主键列中String长度 1000字节 当String类型的主键列要建立索引时，列值长度不能超过1000字节。表属性列中String长度（索引成Keyword）4 KB 无。表属性列中String长度（索引成Text）2 MB 一般情况下，与数据表中属性列的长度限制相同。当...
删除时空对象
如果建立了多个索引表，那么需要对每张索引表均执行该操作。警告 删除索引表前请确保有数据备份，以免造成损失。例如，现有时空索引表xxx_z3和属性索引表xxx_attr，对5分钟之前'd'列的数据进行删除，那么需要执行语句：Alter 'xxx_z3',{...
一键实时同步至Elasticsearch
步骤四：设置目标索引 单击 刷新源表和Elasticsearch 索引映射 将根据您在步骤三配置的 设置表名到索引名的映射规则 来生成目标索引，若步骤三未配置映射规则，将默认写入与源表同名的目标索引，若目标端不存在该同名索引，将默认新建。...
索引介绍
使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...
删除时空对象
如果建立了多个索引表，那么需要对每张索引表均执行该操作。比如现有时空索引表xxx_z3和属性索引表xxx_attr，对5分钟之前的数据进行删除，那么需要执行语句：Alter 'xxx_z3',{NAME=>'d',TTL=>300} Alter 'xxx_attr',{NAME=>'d',TTL=>300} ...
- 产品推荐
- 这些文档可能帮助您