主键用于定义事实逻辑表从来源表中的取数逻辑;度量是数值类型的字段,表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表。使用限制 若您未购买 数据标准 模块,不支持设置表中的 数据标准 字段。若您未购买 资产...
主键用于定义事实逻辑表从来源表中的取数逻辑;度量是数值类型的字段,表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表。使用限制 若您未购买 数据标准 模块,不支持设置表中的 数据标准 字段。若您未购买 资产...
步骤二:配置普通维度逻辑表字段信息 在 表结构 配置页面配置当前普通维度逻辑表的表字段、数据类型、字段类别等结构信息。说明 单击逻辑表名称后的 图标,可查看逻辑表的基本信息。区域 描述 ① 表字段定位 单击可定位字段列表的 基本配置...
步骤二:配置普通维度逻辑表字段信息 在 表结构 配置页面配置当前普通维度逻辑表的表字段、数据类型、字段类别等结构信息。说明 单击逻辑表名称后的 图标,可查看逻辑表的基本信息。区域 描述 ① 表字段定位 单击可定位字段列表的 基本配置...
结构变更 中的模板如下所示:检测点 模板 保存编辑,校验表头 新建表,禁止表名为关键字 新建表,限制表名长度 新建表,表必须填写备注 新建表,限制表名全部小写 新建表,必须要有主键(PK)新建表,必须要有唯一键(PK/UK)索引数量合理...
通过CTAS语句,在实时同步数据的同时,还能实时将上游表结构(Schema)的变更同步到下游表,提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS(CTAS)的使用方法,并提供了多种使用场景下的示例。前提条件 ...
在Lakehouse技术中,⾮常关键的技术就是多版本的⽂件管理协议,它提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务和多版本、小⽂件⾃动合并优化、元信息校验和⾃动进化、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。...
重要 实时计算引擎Flink1.15-vvr-6.0.3到Flink1.15-vvr-6.0.5默认会进行filter下推,但如果作业使用了hologres维表,且写入的DML中包含有对维表非主键字段的过滤条件时,维表的filter会被错误的下推,可能导致维表join出现错误结果。...
DDL中的字段均对应Elasticsearch文档中的字段,不支持将文档ID等Meta信息写入Elasticsearch结果表中,因为文档ID等Meta信息由Elasticsearch实例侧维护。WITH参数 源表 参数 说明 数据类型 是否必填 默认值 备注 connector 源表类型。String...
脱敏源为 RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表 时配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括:RDS表、PolarDB-X表、MaxCompute表、...
结果表 RDS MySQL数据库支持自增主键,因此在结果表的DDL中不声明该自增字段。例如ID是自增字段,Flink DDL不声明该自增字段,则数据库在一行数据写入过程中会自动填补相关自增字段。结果表的DDL声明的字段必须至少存在一个非主键的字段,...
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表,表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角,选择>协同。在顶部菜单栏,单击 图标,选择目标工作组。在左侧导航栏,单击>离线数据同步。在 离线...
自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源,可以作为数据解析、SQL分析任务的结果输出表,可以集成时序表数据到实时计算Flink,也可以直接存储静态导入的自定义字段数据等。本文介绍如何创建和管理自定义...
锁是一种数据库的信号量管理机制,作用是保证SQL执行上不同事务的隔离性。本文为您介绍Hologres中的锁及如何排查锁。背景信息 当一个Query发起时,在Hologres中其经过的链路如下图所示。Frontend解析Query,Query Engine生成执行计划,然后...
本文介绍DataWorks开放消息的消息结构、不同类型事件的消息格式及各字段含义,帮助您快速获取和感知事件消息的状态变更信息。注意事项 DataWorks发送的核心消息内容您可参照消息实体格式进行查看。通过EventBridge发送的消息,会在消息实体...
本文为您介绍如何使用云数据库RDS MySQL版连接...为什么MySQL物理表(包含RDS MySQL和ADB)的INT UNSIGNED字段类型,在Flink SQL中要被声明为其他类型?报错:Incorrect string value:'\xF0\x9F\x98\x80\xF0\x9F.' for column 'test' at row 1
特殊配置说明:为便于兼容各测试场景、高效推进测试与验证,测试工具会在配置的表列数基础上,额外增加以下列:主键列 id:作为表的主键和Distribution Key,在测试过程中从1开始逐条递增。时间列 ts:作为表的Segment Key,在测试过程中...
类别 详情 运行模式 流模式 API种类 SQL 支持类型 源表、维表和结果表 数据格式 暂不支持 特有监控指标 源表:无 维表:无 结果表:numBytesOut numBytesOutPerSecond numRecordsOut numRecordsOutPerSecond currentSendTime 说明 指标的...
如果需要在ES外表中获取该字段值,建表时可以增加类型为 varchar 的_id 字段:CREATE EXTERNAL TABLE `doe`(`_id` varchar COMMENT"",`city` varchar COMMENT"")ENGINE=ELASTICSEARCH PROPERTIES("hosts"="http://127.0.0.1:8200","user"=...
适用场景 结构变更适用于新项目、新需求、业务优化等场景,一般会涉及新建表、修改表(如加减字段、加减索引、调整索引、调整字段属性)等结构的变更。功能特性 在开发过程中自动检测企业需遵循的表结构研发规范,如不允许删除在生产环境中...
此时您可以为这张表建立两张全局二级索引表,表结构分别为如下:重要 为了确保主键的唯一性,二级索引会将数据表的原主键的主键列也添加到主键列中,例如图中的FilePath列。图 1:索引1 图 2:索引2 有了这两张索引表,即可通过索引表的...
如果查询的SQL语句中的过滤字段不是数据表的主键,则需要进行全表扫描。由于col1不是数据表的主键,表格存储会进行全表扫描找到col1的值为'阿%'的一行数据;由于col2不是数据表的主键,表格存储会再次进行全表扫描找到col2的值为'a'的两行...
数据管理DMS提供的结构设计功能,可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程,保障多套环境(例如开发环境、测试环境、生产环境)之间结构的一致性。本文以物理库为例,介绍进行结构设计的...
多实例多库相同表同步至单表:目标表自动增加一个source_schema字段放在第一列,该字段存储通道信息、库信息、表信息,并作为联合主键,防止 多实例多库分库分表同步到一个目标表出现主键冲突。如果确定同步不会出现主键冲突,可以不使用这...
} 参数 创建多元索引时,需要指定数据表名称(tableName)、多元索引名称(indexName)和索引的结构信息(indexSchema)和timeToLive(数据生命周期),其中indexSchema包含fieldSchemas(Index的所有字段的设置)、indexSetting(索引设置...
本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用过程时请确保SQL中和数据表中字段数据类型相匹配。说明 SQL中主键列的数据类型使用VARBINARY和VARCHAR时,建议最大长度设置为1024,即使用...
组成部分 描述 主键(Primary Key)主键是数据表中每一行的唯一标识,主键由1到4个主键列组成。分区键(Partition Key)主键的第一列称为分区键。表格存储 按照分区键对数据表的数据进行分区,具有相同分区键的行会被划分到同一个分区,...
表结构定义 检测项 适用的SQL语句 规则名称与规则标识 库属性 CREATE DATABASE 限制创建库的字符集:CREATE_DATABASE_LIMIT_CHARSET 表属性 CREATE TABLE ALTER TABLE 表要有主键:TABLE_MUST_HAVE_PRIMARY_KEY 表要有备注:TABLE_MUST_...
在 新建表 对话框,选择 表类型 为 内部表,并配置表所在的引擎、路径及名称等信息。配置Hologres内部表。在Hologres内部表的编辑页面,您可配置表的相关信息。配置基础属性。表的主要基础属性如下。参数 描述 存储模式 表在Hologres中的...
示例项目的用户上下文中定义了账号、用户基础信息结构对象、用户身份验证结构对象等结构对象,其中用户基础信息结构对象和用户身份验证结构对象用于在用户信息获取、用户登录验证接口中作为出入参使用。更多信息,请参见 创建和管理结构...
结构同步 影子表同步 支持根据源表的表结构自动创建影子表(新的数据表,表名是在源表名上增加前缀或后缀的方式生成),适用于全链路压测等场景。影子表同步 空库初始化 支持将源数据库的表结构同步至空数据库中(数据库中不存在任何表),...
信息项 示例值 项目名称 odc_4.2.0 数据库名称 odc_test 表名称 employee 在 SQL 窗口中,编辑和执行 SQL 语句以查询表 employee 的数据。SELECT `emp_no`,`birthday`,`name` FROM `odc_test`.`employee`;如上图所示,在结果页签中,单击...
os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称,比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式:yyyyMMdd hh 小时字段 否 24小时制,00~23 mm 分钟字段 否 00~59 结果表字段基本都是...
列存索引可以增强宽表中海量数据的分析计算能力,主要适用于车联网与物联网的设备信息统计、电商领域的数据分析、物流行业的订单统计等场景。本文介绍列存索引的基础用法和高阶用法,帮助您快速上手并进一步掌握列存索引。前提条件 已开通...
在库表结构迁移阶段,DTS会在目标表中添加字段_sign 和_version,若您配置 迁移类型 时未勾选 库表结构迁移,则需要手动在目标表中添加字段。字段信息,请参见 字段信息。执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行...
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步,所以您需要单击 同步主键 列的 按钮,为无主键表设置 自选主键,即选择表中一个或部分字段作为主键,写入目标端时将会使用该主键进行去重。本案例为无主键表 doc_tb2_nopk ...
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步,所以您需要单击 同步主键 列的 按钮,为无主键表设置 自选主键,即选择表中一个或部分字段作为主键,写入目标端时将会使用该主键进行去重。本案例为无主键表 doc_tb2_nopk ...
现DMS推出的 SQL审核 功能将结合安全规则的SQL审核优化建议,对SQL进行审核并提供优化建议,您可以在安全规则中自定义SQL规范,例如表要有主键、限制主键列类型及限制主键包含列的个数等,更多信息,请参见 配置SQL审核优化建议。...
表结构变更同步 在实时同步整库数据的同时,还支持将每张源表的表结构变更(加列等)实时同步到结果表中。分库合并同步 支持使用正则表达式定义库名,匹配数据源的多个分库下的源表,合并后同步到下游每张对应表名的结果表中。源库新增表...
数据加工阶段 dwd_log_info_di 通过函数正则等方式对MaxCompute日志数据的表ods_user_info_d进行加工,拆解为可分析字段(例如根据IP获取地域信息),写入dwd_log_info_di表中。dws_user_info_all_di 通过将用户基本信息ods_user_info_d和...