新建事实逻辑

主键用于定义事实逻辑从来源表中的取数逻辑;度量是数值类型的字段,表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑。使用限制 若您未购买 数据标准 模块,不支持设置表中的 数据标准 字段。若您未购买 资产...

新建事实逻辑

主键用于定义事实逻辑从来源表中的取数逻辑;度量是数值类型的字段,表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑。使用限制 若您未购买 数据标准 模块,不支持设置表中的 数据标准 字段。若您未购买 资产...

新建普通维度逻辑

步骤二:配置普通维度逻辑表字段信息结构 配置页面配置当前普通维度逻辑的表字段、数据类型、字段类别等结构信息。说明 单击逻辑名称后的 图标,可查看逻辑的基本信息。区域 描述 ① 表字段定位 单击可定位字段列表的 基本配置...

新建普通维度逻辑

步骤二:配置普通维度逻辑表字段信息结构 配置页面配置当前普通维度逻辑的表字段、数据类型、字段类别等结构信息。说明 单击逻辑名称后的 图标,可查看逻辑的基本信息。区域 描述 ① 表字段定位 单击可定位字段列表的 基本配置...

结构设计

结构变更 的模板如下所示:检测点 模板 保存编辑,校验表头 新建,禁止名为关键字 新建,限制名长度 新建必须填写备注 新建,限制名全部小写 新建,必须要有主键(PK)新建,必须要有唯一键(PK/UK)索引数量合理...

CREATE TABLE AS(CTAS)语句

通过CTAS语句,在实时同步数据的同时,还能实时将上游表结构(Schema)的变更同步到下游,提高您在目标存储创建和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS(CTAS)的使用方法,并提供了多种使用场景下的示例。前提条件 ...

DLA Lakehouse实时入湖

在Lakehouse技术,⾮常关键的技术就是多版本的⽂件管理协议,它提供⼊湖和分析过程的增量数据实时写⼊、ACID事务和多版本、小⽂件⾃动合并优化、元信息校验和⾃动进化、⾼效的列式分析格式、⾼效的索引优化、超⼤分区存储能⼒。...

实时数仓Hologres

重要 实时计算引擎Flink1.15-vvr-6.0.3到Flink1.15-vvr-6.0.5默认会进行filter下推,但如果作业使用了hologres维,且写入的DML包含有对维主键字段的过滤条件时,维的filter会被错误的下推,可能导致维join出现错误结果。...

Elasticsearch

DDL字段均对应Elasticsearch文档字段,不支持将文档IDMeta信息写入Elasticsearch结果表中,因为文档IDMeta信息由Elasticsearch实例侧维护。WITH参数 源 参数 说明 数据类型 是否必填 默认值 备注 connector 源类型。String...

数据脱敏

脱敏源为 RDS/PolarDB-X/MaxCompute/PolarDB/OceanBase/ADB-MySQL 时配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括:RDS、PolarDB-X、MaxCompute、...

MySQL

结果 RDS MySQL数据库支持自增主键,因此在结果的DDL不声明该自增字段。例如ID是自增字段,Flink DDL不声明该自增字段,则数据库在一行数据写入过程会自动填补相关自增字段。结果的DDL声明的字段必须至少存在一个非主键字段,...

增量数据同步

RDS MySQL数据源已有ys_yhkh作为数据同步来源表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角,选择>协同。在顶部菜单栏,单击 图标,选择目标工作组。在左侧导航栏,单击>离线数据同步。在 离线...

创建和管理自定义存储

自定义存储可以作为数据服务数据解析、SQL分析任务和数据可视化的数据源,可以作为数据解析、SQL分析任务的结果输出,可以集成时序数据到实时计算Flink,也可以直接存储静态导入的自定义字段数据。本文介绍如何创建和管理自定义...

锁以及排查锁

锁是一种数据库的信号量管理机制,作用是保证SQL执行上不同事务的隔离性。本文为您介绍Hologres的锁及如何排查锁。背景信息 当一个Query发起时,在Hologres其经过的链路如下图所示。Frontend解析Query,Query Engine生成执行计划,然后...

附录:消息格式

本文介绍DataWorks开放消息的消息结构、不同类型事件的消息格式及各字段含义,帮助您快速获取和感知事件消息的状态变更信息。注意事项 DataWorks发送的核心消息内容您可参照消息实体格式进行查看。通过EventBridge发送的消息,会在消息实体...

云数据库RDS MySQL版

本文为您介绍如何使用云数据库RDS MySQL版连接...为什么MySQL物理(包含RDS MySQL和ADB)的INT UNSIGNED字段类型,在Flink SQL中要被声明为其他类型?报错:Incorrect string value:'\xF0\x9F\x98\x80\xF0\x9F.' for column 'test' at row 1

数据写入、更新、点查场景压测最佳实践

特殊配置说明:为便于兼容各测试场景、高效推进测试与验证,测试工具会在配置的列数基础上,额外增加以下列:主键列 id:作为主键和Distribution Key,在测试过程从1开始逐条递增。时间列 ts:作为的Segment Key,在测试过程...

表格存储Tablestore(OTS)

类别 详情 运行模式 流模式 API种类 SQL 支持类型 源、维和结果 数据格式 暂不支持 特有监控指标 源:无 维:无 结果:numBytesOut numBytesOutPerSecond numRecordsOut numRecordsOutPerSecond currentSendTime 说明 指标的...

Elasticsearch数据源

如果需要在ES外表中获取字段值,建时可以增加类型为 varchar 的_id 字段:CREATE EXTERNAL TABLE `doe`(`_id` varchar COMMENT"",`city` varchar COMMENT"")ENGINE=ELASTICSEARCH PROPERTIES("hosts"="http://127.0.0.1:8200","user"=...

结构设计

适用场景 结构变更适用于新项目、新需求、业务优化等场景,一般会涉及新建、修改(如加减字段、加减索引、调整索引、调整字段属性)等结构的变更。功能特性 在开发过程自动检测企业需遵循的结构研发规范,如不允许删除在生产环境...

索引介绍

此时您可以为这张建立两张全局二级索引表结构分别为如下:重要 为了确保主键的唯一性,二级索引会将数据的原主键主键列也添加到主键,例如图的FilePath列。图 1:索引1 图 2:索引2 有了这两张索引,即可通过索引的...

概述

如果查询的SQL语句的过滤字段不是数据主键,则需要进行全扫描。由于col1不是数据主键,表格存储会进行全扫描找到col1的值为'阿%'的一行数据;由于col2不是数据主键,表格存储会再次进行全扫描找到col2的值为'a'的两行...

结构设计

数据管理DMS提供的结构设计功能,可以实现对目标库、进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程,保障多套环境(例如开发环境、测试环境、生产环境)之间结构的一致性。本文以物理库为例,介绍进行结构设计的...

从RDS原生实时同步

多实例多库相同同步至单:目标自动增加一个source_schema字段放在第一列,该字段存储通道信息、库信息表信息,并作为联合主键,防止 多实例多库分库分表同步到一个目标出现主键冲突。如果确定同步不会出现主键冲突,可以不使用这...

创建多元索引

} 参数 创建多元索引时,需要指定数据名称(tableName)、多元索引名称(indexName)和索引的结构信息(indexSchema)和timeToLive(数据生命周期),其中indexSchema包含fieldSchemas(Index的所有字段的设置)、indexSetting(索引设置...

数据类型映射

本文介绍了SQL中字段数据类型、数据字段数据类型和多元索引中字段数据类型的映射关系。使用过程时请确保SQL中和数据字段数据类型相匹配。说明 SQL中主键列的数据类型使用VARBINARY和VARCHAR时,建议最大长度设置为1024,即使用...

模型介绍

组成部分 描述 主键(Primary Key)主键是数据表中每一行的唯一标识,主键由1到4个主键列组成。分区键(Partition Key)主键的第一列称为分区键。表格存储 按照分区键对数据的数据进行分区,具有相同分区键的行会被划分到同一个分区,...

配置SQL审核优化建议

表结构定义 检测项 适用的SQL语句 规则名称与规则标识 库属性 CREATE DATABASE 限制创建库的字符集:CREATE_DATABASE_LIMIT_CHARSET 属性 CREATE TABLE ALTER TABLE 要有主键:TABLE_MUST_HAVE_PRIMARY_KEY 要有备注:TABLE_MUST_...

创建Hologres内部

在 新建 对话框,选择 类型 为 内部,并配置所在的引擎、路径及名称等信息。配置Hologres内部。在Hologres内部的编辑页面,您可配置的相关信息。配置基础属性。的主要基础属性如下。参数 描述 存储模式 在Hologres的...

示例:模型设计

示例项目的用户上下文中定义了账号、用户基础信息结构对象、用户身份验证结构对象等结构对象,其中用户基础信息结构对象和用户身份验证结构对象用于在用户信息获取、用户登录验证接口作为出入参使用。更多信息,请参见 创建和管理结构...

功能概览

结构同步 影子同步 支持根据源结构自动创建影子(新的数据名是在源名上增加前缀或后缀的方式生成),适用于全链路压测等场景。影子同步 空库初始化 支持将源数据库的结构同步至空数据库(数据库不存在任何),...

结果编辑与导出

信息项 示例值 项目名称 odc_4.2.0 数据库名称 odc_test 名称 employee 在 SQL 窗口中,编辑和执行 SQL 语句以查询 employee 的数据。SELECT `emp_no`,`birthday`,`name` FROM `odc_test`.`employee`;如上图所示,在结果页签中,单击...

数据注册与字段配置

os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称,比如 pv,uv,ctr 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式:yyyyMMdd hh 小时字段 否 24小时制,00~23 mm 分钟字段 否 00~59 结果表字段基本都是...

列存索引

列存索引可以增强宽表中海量数据的分析计算能力,主要适用于车联网与物联网的设备信息统计、电商领域的数据分析、物流行业的订单统计场景。本文介绍列存索引的基础用法和高阶用法,帮助您快速上手并进一步掌握列存索引。前提条件 已开通...

PolarDB MySQL版迁移至ClickHouse集群

在库表结构迁移阶段,DTS会在目标表中添加字段_sign 和_version,若您配置 迁移类型 时未勾选 库表结构迁移,则需要手动在目标表中添加字段字段信息,请参见 字段信息。执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行...

MySQL一键实时同步至MaxCompute

功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步,所以您需要单击 同步主键 列的 按钮,为无主键表设置 自选主键,即选择表中一个或部分字段作为主键,写入目标端时将会使用该主键进行去重。本案例为无主键表 doc_tb2_nopk ...

MySQL一键实时同步至MaxCompute

功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步,所以您需要单击 同步主键 列的 按钮,为无主键表设置 自选主键,即选择表中一个或部分字段作为主键,写入目标端时将会使用该主键进行去重。本案例为无主键表 doc_tb2_nopk ...

SQL审核

现DMS推出的 SQL审核 功能将结合安全规则的SQL审核优化建议,对SQL进行审核并提供优化建议,您可以在安全规则自定义SQL规范,例如要有主键、限制主键列类型及限制主键包含列的个数,更多信息,请参见 配置SQL审核优化建议。...

CREATE DATABASE AS(CDAS)语句

表结构变更同步 在实时同步整库数据的同时,还支持将每张源表结构变更(加列)实时同步到结果表中。分库合并同步 支持使用正则表达式定义库名,匹配数据源的多个分库下的源,合并后同步到下游每张对应名的结果表中。源库新增...

需求分析

数据加工阶段 dwd_log_info_di 通过函数正则方式对MaxCompute日志数据的ods_user_info_d进行加工,拆解为可分析字段(例如根据IP获取地域信息),写入dwd_log_info_di表中。dws_user_info_all_di 通过将用户基本信息ods_user_info_d和...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云数据库HBase版 云备份 云数据库专属集群 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用