质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
新建及管理质量规则模板
说明 码表参照表 是判断某个字段是否在码表中，需要选择一个对比的字段。例如判断用户详情表里的用户ID是否都是注册用户。码表过滤条件：设置分区表的过滤条件，对数据进行过滤。字段格式校验：内容识别形式：可选择 识别表达式、正则表达...
新建及管理质量规则模板
说明 码表参照表 是判断某个字段是否在码表中，需要选择一个对比的字段。例如判断用户详情表里的用户ID是否都是注册用户。码表过滤条件：设置分区表的过滤条件，对数据进行过滤。字段格式校验：内容识别形式：可选择 识别表达式、正则表达...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
镜像表和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
镜像表和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
多元索引最佳实践
meta映射表中字段与已创建的多元索引字段的关系如下：“用户1”有Keyword类型字段a、b、c，在meta映射表中对“用户1”记录一行数据，其中字段a映射为索引keyword_1、字段b映射为索引keyword_2、字段c映射为索引keyword_3，有Long类型字段...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
配置目标节点
如果已选择自定义存储表已包含字段，输出字段必须是目标自定义存储表中存在的字段（字段定义一致），且包含目标自定义存储表中的主键。如果不满足以上要求，需返回目标节点之前的处理节点，修改输出字段符合目标自定义存储表中字段要求。...
SQL数据类型映射
使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据类型使用VARBINARY和VARCHAR时，建议最大长度设置为1024，即使用VARBINARY(1024)和VARCHAR(1024)。SQL中的BIGINT和数据表中的Integer均为64位整型。SQL中...
自定义血缘配置
针对非SQL类型的计算任务，在提交详情的 对象检查 步骤将会校验血缘配置中引用的输入输出表及字段是否存在。说明 血缘配置仅在提交环节进行对象检查，发布环境不做额外检查。系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，...
自定义血缘配置
针对非SQL类型的计算任务，在提交详情的 对象检查 步骤将会校验血缘配置中引用的输入输出表及字段是否存在。说明 血缘配置仅在提交环节进行对象检查，发布环境不做额外检查。系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，...
类型二：标签授权
场景 实现步骤 场景一：通过绑定用户标签表完成权限控制 设计用户标签表 绑定存储在数据源中的用户标签表后，可以实时的读取到最新的成员标签信息，不再需要手动维护。绑定用户标签表 绑定后，将用户标签表中的阿里云账号ID、阿里云账号名...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
正则式函数
示例 SQL 判断 server_protocol 字段值中是否包含数字。字段样例 server_protocol:HTTP/2.0 查询和分析语句（调试）*|select regexp_like(server_protocol,'\d+')查询和分析结果 SPL 判断server_protocol字段值中是否包含数字 字段样例 ...
GetMetaTableColumn-获取表的字段信息
调用GetMetaTableColumn接口获取表的字段信息。接口说明 仅管控模式为安全协同的数据库实例可调用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
配置逻辑表关联字段标准
在 编辑逻辑表 面板中，给对应字段关联标准字段，在 名字覆盖 对话框中，选择是否用标准字段的名称覆盖当前逻辑表字段的名称，如果需要覆盖，则单击 确认，否则单击 取消。所有操作完成之后，单击 确认。如下图中的nl、xb、sjhm等字段关联...
配置逻辑表关联字段标准
在 编辑逻辑表 面板中，给对应字段关联标准字段，在 名字覆盖 对话框中，选择是否用标准字段的名称覆盖当前逻辑表字段的名称，如果需要覆盖，则单击 确认，否则单击 取消。所有操作完成之后，单击 确认。如下图中的nl、xb、sjhm等字段关联...
Quick BI交叉表中字段别名和字段描述的字数是否有限制
问题描述 Quick BI交叉表中字段别名和字段描述的字数是否有限制？解决方案 字段别名和字段描述的字数有限制，字段别名不能超过150个字，字段描述不能超过300个字，如果超过后会有报错提示，例如字段描述超过字数后会提示如下信息：适用于 ...
新建普通维度逻辑表
步骤二：配置普通维度逻辑表字段信息 在 表结构 配置页面配置当前普通维度逻辑表的表字段、数据类型、字段类别等结构信息。说明 单击逻辑表名称后的 图标，可查看逻辑表的基本信息。区域 描述 ① 表字段定位 单击可定位字段列表的 基本配置...
新建普通维度逻辑表
步骤二：配置普通维度逻辑表字段信息 在 表结构 配置页面配置当前普通维度逻辑表的表字段、数据类型、字段类别等结构信息。说明 单击逻辑表名称后的 图标，可查看逻辑表的基本信息。区域 描述 ① 表字段定位 单击可定位字段列表的 基本配置...
常见问题
可以排查数据集中新建计算字段的表达式中是否引用了其他计算字段，注意计算字段表达式中只能使用数据库中原始字段，不能引用之前创建的计算字段，您也可以使用前计算字段的表达式来代替。日期类型的字段，在不转换文本的情况下是否支持...
概述
明细表 结合业务过程的规划，梳理分析各业务过程中可能产生的实际数据，将这些实际数据字段通过明细表的方式存储下来。例如下订单这一业务过程中，您可以创建下订单这一明细表，用于记录下单过程可能产生实际数据字段，例如订单ID、订单...
功能特性
时序分析存储 SQL查询 数据映射 使用过程时请确保SQL中和数据表中字段数据类型相匹配。SQL数据类型映射 DDL 表格存储支持的DDL操作，包括创建表的映射关系、创建多元索引的映射关系、更新映射表属性列、删除映射关系和查询表的描述信息的...
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最优结果给用户。业务排序表达式允许用户为应用自定义搜索结果排序方式，通过在查询...根据不同的算分将数值归一化至[0,1]in/notin:判断字段值是否（不）在指定列表中
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最...kvpairs_value:获取查询串中kvpairs子句中指定字段的值 normalize：归一化函数，根据不同的算分将数值归一化至[0,1]in和notin:判断字段值是否（不）在指定列表中
创建和管理自定义存储表
开启Flink任务 如果需要将自定义存储表存储的时序数据，集成到实时计算Flink中计算和分析，帮助您实时分析和诊断设备的运行状况，实时检测运行故障，实时预测设备制品良率等，可以开启时序表的Flink任务。说明 数据服务中实时数据集成流出...
配置目标库信息
例如A表中包含字段1、字段2和字段3，B表中包含字段3、字段4和字段5，对A表和B表通过做JOIN操作后，需要输出字段1、字段2、字段3、字段4和字段5，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段1、字段2、字段3、字段4和字段5。...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
扩展参数
kvpairs_value:获取查询串中kvpairs子句中指定字段的值 normalize：归一化函数，根据不同的算分将数值归一化至[0,1]in和notin:判断字段值是否（不）在指定列表中 operator参数 参数说明：表示文本召回时，文本token之间的关系是OR，默认是...
GetMetaTableDetailInfo-获取表的字段、索引等信息
调用GetMetaTableDetailInfo接口获取表的字段、索引等信息。接口说明 仅管控模式为安全协同的数据库实例可调用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
数据建模
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
- 产品推荐
- 这些文档可能帮助您