新建普通维度逻辑表
缺联策略 缺联策略用于定义来源主表（左表）中存在的字段，但在维度逻辑表（右表）中不存在的字段，即无法关联的字段的计算逻辑。您可以选择 保留原始缺联数据 和 缺联数据使用默认值代替：保留原始缺联数据：创建派生指标时，保留左表原始...
LOB大字段独立冷存
本文介绍如何将一张表中的某个LOB字段从基表中分离出来并转为冷存，同时访问透明，以达到单张表中按字段维度进行冷热分离。操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table...
实时同步DataHub的数据至Hologres
DataHub Hologres Project Database Topic Table 同步场景与策略介绍 同步场景 同步场景 说明 逐条插入 将源数据库中数据逐条插入到目标数据库中，适用于将DataHub数据全量同步至Hologres的场景。回放 通过分析并重新执行Binlog数据库操作...
LOB大字段独立冷存
本文介绍如何将一张表中的某个LOB字段从基表中分离出来并转为冷存，同时访问透明，以达到单张表中按字段维度进行冷热分离。操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
通过数据同步功能同步SLS数据至湖仓版
例如：SLS数据总共有10行，某一字段中有2行是脏数据，则该2行数据转为NULL值写入，其他8行数据正常写入。Unix时间戳转datetime 若SLS源字段是Unix时间戳（例如1710604800），而目标字段类型是DATETIME或TIMESTAMP，需开启此功能进行转换。...
findOneAndUpdate
示例 从 clubs 集合中查找 score 字段值大于20000的第一条记录，并将其 team 字段设置为Therapeutic Hamsters，score 字段设置为22250，其他字段保持不变。mpserverless.db.collection('clubs').findOneAndUpdate({ score:{$gt:20000 } },{...
findOneAndReplace
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。replacement Object 是 数据库操作时的替换对象。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 排序规则...
类型二：标签授权
添加用户标签 添加用户标签用于关联用户标签表中的字段，关联后，用户标签表中标签值会传到Quick BI用户标签中。使用标签授权 授权后，用户标签表中的标签值会作用于所有数据集，权限生效人员只能看到权限范围内的数据。场景二：通过手动...
通过Flink SQL模式配置ETL任务
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
表
字段 字段名 表中每一列的标识。数据类型 字段取值的类型。主键 表中每条数据的唯一标识。可空 字段是否可以设置为空。数组 有序的元素序列。描述 字段的描述信息。操作 包括 删除、上移 和 下移。属性 存储模式 包括 列存、行存 和 行列...
如何发布和调用JDBC数据服务
例如出参定义某个字段为Long型，但数据表中对应字段的某条记录为字符值，则在试图解析到此记录的字段值并转换为Long型时会抛出异常，导致此条记录生成失败，此时定义的业务结果字段为空，而此字段则会表达出生成记录的错误信息。...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
updateOne
在 users 集合中查找 age 字段值大于18的第一条记录，同时将该记录的 name 和 age 字段更新，其他字段默认保留。若没有找到符合条件的记录，就将 {name:"Smith",age:22} 作为新记录插入。mpserverless.db.collection('users').updateOne({ ...
配置数据过滤转换
数据过滤插件可以对数据进行规则过滤，例如过滤字段的大小等，符合规则的数据才会被保留。前提条件 配置数据过滤节点前，您需要先配置好相应的输入节点，详情请参见 ...输出字段 显示要同步的原始表中对应字段和类型。单击工具栏中的 图标。
数据注册与字段配置
维度字段的定义与来源表中的定义保持一致即可。离线指标和实时指标不能混用一个结果表。离线指标结果表只需要有 dt 日期字段即可。实时指标至少要有 hh 小时字段。有了“实验报表来源表”之后，打开控制台“指标管理-数据注册”页面，即可...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
数据规范
物品详情表 物品详情表至少需要有两个数据字段，其中一个字段为 主键，同时也是 分片字段，其他字段为物品属性字段。表中的记录和物品一一对应，主键 为物品的唯一标识，因此 主键 必须是唯一的。主键 的字段类型必须为 STRING。其他物品...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
公共规范
数据冗余 一个表做宽表冗余维度属性时，应该遵循以下建议准则：冗余字段与表中其它字段高频率（大于3个下游应用SQL）同时访问。冗余字段的引入不应造成其本身的刷新完成时间产生过多后延。公共层数据不允许字段重复率大于60%的相同粒度数据...
管理数据表
本文为您介绍如何快速查找数据表，并查看数据表中的数据字段和数据类型等信息。查询数据表 当数据源中的数据表过多，无法快速定位到自己所需的数据表时，您可以按照以下步骤操作。登录 Quick BI控制台。按照下图指引，进入数据源管理页面。...
创建及管理内部表
类别 参数 描述 基本属性 Hologres数据库 存放新建表的数据库。表名 新建表的表名称。描述 表的相关描述。字段 添加字段 单击即可添加字段。字段名 表中每一列的标识。数据类型 字段的属性。主键 确定列的唯一标识。可空 字段可以为空值。...
质量规则参数配置
校验字段：选择物理表中的需要校验的字段。数据源类型：选择该物理表的数据源类型。数据源：选择该物理表所属的数据源 选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。校验表数据过滤：填写数据过滤内容，例如：id=12-单...
质量规则参数配置
校验字段：选择物理表中的需要校验的字段。数据源类型：选择该物理表的数据源类型。数据源：选择该物理表所属的数据源 选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。校验表数据过滤：填写数据过滤内容，例如：id=12-单...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
Oracle同步至Tablestore
还支持您单击 批量添加源端字段为属性字段 快速把源表中的字段，添加为Tablestore表的属性字段。准备好Tablestore目标表字段后，您可以配置源表和目标表之间的字段映射，支持同名映射、同行映射或您可将鼠标悬浮在字段映射连线上手动编辑...
创建及管理内部表
类别 参数 描述 基本属性 Hologres数据库 存放新建表的数据库。表名 新建表的表名称。描述 表的相关描述。字段 添加字段 单击即可添加字段。字段名 表中每一列的标识。数据类型 字段的属性。主键 确定列的唯一标识。可空 字段可以为空值。...
配置FeatureStore项目
字段配置 说明 特征字段 Label表中如果存在某些特征的话，可勾选对应字段为特征字段。FG保留字段 当前阶段可不做配置。事件时间 勾选Label表中记录行为产生的时间戳字段。Label字段 勾选Label表中的Label字段。分区字段 勾选Label表中的...
GetMetaTableColumn-获取表的字段信息
0 Position integer 字段在表中的顺序。1 Nullable boolean 字段是否允许为空，返回值说明如下：true：允许为空 false：不允许为空 false DataLength long 字段长度。0 ErrorMessage string 错误信息。TableGuid is mandatory for this ...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
findOne
示例 在 users 集合中查找 age 字段值大于18的记录，按照姓名升序排列，跳过10条记录后，返回符合条件的第一条记录的 name 字段（_id 字段也默认返回），并且搜索时不使用_id 字段作为索引，而是以 name 字段作为索引。mpserverless.db....
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
数组和嵌套类型
例如Long类型+数组后，即为数组长整型，该字段中可以包括多个长整型数字，查询数据时其中任何一个匹配都可以返回该行数据。多元索引的基本类型数组格式请参见下表。数组类型 说明 Long Array 长整型的数组形式，格式为“[1000,4,5555]”。...
find
请求示例 在 users 集合中查找 age 字段值大于18的记录，按照姓名正序排列，返回符合条件的第11到第20条记录的 name 字段（_id 字段默认也返回）。mpserverless.db.collection('users').find({ age:{$gt:18 } },{ projection:{ name:1 },...
OpenSearch数据源
例如，您需要导入的字段列表有b、c两个字段，但OpenSearch表中的字段有a、b、c三列，在列配置中可以写为"column":["c","b"]，表示会把Reader的第一列和第二列导入OpenSearch的c字段和b字段，而OpenSearch表中新插入的a字段会被置为默认值或...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
DB-IN
本文为您介绍数据读写的数据源组件（即DB-IN算法组件）。...参数名 描述 默认值 范围 数据源选择“数据源管理”的所有数据源都会在此列出 无 无 可用字段“数据源”的所有表字段都会在此列出 无 无 已选字段 已选字段都会在此列出 无 无
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
- 产品推荐
- 这些文档可能帮助您