CREATE STREAM
physical_column_definition 是 物理列，指通常意义下的数据库字段，包括字段名称、字段类型和字段顺序等。外部系统根据物理字段读取或写入数据。column_name：物理列的列名。column_type：物理列的数据类型。column_constraint：物理列...
MongoDB数据导入
查询ObjectId字段 示例数据 在数据库 test_mongodb 中创建名为 test_objectid 的集合，示例如下：db.createCollection("test_objectid");向 test_objectid 集合中插入文档，示例如下：db.test_objectid.insert({ 'id':1,})查询 test_...
新建数据模型
内存实体 不存储在数据库中，仅临时存储在应用程序内存中的实体。系统默认实体 系统默认实体里面既含有实体，也有内存实体。系统默认实体实际上是引用模块的实体，系统数据模块是应用的默认引用模块。操作步骤 登录 魔笔。在顶部菜单栏选择...
Quick BI数据集过滤数字字段，如果选取多个值过滤？
概述 本文主要介绍数据集过滤数字字段，选取多个值过滤的方法。详细信息 数据集过滤数字字段，界面只能选取两个条件，如何选取多个值过滤呢？方法如下：将该数字字段转换为文字类型。过滤该字段，选择按枚举过滤-多选即可。适用于 Quick BI...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
数据探查
数据输入、合并、清洗加工、聚合和关联节点支持数据探查。本文为您介绍数据探查的操作。入口 您可以通过图示的方式进入数据探查界面。说明 合并、清洗加工、聚合和关联节点进入 数据探查 的方式同上。预览设置 数据探查支持快速采样、随机...
开放搜索
放到filter子句、sort子句及函数中涉及字段有明确标识需设置为属性的字段必须创建为属性字段。无法将分词字段类型配置为属性字段，例如TEXT、SHORT_TEXT等都无法配置，只支持将数值字段类型及不分词字段类型配置为属性字段，例如INT、INT_...
数据加工
复制字段 针对已有字段，复制一个 字段表达式 和 字段类型 相同的字段，方便您快速创建同类型字段，提高数据准备的效率。删除字段 针对多余字段，完成数据的清洗加工。查看数据详情。支持查看 数据探查、数据详情 和 字段列表。聚合 根据...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
文本查询
说明 查询值字段第一项 取的是 数据集 中该查询值字段的第一个值，如果在数据集中该字段有排序（升降序、自定义排序等），则按照这个排序的第一个取，不受到上方选项值来源 排序字段 的影响。选中该选项，并设置默认值为中级和高级。手工...
用户属性管理
赋值逻辑 选择当用户属性同时关联的多个字段发生冲突时的赋值逻辑，支持：保留创建时间最早的字段值 保留更新时间最晚的字段值 保留出现频次最高的字段值 空值取值逻辑 选择遇字段空值时的取值逻辑，支持：有值优先：当多个字段中有字段为...
SAP HANA数据源
SAP HANA数据源为您提供读取和写入SAP HANA双向通道的功能，本文为您介绍DataWorks的SAP HANA数据同步的能力支持情况。使用限制 离线同步支持读取视图表。目前该数据源仅支持 独享数据集成资源组。支持的字段类型 SAP HANA Reader针对SAP ...
配置数据聚合
聚合结果字段名：仅支持数字、字母和下划线，不能以数字开头，不能和已有字段重合，长度不超过30个字符。聚合操作：SUM、COUNT、MIN、MAX、AVG。以“应用场景”的示例为例：被聚合字段：选择空调温度 temperature。聚合结果字段名：分钟级...
查看并管理明细及汇总表实例
说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，均会被连带重跑。参数 描述 起始节点 选择重跑下游的起始节点。支持选择全表和指定字段，详细说明如下：全表：逻辑表...
查看并管理明细及汇总表实例
说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，均会被连带重跑。参数 描述 起始节点 选择重跑下游的起始节点。支持选择全表和指定字段，详细说明如下：全表：逻辑表...
API 数据源
本文将介绍以API为数据源时如何添加表。添加表 在 实例详情>表管理页，点击 添加表：填写表的基础信息，点击 下一步：配置说明：表名称：可自定义 数据分片数：分片数设置时，各索引表分片数需保持一致；或至少一个索引表分片数为1，其余...
配置字段计算转换组件
本文为您介绍如何配置字段计算转换组件。配置属性 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 描述 步骤名称 根据当前组件的...
配置字段计算转换组件
本文为您介绍如何配置字段计算转换组件。配置属性 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 说明 步骤名称 根据...
配置相邻消息计算
仅支持数字、字母和下划线，不能以数字开头，不能和已有字段重合，长度不超过30个字符。以电表场景为例：定义字段 kwh_diff，表示每小时的增量用电量。计算表达式 配置表达式计算 前一变量字段 和 当前变量字段 的值。必须使用${current_...
WAF日志字段
首字母 字段 a account相关字段：account_action|account_rule_id|account_test acl相关字段：acl_action|acl_rule_id|acl_rule_type|acl_test algorithm相关字段：algorithm_action|algorithm_rule_id|algorithm_test antifraud相关字段：...
Quick BI新建计算字段函数说明
概述 用户创建数据集新建计算字段时，会用到数据库函数，希望能给了解函数说明。详细信息 这些函数并不是Quick BI定义的，而是根据数据源数据库来的，例如数据源数据库是MySQL，那函数就和MySQL函数一模一样；例如数据源数据库是Oracle，那...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
Quick BI配置同环比按钮是灰的无法点击
如果该数据集无日期字段，则无法使用同环比功能，需要换一个数据集，或者数据库里加日期字段。如果数据集中有日期字段，但是数据集里设置的类型是文本类型，那么需要手动转换一下字段类型：点击编辑按钮，跳转到数据集编辑页（或者从数据集...
算子功能详解
可自定义字段名，注意不能和已有字段重复。Sorter排序 排序字段：单选，Recall 组件返回字段+前面所有Join组件返回字段+前面所有Score 组件的score字段。去重字段：单选，Recall 组件返回字段+前面所有Join组件返回字段。插件参数：设置...
从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
数据迁移服务隐藏列机制说明
源端 目标端 参考文档 OceanBase 数据库 MySQL 租户 OceanBase 数据库 MySQL 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle 租户 OceanBase 数据库 Oracle 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle ...
数据规范
物品详情表 物品详情表至少需要有两个数据字段，其中一个字段为 主键，同时也是 分片字段，其他字段为物品属性字段。表中的记录和物品一一对应，主键 为物品的唯一标识，因此 主键 必须是唯一的。主键 的字段类型必须为 STRING。其他物品...
配置组件交互
id、city 为您数据库中的字段，test_id_3 为数据库中数据表的表名。API模式 https://api.test?id=:income&city=:mycity 说明 income 和 mycity 为您配置的回调ID，id 和 city 为您数据库中的字段。高级功能 设置自定义字段 选择数字翻牌器...
配置图表字段
配置度量数据 配置维度数据 切换数据集 搜索维度字段和度量字段 同环比 字段过滤 数据排序 配置度量数据 以订单数量字段为例，配置度量字段：将鼠标悬浮在度量字段上，单击右侧的 图标。根据业务场景，配置度量字段：数据展示格式 自动 ...
如何配置数字翻牌器组件的回调ID
id、city 为您数据库中的字段，test_id_3 为数据库中数据表的表名。API模式 https://api.test?id=:income&city=:mycity 说明 income 和 mycity 为您配置的回调ID，id 和 city 为您数据库中的字段。高级功能 设置自定义字段 选择数字翻牌器...
新建数据模版
说明 当前支持通过DD添加数据字段的数据源类型有：MaxCompute、Hive、HiveStorage、DataHub、AnalyticDB PostgreSQL、AnalyticDB for RDS、PostgreSQL。配置完成后，单击 确定。相关操作 在模板管理页面，可对模板进行以下操作：操作 说明 ...
配置图表数据
批量配置字段样式 ② 筛选数据 ③ 定时刷新数据 ④ 设置数据展示结果 ⑤ 新建计算字段 ⑥ 新建分组维度 ⑦ 新建占位符 ⑧ 复制转维度 ⑨ 编辑数据集 ⑩ 切换数据集 ⑪ 上传本地文件 ⑫ 新建数据集 批量配置字段样式 当有多个字段数据需要...
新建数据模版
说明 当前支持通过DD添加数据字段的数据源类型有：MaxCompute、Hive、HiveStorage、DataHub、AnalyticDB PostgreSQL、AnalyticDB for RDS、PostgreSQL。配置完成后，单击 确定。相关操作 在模板管理页面，可对模板进行以下操作：操作 说明 ...
场景管理器
如果数据中有duration字段，则优先使用数据中的配置。延迟时间：一个场景动画结束到下一个场景动画开始所停留的时间，取值范围为0~30000，单位为ms。如果数据中有delay字段，则优先使用数据中的配置。回调ID：设置组件之间数据联动的变量，...
通过数据同步功能同步SLS数据至湖仓版
例如：AnalyticDB for MySQL 集群数据表的字段名为name，源端SLS数据字段名为user_name，系统会自动以name填充 源字段 和 目标字段，此时您需要手动修改 源字段 为user_name。同步配置 的参数说明如下：参数名称 参数说明 投递起始位点 ...
通过数据同步功能同步SLS数据至数仓版
例如：AnalyticDB for MySQL 集群数据表的字段名为name，源端SLS数据字段名为user_name，系统会自动以name填充 源字段 和 目标字段，此时您需要手动修改 源字段 为user_name。同步配置 的参数说明如下：参数名称 参数说明 投递起始位点 ...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
配置ElasticSearch输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。字段分隔符 非必填项，填写字段之间分隔符。如果您没有填写，则系统自动添加英文逗号（,）作为分隔符。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示...
- 产品推荐
- 这些文档可能帮助您