逻辑表DML操作
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table[partition()](,<col_name>.)<select_statement>from;插入或覆写数据。...指定字段时，先清空目标字段的全部数据，非目标字段的数据保留。
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
表格填报
若您的入库配置表未包含全部字段，未绑定填报控件的字段值也会被清空，请谨慎操作。写入物理表设置 选择 数据源、物理表 数据源选择：仅可选择同时有使用权限且数据库账号有写入权限的数据源。选择物理表写入，可以选择 已有表，也可以选择...
单元格填报
若您的入库配置表未包含全部字段，未绑定填报控件的字段值也会被清空，请谨慎操作。写入物理表设置 选择 数据源、物理表 数据源选择：仅可选择同时有使用权限且数据库账号有写入权限的数据源。选择物理表写入，可以选择 已有表，也可以选择...
MongoDB数据导入
查询ObjectId字段 示例数据 在数据库 test_mongodb 中创建名为 test_objectid 的集合，示例如下：db.createCollection("test_objectid");向 test_objectid 集合中插入文档，示例如下：db.test_objectid.insert({ 'id':1,})查询 test_...
Quick BI如何设置自动用字段备注作为字段名
问题描述 数据库的建表语句已经给字段加了备注名称，希望创建数据集时，可以直接用该备注名称作为字段名 解决方案 需要修改工作空间的配置信息，个人空间与群空间配置入口不一样。要确认数据集是在哪个工作空间创建的，然后进入相应工作...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
自定义字段
您不仅可以 在项目中配置自定义字段，还可以在管理后台中直接管理当前企业使用的所有自定义字段。二者的区别： 当你在...覆盖字段：文本字段、数字字段、单选字段、多选字段 配置完成后，创建任务时该字段将被默认填入设置的默认值内容。
索引、属性、字段作用详解
通俗说就是数据库的名字 字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系...
周期任务补数据
指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：对于维度逻辑表和事实逻辑表，系统将自动识别并选中计算逻辑发生变更的字段，不支持取消选中，保障数据按照最新计算逻辑运行。对于汇总逻辑表，系统会根据指标的...
周期任务补数据
指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：对于维度逻辑表和事实逻辑表，系统将自动识别并选中计算逻辑发生变更的字段，不支持取消选中，保障数据按照最新计算逻辑运行。对于汇总逻辑表，系统会根据指标的...
2021.12.23更新
【自动化规则】支持字段值清空。【自动化规则】支持时间字段选择动态时间 问题修复 规划迭代页面，负责人信息未展示。需求收藏后归档，取消归档。工作项收藏里无此需求。企业角色删除提示删除失败，未明确失败原因。看板模式下，子项卡片的...
订单汇总
若用户ID字段已被AES加密，请在 组织系统配置 输入密钥，以便在推送或使用前解密。操作步骤 选择工作空间>配置管理>数据接入管理>数据导入>表结构配置。单击右上角 新建表配置>订单汇总，进入 新建订单汇总配置 页面。选择要导入的计算源、...
配置数据聚合
您可以将数据聚合节点类比为Flink SQL的窗口函数，该节点的作用是将解析任务中流转的消息按照窗口进行聚合计算。通过该节点聚合生成多样化的数据，可用于后续分析或输出。使用说明 目前支持的Flink SQL的窗口函数规则为滚动时间窗口...
OpenSearch-高性能检索版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT OpenSearch表的字段类型与数据库表的字段类型的对应关系 OpenSearch表 ...
行业算法版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT 行业算法版表的字段类型与数据库表的字段类型的对应关系 行业算法版表 ...
字段操作函数
本文介绍字段操作函数的语法规则，包括参数解释、函数示例等。函数列表 函数 说明 v 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。相关示例，请参见 调用函数清洗数据。e_set ...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
表设计规范
普通字段可以被理解为数据文件的数据，而分区字段可以被理解为文件系统的目录。表的存储空间主要是普通字段占用的空间。设置分区字段时，您可以从数据管理和数据扫描方面考虑，来选择对应的字段。不具备规律、类型数量大于10000且不经常...
字段设置
日志服务字段设置提供了一键式交互查询体验，帮助您快速分析某一字段在指定时间内的分布情况。前提条件 已开启对应字段的索引和统计功能。具体操作，请参见 创建索引。例如，访问日志中存在 request_method 和 request_time 字段，可参考...
配置相邻消息计算
通过表达式或筛选器节点解析源节点数据后，可使用相邻消息计算节点，取当前消息的某个数值字段的值（仅支持BIGINT、DOUBLE类型）与前一条消息的相同数值字段的值，按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。...
库表
AnalyticDB MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理，会导致写入时存在热点，降低写入性能。分区字段合理性。AnalyticDB MySQL 后台以分区为粒度进行数据存储...
概述
在 日志存储>日志库 页签中，单击目标日志库前面的>，依次选择 数据接入>Logtail配置。在 Logtail配置 列表中，单击目标Logtail配置。在 Logtail配置 页面，单击 编辑。在 处理配置 区域，添加Logtail插件，然后单击 保存。在创建Logtail...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
用户标签
配置用户标签表结构，用于导入用户标签表数据。用户标签表记录用户的一系列特征属性。通过为字段配置标签别名的方式给用户打标签，在使用标签时，实质上是在使用对应的字段。基于用户标签数据，可以形成 用户画像，可以进行 透视分析、人群...
扫描（Scan）分析概述
日志服务扫描分析功能支持免配置索引进行目标字段的扫描，用于分析相关日志。本文介绍扫描分析功能的相关信息。背景信息 日志服务基于索引技术，提供快速查询和分析日志功能，但在某些场景下可能会遇到如下限制，无法创建或使用索引。为...
敏感数据保护概览
RDS MariaDB、其他来源MariaDB PolarDB PostgreSQL版（兼容Oracle）PolarDB分布式版 OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
Quick BI能否基于数据集新建字段再创建新字段
概述 本文主要介绍Quick BI能否基于数据集新建字段再创建新字段。详细信息 Quick BI不能基于数据集新创建的字段再创建新字段。可以使用数据库中的字段使用多个函数来创建新字段达到想要的结果。适用于 Quick BI
Quick BI配置同环比按钮是灰的无法点击
如果该数据集无日期字段，则无法使用同环比功能，需要换一个数据集，或者数据库里加日期字段。如果数据集中有日期字段，但是数据集里设置的类型是文本类型，那么需要手动转换一下字段类型：点击编辑按钮，跳转到数据集编辑页（或者从数据集...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
管理敏感数据
支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、达梦数据库（DamengDB）、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、DB2、Lindorm_CQL、Lindorm_SQL、OpenGauss。数据仓库：...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
Schema约束
强约束 与传统关系型数据库类似，时序引擎会严格依据预先定义的表结构对写入数据的表名、字段名、数据类型进行校验。不匹配则写入失败。弱约束 写入数据的表不存在时，时序引擎不会报错，而是会自动创建对应的表。写入数据的新增一个标签...
- 产品推荐
- 这些文档可能帮助您