添加字段
键值对格式，支持添加多个。IgnoreIfExist Boolean 否 存在相同的字段名时，是否忽略重复的字段。true：忽略。false（默认值）：不忽略。配置示例 添加 aaa2 字段和 aaa3 字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 ...
从RDS MySQL数据库获取数据进行数据富化
日志服务数据加工功能支持从阿里云...匹配成功后，返回RDS MySQL数据库表中的 name 字段和对应的三个字段值，多个字段值用逗号（,）分隔，生成一条新的日志。time:1563436326 data:123 city:nanjing province:jiangsu name:aliyun,Maki,vicky
SkewedInfo
名称 类型 描述 示例值 object SkewedInfo SkewedColNames array 包含倾斜值的字段列表 string 倾斜字段 col1 SkewedColValueLocationMaps object 倾斜值和字段的映射 Map string 倾斜值和字段的映射 Map {“col1”:"val1"} ...
查看审计日志
本文介绍了如何在云盾数据库审计系统和在日志服务控制台查询审计日志。在数据库审计系统查看审计日志 登录云盾数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>审计日志。选择资产名称、时间范围等检索...
FieldSchema
名称 类型 描述 示例值 object FieldSchema Comment string 字段的文本注释 comment_day Name string 字段名称 day Parameters Parameters 字段关联属性的键值对 Type string 字段类型，包括 array bigint binary boolean char date ...
新建查询控件
当选项值来源为 手工输入 时，需要通过单击 图标，在 手工录入 页面，手工输入查询值字段和显示名称字段：当第一次进行手工录入且查询值与显示名称一致时，需要输入查询值并单击 确定 后，系统会自动输入显示名称。当第一次进行手工录入且...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
使用数据实验室
在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
配置组件交互
id、city 为您数据库中的字段，test_id_3 为数据库中数据表的表名。API模式 https://api.test?id=:income&city=:mycity 说明 income 和 mycity 为您配置的回调ID，id 和 city 为您数据库中的字段。高级功能 设置自定义字段 选择数字翻牌器...
设置逻辑表质量规则
维度类：适用于选择的字段已关联了维度后的规则，包括字段长度和字段值类型的校验。规则类型 字段的质量规则类型。包括：空值率 唯一率 重复率 空值数量 最大值 最小值 唯一值 和重复值。高级选项 说明 目前仅MaxCompute、Hive、AnalyticDB...
设置逻辑表质量规则
维度类：适用于选择的字段已关联了维度后的规则，包括字段长度和字段值类型的校验。规则类型 字段的质量规则类型。包括：空值率 唯一率 重复率 空值数量 最大值 最小值 唯一值 和重复值。高级选项 说明 目前仅MaxCompute、Hive、AnalyticDB...
创建多元索引
sorters（可选）：索引的预排序方式，支持按照主键排序和字段值排序。更多信息，请参见 排序和翻页。PrimaryKeySort表示按照主键排序，包含如下设置：order：排序的顺序，可按升序或者降序排序，默认为升序（SortOrder.ASC）。FieldSort...
ALIYUN:OTS:SearchIndex
支持按照主键排序和字段值排序。更多信息，请参见 排序和翻页 和 Sorters属性。Sorters语法"Sorters":[{"FieldSort":Map,"PrimaryKeySort":Map,"ScoreSort":Map,"GeoDistanceSort":Map }]Sorters属性 属性名称 类型 必须 允许更新 描述 ...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB for MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7...
字符串函数
示例 将 region 字段和 request_method 字段的值拼接为一个字符串。字段样例 region:cn-shanghai time:14/Jul/2021:02:19:40 查询和分析语句（调试）*|SELECT concat(region,'-',time)查询和分析结果 from_utf8函数 from_utf8函数用于将...
新增逻辑表质量规则
维度类：适用于选择的字段已关联了维度后的规则，包括字段长度和字段值类型的校验。选择规则类型，并设置关联的字段。（可选）配置 高级选项。说明 高级选项 仅用OpenAPI向上层应用提供更精细化的结果数据，不影响数据开发质量节点及质量...
新增逻辑表质量规则
维度类：适用于选择的字段已关联了维度后的规则，包括字段长度和字段值类型的校验。选择规则类型，并设置关联的字段。（可选）配置 高级选项。说明 高级选项 仅用OpenAPI向上层应用提供更精细化的结果数据，不影响数据开发质量节点及质量...
字段值提取函数
KV模式提取 e_kv 通过quote提取多个源字段中的键值对信息。支持和其他函数组合使用。相关示例，请参见 提取字符串动态键值对。e_kv_delimit 通过分隔符提取源字段中的键值对信息。Syslog标准提取 e_syslogrfc 根据Syslog协议由已知priority...
查看数据安全配置
数据安全配置说明 离线样本被授权到多方安全分析项目时，数据所有方会定义离线样本的目标字段是否为关联键或分组键，并选择是否开启目标字段的保护开关，从而完成数据安全配置，关于关联键和分组键的介绍请参见 基本概念。联合分析的过程中...
多表合并
可以对字段名称和字段代码进行重新命名。去重合并 多表合并算子默认不做去重合并，输出的数据包含来源节点的所有记录。勾选去重合并后，节点的输出数据将会过滤重复的记录。去重合并的效果示例参考 对齐字段 中的示意图。
OpsDoc
如果字段为FLOAT或者DOUBLE类型，返回值会对字段取整。如果字段为LITERAL或者ARRAY类型，返回0。参数列表：fieldName—属性字段名称，必须是常量。返回值：返回字段的值。代码示例：package users.scorer;import ...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
过滤日志
支持添加多个键值对，键值对之间为与关系。丢弃日志 输入日志字段和该字段值匹配的正则表达式。如果日志中任意一个字段的值符合对应的正则表达式，则丢弃该日志。支持添加多个键值对，键值对之间为或关系。配置示例 只采集 ip 以 10 开头、...
新建行为关系
在行为主体中选择您所需定义的主体及主体ID、字段名称等信息，系统将根据配置自动解析字段类型和值类型。您也可为主体填写相关的描述信息。创建主体，请参见 创建实体。说明 单击 添加主体属性 您可为主体添加多个对应属性信息。其中包括...
AND
计算逻辑原理 对多个字段值取逻辑与。使用流程说明 组件拖入画布后，将输入端口与其他组件的输出端口连接，将输出端口与其他组件的输入端口连接，从IN端口选择N个字段进行取与操作。参数说明 AND算法组件的 IN1/IN2/IN3/IN4端口-输入参数 ...
OR
计算逻辑原理 对多个字段值取逻辑或。使用流程说明 组件拖入画布后，将输入端口与其他组件的输出端口连接，将输出端口与其他组件的输入端口连接，从IN端口选择N个字段进行取或操作。参数说明 OR算法组件的 IN1/IN2/IN3/IN4端口-输入参数 ...
配置本地文件输入组件
首行内容类型 支持数据内容和字段名称。首行内容起始行 首行内容选为字段名称时，数据内容起始行不可小于2；首行内容选为数据内容时，数据内容起始行不可小于1。行分隔符、字段分隔符 非必填。行分隔符：文件行分隔符，如不填写，默认为。...
配置本地文件输入组件
首行内容类型 支持数据内容和字段名称。首行内容起始行 首行内容选为字段名称时，数据内容起始行不可小于2；首行内容选为数据内容时，数据内容起始行不可小于1。行分隔符、字段分隔符 非必填。行分隔符：文件行分隔符，如不填写，默认为。...
replaceOne
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的过滤条件。doc Object 是 替换的目标文档。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 upsert Boolean 否 如果查找不到对应文档...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
日志字段
db_name string 数据库名称。fail int SQL执行是否出错，取值范围如下：0：未出错 1：出错 fetched_rows int 从存储拉取的记录行数。hint string SQL执行使用的HINT。instance_id string PolarDB-X 实例ID。memory_reject int 是否因为内存...
数据探查
预览设置 数据探查支持快速采样、随机采样和字段采样三种采样方式。说明 预览设置默认折叠，抽样方式默认快速抽样。参与预览计算的数据最多一千行，原数据不足一千行取全量数据，超过则抽样数据。快速采样：取前1000行数据。随机采样：随机...
findOneAndReplace
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。replacement Object 是 数据库操作时的替换对象。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 排序规则...
- 产品推荐
- 这些文档可能帮助您