新建及管理质量规则模板
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。表达式中的${total_...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
Nginx模式解析
解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时保留原始字段 选中 解析成功时保留原始字段，则解析成功时，将保留原始字段。重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时...
正则解析
解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时保留原始字段 选中 解析成功时保留原始字段，则解析成功时，将保留原始字段。重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时...
CSV格式
转义符 当字段内出现分隔符时，需要使用转义符包裹该字段，避免读数据时造成字段错误分割。无效字段内容 当 CSV字段 中指定的Key不存在时，投递此参数配置的内容。投递字段名称 打开 投递字段名称 开关后，将字段名称写入到CSV文件。OSS...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
Sensors Data（神策）数据源
DataWorks数据集成支持使用Sensors Data Writer将数据写至Sensors Data，本文为您介绍DataWorks的Sensors Data数据同步的能力支持情况。使用限制 目前仅华南1（深圳）地域支持绑定Sensors Data数据源，其他地域会陆续支持，敬请期待！不...
限制账号只能访问指定表、视图、字段
授权查询数据库中的视图 grant select on<数据库名>.<视图名>to<用户名>;示例 授权用户test01查询数据库rds001的视图view_test1。grant select on rds001.view_test1 to test01;授权更新或查询表中的字段 grant update(<字段名>)on table...
管理敏感数据
OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake Analytics）ClickHouse MaxCompute Hologres Hive 实例已开通敏感数据保护功能。...
从索引中恢复数据
功能介绍 由于API推送数据源在进行全量后，之前通过API推送的数据最多只能回追3天的数据，因此为保证用户API推送数据的完整性，召回引擎版提供了从当前全量版本中恢复数据的功能，保证用户API推送的数据可以在下一次全量版本中保留，其原理...
从索引中恢复数据
功能介绍 由于API推送数据源在进行全量后，之前通过API推送的数据最多只能回追3天的数据，因此为保证用户API推送数据的完整性，向量检索版提供了从当前全量版本中恢复数据的功能，保证用户API推送的数据可以在下一次全量版本中保留，其原理...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
配置DataWorks平台GDB Writer
本文为您介绍GDB Writer支持的数据类型、字段映射和数据源等参数及配置示例。说明 GDB Writer仅支持使用 独享数据集成资源组，不支持使用默认资源组和 自定义资源组。开始配置GDB Writer插件前，请首先配置好数据源，详情请参见 配置Graph ...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
CSV格式
转义符 当字段内出现分隔符时，需要使用转义符包裹该字段，避免读数据时造成字段错误分割。无效字段内容 当 CSV字段 中指定的日志字段不存在时，投递此参数中配置的内容。投递字段名称 打开 投递字段名称 开关后，将字段名称写入到CSV文件...
IIS模式解析
解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时保留原始字段 选中 解析成功时保留原始字段，则解析成功时，将保留原始字段。重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
Quick BI能否基于数据集新建字段再创建新字段
概述 本文主要介绍Quick BI能否基于数据集新建字段再创建新字段。详细信息 Quick BI不能基于数据集新创建的字段再创建新字段。可以使用数据库中的字段使用多个函数来创建新字段达到想要的结果。适用于 Quick BI
通过自定义模型识别
过滤字段：如果某些字段容易与样本字段混淆，则您也可以在该规则模型中将其排除，排除后，使用该规则模型识别数据时，排除的字段将不会命中。同时，排除的字段将作为负向样本加入模型训练，以达到不命中混淆数据，提高识别准确率的效果。...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
Apache模式解析
解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时保留原始字段 选中 解析成功时保留原始字段，则解析成功时，将保留原始字段。重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时...
附近人搜索
数据源配置 字段映射时，将company_lon_lat这个应用结构字段配置StringCatenateExtractor插件，将现有的经度字段lon和纬度字段lat，联合起来。通过空格联合，生成到目标字段company_lon_lat。注意：目标字段company_lon_lat的映射字段可...
添加字段
您在使用Logtail采集日志时，可以使用processor_add_fields插件添加日志字段。本文介绍processor_add_fields插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只支持表单配置方式，其余输入插件只支持JSON配置方式。功能入口 当...
数组和嵌套类型
例如Long类型+数组后，即为数组长整型，该字段中可以包括多个长整型数字，查询数据时其中任何一个匹配都可以返回该行数据。多元索引的基本类型数组格式请参见下表。数组类型 说明 Long Array 长整型的数组形式，格式为“[1000,4,5555]”。...
创建及管理内部表
类别 参数 描述 基本属性 Hologres数据库 存放新建表的数据库。表名 新建表的表名称。描述 表的相关描述。字段 添加字段 单击即可添加字段。字段名 表中每一列的标识。数据类型 字段的属性。主键 确定列的唯一标识。可空 字段可以为空值。...
Quick BI如何设置自动用字段备注作为字段名
问题描述 数据库的建表语句已经给字段加了备注名称，希望创建数据集时，可以直接用该备注名称作为字段名 解决方案 需要修改工作空间的配置信息，个人空间与群空间配置入口不一样。要确认数据集是在哪个工作空间创建的，然后进入相应工作...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
FieldSort
表示多元索引中字段排序方式的配置。数据结构 message FieldSort { optional string field_name=1;optional SortOrder order=2;optional SortMode mode=3;optional NestedFilter nested_filter=4;optional bytes missing_value=5;encoded ...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
新增逻辑表质量规则
数据元类：针对已关联了数据元标准的字段，支持自动生成元数据质量检查标准或自定义选择元数据标准的规则和期望值，包括可选择效验字典、字段类型、字段长度及精度、UDF效验函数。维度类：适用于选择的字段已关联了维度后的规则，包括字段...
新增逻辑表质量规则
数据元类：针对已关联了数据元标准的字段，支持自动生成元数据质量检查标准或自定义选择元数据标准的规则和期望值，包括可选择效验字典、字段类型、字段长度及精度、UDF效验函数。维度类：适用于选择的字段已关联了维度后的规则，包括字段...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
新建及管理标准模板
标准模板用于定义创建数据标准时需要填写的属性信息，以便对数据标准进行规范化定义。本文为您介绍如何新建及管理标准模板。权限说明 超级管理员和数据标准管理员可新建及管理标准模板。超级管理员、数据标准管理员及模板维护人员可以编辑...
- 产品推荐
- 这些文档可能帮助您