数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
模糊查询+查询分析
用户在配置了 模糊搜索 分析器的情况下并不能很好的满足业务需要并出现了一下bad_case，希望通过 查询分析 可以优化解决，但是由于模糊搜索本身就是扩大召回范围，以非精确性的方式召回数据，并且系统限制了SHORT_TEXT类型的字段配置的索引...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源写入数据。同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要...例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。
操作流程
物理化逻辑表 通过物理化的方式，将 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
Schema约束
因此，开发者在开发基于Lindorm时序引擎的应用程序时，可以类比传统关系型数据库中的关系表来访问时序数据。但是，时序数据模型本质上与关系型数据模型还是有所区别的。无论是在APM领域，还是IoT领域，或者是更偏传统的工业领域，时序数据...
配置ClickHouse输出组件
例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。具体操作，请参见 通过离线单条管道配置集成任务。
过滤条件不下推
colName2,table2.colName1]*/重要 关闭特定字段的过滤条件下推能力既支持对同一个数据库中的表使用Hint，也支持对不同数据库中的表使用Hint。当3.1.4以下版本，跨库使用Hint时，需要保证两个库中的表名不同，否则Hint可能会影响到不需要...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
视频打点
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。CSV 及 XLSX 格式 video_url oss:/*.oss-cn-hangzhou.aliyuncs.com/iTAG/mov/1.mp4 oss://*.oss-...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
03配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量，本文介绍如何配置逻辑表字段，关联标准字段。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已创建数据元...
图文解释
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。sam_embedding_url 用于SAM分割的embedding数据，目前使用前需要用户自行预...
Quick BI数据集的维度字段无法转换为度量
问题原因 通过新建计算字段生成的维度字段无法直接使用转换为度量的功能，所以此种字段的功能列表中没有显示转换为度量的功能。解决方案 在使用新建计算字段功能生成字段时，就选择字段的数据类型为度量。直接使用数据源表中原始的字段即可...
数据建模
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建逻辑表字段时通过关联数据元自动生成质量规则的功能。一致性：支持当前...
分隔符模式解析
例如分隔符为半角逗号（,），引用符为双引号（"），且日志字段内部包含双引号（"）和半角逗号（,），需要将包含半角逗号（,）的日志字段用引用符包裹，同时将日志字段中的双引号（"）转义为"。处理后的日志格式为：1999,Chevy,"Venture"...
BI分析模式数据面板功能介绍
配置内部替换字段：您可以在 图表配置 区域内部，拖拽某个已配置完成的字段移动到其他内部参数虚线内，即可替换并改变当前字段的位置。说明 图表配置 区域中，带*号的部分参数配置必须配置与之匹配的字段数据内容，非*号区域可自定义选择...
功能简介
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
功能简介
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
findOneAndDelete
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 sort Object 否 指定排序的字段，并使用 1 和-1 来指定排序的方式。其中：...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
新建离线物理表
② 字段列表 字段列表为您展示字段的 序号、字段名称、数据类型、字段说明、字段标准、数据分类、数据分级 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可输入字段名称或中文关键词，将自动匹配...
Quick BI数据集如何展示新增的字段
产品名称 Quick BI 产品模块 数据集 概述 本文通过介绍数据集新增字段的入口，帮助您快速添加新字段。问题描述 原数据表里增加了几个字段，但是已创建的数据集没有展示出来，是否需要新建数据集？解决方案 原表里增加了字段，已创建数据集...
映射富化函数
函数示例 示例1：根据原始日志中 pro 字段的值和目标数据字典，输出新字段 protocol。原始日志 data:123 pro:1 加工规则 e_dict_map({"1":"TCP","2":"UDP","3":"HTTP","6":"HTTPS","*":"Unknown"},"pro","protocol",)加工结果 data:123 pro...
分组评估
示例一：分组监控时序数据 例如您将多个服务器的指标数据存储在一个时序库中，但希望每个服务器的CPU使用率（cpu_util）超过95%时，日志服务可以分开发送每个服务器的告警信息。针对此需求，您可以在创建告警监控规则时设置分组评估。具体...
手动修正数据
非敏感字段为您过滤已手动修改为非敏感字段的数据。说明 目前支持对ODPS、EMR、CDH、HOLO引擎中的敏感字段识别结果进行修正。修正单个数据 在上图的区域②为您展示识别结果列表，您可以单击 显示字段设置 勾选您需要关注的字段信息，刷新...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
添加宜搭数据源
拖拽某个数据字段到右侧的图表字段映射下方对应的映射字段中。单击映射字段右侧的 图标，选择配置数据字段聚合方式（默认选择求和）。可选：单击映射字段右侧的 图标，选择 加入排序条件 即可将该字段加入到下方 排序 列表中，排序模式可选...
Quick BI新建计算字段函数说明
概述 用户创建数据集新建计算字段时，会用到数据库函数，希望能给了解函数说明。详细信息 这些函数并不是Quick BI定义的，而是根据数据源数据库来的，例如数据源数据库是MySQL，那函数就和MySQL函数一模一样；例如数据源数据库是Oracle，那...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
通过自定义模型识别
本次模型训练将从您选的样本字段中各随机抽取不超过100条数据进行训练，并根据您的样本字段数量估算耗时。说明 模型训练时间较长，请您等待。等待过程中，您也可以关闭训练弹窗，操作其他功能，模型将在后台自动运行训练。查看模型训练结果...
折线图
使用说明 折线图 支持 单折线图 和 多折线图，单折线图 中仅包含一条折线，无需配置数据源设置中的 分组字段；多折线图 中支持包含多条折线，需配置数据源设置中的 分组字段，并依靠分组字段完成对不同折线的区分。图表绑定的数据源支持...
事件配置
该日志字段中 request_method 为 GET，status 为 404。新打开窗口，查询和分析框中语句变更为如下：*and request_method:GET and status:400|select count(*)as pv,remote_addr as ip,request_method as method group by ip,method order ...
添加宜搭数据源
拖拽某个数据字段到右侧的图表字段映射下方对应的映射字段中。单击映射字段右侧的 图标，选择配置数据字段聚合方式（默认选择求和）。（可选）单击映射字段右侧的 图标，选择 加入排序条件 即可将该字段加入到下方 排序 列表中，排序模式可...
- 产品推荐
- 这些文档可能帮助您