如何创建特定时间段分析
根据需求创建时间段 新建字段进行分析。表达式文本如下：case when hour([report_date])>=0 and hour([report_date])凌晨0-6' when hour([report_date])>=6 and hour([report_date])上午7-12' when hour([report_date])>=12 and hour(...
工作项模板管理
云效Projex 提供了工作项的模板管理能力，模板管理分为 字段...如果检索不到所需字段，可跳转至 基本信息管理 新建字段（需要企业级字段管理权限），或者联系企业管理员添加。3.设置内容模板 内容模板在配置后，新建的工作项会自带内容格式。
新建手工表
手动添加：通过在输入字段名称、数据类型、说明方式创建字段结构。生命周期 配置手工表的生命周期，支持7、14、30、360天。重要 生命周期仅MaxCompute计算引擎支持配置。描述 填写手工表的简单描述，128个字符以内。重要 创建的手工表为...
新建手工表
手动添加：通过在输入字段名称、数据类型、说明方式创建字段结构。生命周期 配置手工表的生命周期，支持7、14、30、360天。重要 生命周期仅MaxCompute计算引擎支持配置。描述 填写手工表的简单描述，128个字符以内。重要 创建的手工表为...
工单管理
说明 工单系统中常见的字段包括工单标题、工单类型、优先级、状态、创建日期与时间、提交人/客户信息、关联项目或产品、问题描述、附件上传、影响范围、预期完成时间、处理人员/团队、工单标签以及解决方法/备注等，字段的选择根据您实际...
如何分析非索引字段？
如果您要分析日志（SELECT语句），需要为目标字段创建字段索引且打开对应字段的 开启统计 开关。如果您要分析日志但未提前创建索引或无法创建索引，可通过本文方法解决。创建或重建索引 如果是分析新写入的日志，则直接为目标字段创建索引...
如何进行时间段分析
进入数据集编辑界面 此时源表时间字段已经转化为日期类型，如下图所示，需要创建时间字段进行分析：创建时间字段 首先进入数据集编辑界面，右击订单日期并选择维度类型切换-默认，转化为默认，然后单击克隆维度创建副本，再将原字段转化...
事件创建
本文介绍如何在决策引擎中创建事件。背景信息 什么是事件？实际业务中某个需要开展风控的 业务场景 对应决策引擎中的一个 事件，比如：“账号注册场景”对应“注册风险识别事件”，“营销活动场景”对应“营销风险识别事件”，“贷款申请...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
查询与分析日志的常见报错
解决方法 确认是否已为目标字段创建字段索引且开启统计功能。如果是，请执行下一步。如果不是，请先为目标字段创建字段索引且开启统计功能。具体操作，请参见 手动创建字段索引。执行该操作后，如果问题解决，则无需执行下一步。使用双引号...
LOD函数
字段表达式：lod_fixed{[customer_name]:MIN(DATE_FORMAT([buy_date],'%Y'))} 含义：求出每个用户最早的下单时间，粒度为年，粒度可以随意调整，只要使用符合您的数据库的语法的日期函数就可以。创建图表。本例中，我们创建一个线图。将上...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL NoSQL数据存储 MongoDB、ElasticSearch 配置同步任务 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
行业算法版表结构
注意：数据源字段数据类型如果是FLOAT或DOUBLE类型，建议改为DECIMAL类型，否则可能会出现精度不正确的情况。创建应用结构方式介绍 行业算法版提供如下4中方式创建应用结构（行业算法版的表结构）：通过数据源的方式创建（RDS、MaxCompute...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
新建和管理公共标准属性
当选择 值域 属性时，监控规则的内容和标准填写的值域属性值相关，如果值域属性的取值类型为 输入枚举值 和 范围区间，则自动创建 字段值域监控 规则，规则配置部分的值域约束内容来自于数据标准填写的属性值；若值域属性的取值类型为 引用...
新建和管理公共标准属性
当选择 值域 属性时，监控规则的内容和标准填写的值域属性值相关，如果值域属性的取值类型为 输入枚举值 和 范围区间，则自动创建 字段值域监控 规则，规则配置部分的值域约束内容来自于数据标准填写的属性值；若值域属性的取值类型为 引用...
设置逻辑表质量规则
方式二：手动新建字段规则。在 质量规则 区域的 字段规则 页签，单击 新增规则。在 新增质量规则 面板，设置规则参数。参数 说明 规则名称 支持用户自定义，规则名称如果不输入会默认生成（规则类型+创建时间）。强弱 强规则：若质量实际...
设置逻辑表质量规则
方式二：手动新建字段规则。在 质量规则 区域的 字段规则 页签，单击 新增规则。在 新增质量规则 面板，设置规则参数。参数 说明 规则名称 支持用户自定义，规则名称如果不输入会默认生成（规则类型+创建时间）。强弱 强规则：若质量实际...
操作流程
采用数据元的数据标准管理 根据业务需要，创建数据标准以约束建模规范，根据字段标准设置可以快速创建字段级质量规则，保证字段命名、字段值域遵循统一的标准规范，提升数据质量。流程图 流程说明 操作 说明 新建模型目录 通过新建模型目录...
OpenSearch-高性能检索版表结构
注意：数据源字段数据类型如果是FLOAT或DOUBLE类型，建议改为DECIMAL类型，否则可能会出现精度不正确的情况。创建应用结构方式介绍 OpenSearch提供如下4中方式创建应用结构（OpenSearch的表结构）：通过数据源的方式创建（RDS数据源配置、...
操作流程
采用数据元的数据标准管理 根据业务需要，创建数据标准以约束建模规范，根据字段标准设置可以快速创建字段级质量规则，保证字段命名、字段值域遵循统一的标准规范，提升数据质量。流程图 流程说明 操作 说明 新建模型目录 通过新建模型目录...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
扫描（Scan）分析概述
执行SQL语句，对上述提取到的字段数据进行聚合分析，并返回最终的分析结果。扫描分析与索引分析的对比 对比项 索引分析 扫描分析 语法 查询语句|分析语句（标准SQL）查询语句|set session mode=scan;分析语句（标准SQL）是否需要配置索引 ...
导入Elasticsearch数据
本文介绍如何将Elasticsearch数据导入到日志服务，实现数据的查询分析、加工等操作。前提条件 已有可用的Elasticsearch集群。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。创建数据导入配置 登录 日志服务...
查询和分析JSON日志
如果需要对字段进行分析（SELECT语句），必须创建字段索引。配置字段索引。以下是JSON格式的日志示例和对应字段的配置。topic_、_source_、_tag_是系统的保留字段，更多信息请参见 保留字段。timestamp、remote_addr、remote_user、...
保留字段
保留字段 数据格式 索引与统计设置 说明_time_整型，Unix标准时间格式。索引设置：_time_通过API中的参数from和to选择，无需添加该字段的索引。统计设置：当您为任何一列开启统计后，日志服务默认为_time_开启统计。写入日志数据时指定的...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
快速入门
描述 Topic的描述信息 步骤三：写入数据 DataHub支持多种写入方式，针对日志可以选择Flume等多种插件，针对数据库可以选择DTS、canal，也可以通过SDK写入，在这里使用console工具上传文件的方式写入数据。下载并解压console工具包，配置ak...
字段设置
日志服务字段设置提供了一键式交互查询体验，帮助您快速分析某一字段在指定时间内的分布情况。前提条件 已开启对应字段的索引和统计功能。具体操作，请参见 创建索引。例如，访问日志中存在 request_method 和 request_time 字段，可参考...
自定义集群API Server证书SAN
自定义集群API Server证书的SAN字段 新建集群 本小节以创建 ACK托管集群 为例，说明如何在新建集群过程中自定义API Server证书的SAN字段。其他集群类型的操作类似。在创建集群的 集群配置，单击 显示高级选项。在 自定义证书SAN 配置项中...
自定义集群API Server证书SAN
自定义集群API Server证书的SAN字段 新建集群 本小节以创建 ACK托管集群 为例，说明如何在新建集群过程中自定义API Server证书的SAN字段。其他集群类型的操作类似。在创建集群的 集群配置，单击 显示高级选项。在 自定义证书SAN 配置项中...
查询和分析日志
如果您要分析日志，则需创建 字段索引 并 开启统计。操作视频 您可以参见如下视频完成查询和分析操作。步骤一：输入查询和分析语句 登录 日志服务控制台。在Project列表区域，单击目标Project。在控制台左侧，单击 日志存储，在 日志库 ...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
没有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库...
- 产品推荐
- 这些文档可能帮助您