数据脱敏
可选值：字段全文：全部提取，即替换目标字段值中的所有内容。正则指定：使用正则表达式提取敏感内容。替换字符串 用于替换敏感内容的字符串。设置 脱敏方式 为 字符串替换 时，必填。敏感内容前缀正则 匹配敏感内容前缀的正则表达式。设置...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
统计分组
一旦选择为 分组字段 后，算子将会本次请求中的字段值和历史请求数据进行分组。例如：选择“性别”作为分组字段，则算子会使用性别字段分组，分成“男”、“女”、“”。统计项 统计项是对经过统计范围筛选后的数据进行分组聚合操作。统计...
行级管控
数据管理DMS行级管控可实现所有已接入DMS的非NoSQL数据库类型的统一行级权限管控，可以解决不同人员只允许访问不同数据行的问题。例如，销售经理只能查看本人所负责地域的数据，不能查看全部地域数据。前提条件 实例的管控模式为安全协同。...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值为map类型，您可以使用下标运算符获取 etl_context 字段值中 project 的值。字段样例 etl_context:{ project:"datalab-148*6461-...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
全局操作函数概览
e_set 添加新字段或为现有字段设置新的字段值。e_drop_fields 删除符合条件的日志字段。e_keep_fields 保留符合条件的日志字段。e_pack_fields 打包日志字段，并输出到新的字段中。e_rename 重命名符合条件的日志字段名称。字段值提取函数 ...
删除有约束的列
删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型，通过 ALTER TABLE DDL 语句进行删除列操作时，MySQL 数据库和 OceanBase 数据库 MySQL 租户的区别如下。MySQL 数据库的字段类型 是否允许执行删除 OceanBase...
使用数据实验室
日志服务数据实验室为您提供各种场景的模拟日志数据及各种...您可以调整日志的字段值、时间范围等配置，重新导入数据。单击 删除，删除场景。在删除场景时，您可以选择是否要同步删除Logstore及相关报表。删除场景后，将停止数据模拟任务。
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
字段加密
如果未选中该选项，则加密失败后，字段值将被替换为 ENCRYPT_ERROR。JSON配置方式 配置 type 为 processor_encrypt，detail 说明如下表所示。参数 类型 是否必选 说明 SourceKey String数组 是 原始字段名。EncryptionParameters Object 是...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
URL函数
示例 从 url 字段值中提取 accounttraceid 参数的值。字段样例 url:https://sls.console.aliyun.com/lognext/project/dashboard-all/logsearch/nginx-demo?accounttraceid=d6241a173f88471c91d3405cda010ff5ghdw 查询和分析语句*|SELECT ...
折线类常见问题
当数据里有 s 字段时，不同的 s 字段值为不同的系列（多条折线）。说明 配置项中的样式渲染默认按照数据的顺序。即如果第一个出场的数据是系列2，则该系列的数据将以配置项中的第一个系列样式来渲染。如果系列期望特定的排序，建议使用过滤...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
过滤日志
如果原始日志中的目标字段值符合对应的正则表达式，则采集该日志。支持添加多个键值对，键值对之间为与关系。丢弃日志 输入日志字段和该字段值匹配的正则表达式。如果日志中任意一个字段的值符合对应的正则表达式，则丢弃该日志。支持添加...
过滤处理
(INFO|DEBUG)).*，表示不采集 level 字段值中包含 INFO 或 DEBUG 的日志。设置 字段名 为 level，字段值 为^?(INFO|DEBUG)$).*，表示不采集 level 字段值为 INFO 或 DEBUG 的日志。设置 字段名 为 url，字段值 为.*?(healthcheck)).*，表示...
配置组件交互
id、city 为您数据库中的字段，test_id_3 为数据库中数据表的表名。API模式 https://api.test?id=:income&city=:mycity 说明 income 和 mycity 为您配置的回调ID，id 和 city 为您数据库中的字段。高级功能 设置自定义字段 选择数字翻牌器...
数据库返回“Data truncation:Truncated incorrect”...
问题描述 在DMS控制台中执行变更时，出现类似如下报错：Data truncation:Truncated incorrect XXX 问题原因 数据变更：表上的字段定义和执行的SQL类型不符合，常见的场景为表上定义是字符串类型，SQL中用了数值类型的写法。结构变更：需要...
Quick BI维度或度量字段如何重命名
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI中如何对报表中显示的数据字段重命名。问题描述 根据业务需求在报表显示的字段要重命名，但是不知道如何对仪表板中的度量字段进行重命名为自定义的别名？问题原因 没有找到...
FieldSchema
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。field_schemas repeated FieldSchema 否 字段配置信息。只有字段类型为嵌套类型时，才需要设置此参数。is_array bool 否 是否为数组。如果设置为true...
字段值映射处理
您在使用Logtail采集日志时，可以使用processor_dict_map插件进行字段值映射。本文介绍processor_dict_map插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"FireResult":2}]查询和分析语句*|SELECT json_array_length(Results)查询和分析结果 示例2：计算 time 字段值中JSON元素的数量。字段样例 time:["time_local","request_time","upstream_...
创建多元索引
source_field_name（可选）：数据表中的字段名称，类型为String。重要 当设置is_virtual_field为true时，必须设置此参数。date_formats（可选）：日期的格式，类型为String。更多信息，请参见 日期数据类型。重要 当字段类型为Date时，必须...
查看内置规则模板
数据质量为您提供内置表级别、字段级别的监控模板。本文为您介绍数据质量的校检逻辑及内置模板规则。计算说明 计算波动率：您可以根据波动率计算公式（波动率=（样本-基准值）/基准值）计算结果。样本 当天采集的具体的样本的值。例如对于...
管理元数据
说明 可选的字段为数据表中的字段，并且一个字段只能添加一次。指标名称 填写指标名称。字段类型 字段类型默认 string。指标类型 指标类型包括 基础属性、基础指标 和 我的指标。联通状态 联通状态包括 成功 和 失败。指标注册 中只要有...
ALIYUN:OTS:SearchIndex
ALIYUN:OTS:SearchIndex类型用于在数据表上创建一个多元索引。一个数据表可以创建多个多元索引。语法 {"Type":"ALIYUN:OTS:SearchIndex","Properties":{"IndexName":String,"InstanceName":String,"TableName":String,"FieldSchemas":List,...
管理元数据
说明 可选的字段为数据表中的字段，并且一个字段只能添加一次。指标名称 填写指标名称。字段类型 字段类型默认 string。指标类型 指标类型包括 基础属性、基础指标 和 我的指标。联通状态 联通状态包括 成功 和 失败。指标注册 中只要有...
开放搜索
在弹出的面板中单击 RDS，再单击 新建数据库。在弹出的对话框中输入RDS实例ID、数据库名、用户名、密码，单击 连接。将目标表加载到 已选择 框中，单击 确定。选中主表和主键，单击 下一步。根据需要编辑索引结构中的参数，完成后单击 下...
创建多元索引
sourceFieldName（可选）：数据表中的字段名称，类型为String。当设置isVirtualField为true时，必须设置此参数。dateFormats（可选）：日期的格式，类型为String。当字段类型为Date时，必须设置此参数。更多信息，请参见 日期数据类型。...
设置数据库索引
使用数据库时，对成为查询条件的字段设置索引可以有效提高查询效率，更快的获取信息。缺省情况下会对_id_字段默认创建一个非唯一索引。前提条件 创建数据表 添加记录 操作步骤 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
UNNEST子句
对这种特殊类型的日志字段进行查询和分析时，您可以先使用UNNEST子句将字段值展开。语法 将array类型的数据展开为多行单列形式，列名为 column_name。UNNEST(x)AS table_alias(column_name)将map类型的数据展开为多行多列形式，列名为 key_...
Quick BI筛选之后进行钻取显示全部字段
概述 本文讲述Quick BI交叉表中筛选字段和钻取的正确...解决方案 在创建仪表板交叉表之后，先不进行筛选操作，而是钻取查看内容，然后返回到最初钻取状态，在进行筛选要查询的字段，避免同步的进行筛选和钻取操作。适用于 产品名称：Quick BI
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
- 产品推荐
- 这些文档可能帮助您