从RDS MySQL数据库获取数据进行数据富化

说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时,如果RDS MySQL数据库表字段存在多个相同的值(例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配,...

关联Logstore与MySQL数据库进行查询分析

本文以游戏公司数据分析场景为例,介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件 已采集日志到日志服务。更多信息,请参见 数据采集。已为日志字段创建索引。更多信息,请参见 创建索引。已有可用的MySQL数据库。更多信息,请...

从SLS同步

字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如,选择时间为 2021-12-31 08:00,即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...

日志服务控制台无法采集到数据

1#infinite retries if host is down#定义日志数据的字段$template ALI_LOG_FMT,"0.1 sys_tag%timegenerated:date-unixtimestamp%fromhost-ip%hostname%pri-text%protocol-version%app-name%procid%msgid%msg:drop-last-lf%"*.*@[ip]:[port...

告警日志字段

告警执行历史日志字段 字段名称 说明 示例 AlertDisplayName 告警规则显示名称。告警规则测试 AlertID 每次执行的唯一ID。0fdd*eb23 AlertName 每个Project内部唯一的告警规则名称。alert-1*5-153472 AlertStatus 告警状态,可能的值为:...

新建离线物理

数据类型 选择表字段数据类型。支持类型如下:常用:string、bigint、double、datetime、timestamp、decimal。文本:varchar、char。数值:int、smaIlint、tinyint、float。时间:date。MaxCompute计算引擎支持datetime。其他:boolean、...

新建离线物理

数据类型 选择表字段数据类型。支持类型如下:常用:string、bigint、double、datetime、timestamp、decimal。文本:varchar、char。数值:int、smaIlint、tinyint、float。时间:date。MaxCompute计算引擎支持datetime。说明 Hadoop计算...

时间字段转换示例

日志中可能有多个记录时间的字段,例如:_time_:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。时间字段的格式...

创建单物理服务单元

单物理服务单元用于对业务数据源的单个物理进行元数据配置。后续您可以基于该单物理服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理服务单元。前提条件 已完成服务单元分组的创建。具体操作,请参见 创建服务项目...

创建单物理服务单元

单物理服务单元用于对业务数据源的单个物理进行元数据配置。后续您可以基于该单物理服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理服务单元。前提条件 已完成服务单元分组的创建。具体操作,请参见 创建服务项目...

日志字段详情

db_name 数据库名称 db_type 数据库类型,包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时,单位:秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时,单位:秒。region ...

查看原始日志

各个日志字段的详细说明请参见 日志字段说明。操作步骤 登录云安全中心控制台。在控制台左上角,选择需防护资产所在的区域:中国 或 全球(不含中国)。在左侧导航栏,选择 风险治理>日志分析。在 原始日志 页签的 内容 栏中单击相应的字段...

使用数据实验室

日志字段 页签中,包括字段名称、字段数据类型、字段随机参数和字段值等信息,您可以根据需求,调整字段随机参数和字段值。在 范围频率 页签中,可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...

Nginx模式解析

access_log/var/logs/nginx/access.log main 日志字段说明如下所示。字段名称 说明 remote_addr 客户端IP地址。remote_user 客户端用户名。time_local 服务器时间,前后必须加上中括号([])。request 请求的URI和HTTP协议。request_time ...

配置ClickHouse输出组件

阿里云数据库ClickHouse创建数据的操作,请参见 创建;非阿里云数据库ClickHouse创建数据的操作,请参见 ClickHouse官方文档。操作步骤 请参见 离线管道组件开发入口,进入离线单条管道脚本的开发页面。按照下图指引,进入 ...

日志字段详情

审计日志 字段 说明 APIVersion API版本。AccessKeyId 访问日志服务时使用的访问密钥。CallerType 访问用户的类型。ClientIp 客户端IP地址。Config Logtail采集配置。ConsumerGroup 操作的消费组名称。Dashboard 操作的仪表盘ID。ErrorCode...

保留字段

在采集日志或投递数据到其他云产品时,日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段日志服务的保留字段。本文介绍日志服务的保留字段。重要 使用API写入日志数据或添加Logtail配置时,请不要将Key即...

配置Hologres输出组件

使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口,进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面,按照下图操作指引,进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框,配置...

配置ClickHouse输出组件

阿里云数据库ClickHouse创建数据的操作,请参见 创建;非阿里云数据库ClickHouse创建数据的操作,请参见 ClickHouse官方文档。操作步骤 请参 离线管道组件开发入口,进入离线单条管道脚本的开发页面。按照下图指引,进入 ClickHouse...

配置Oracle输出组件

同步其他数据源的数据至Oracle数据源的场景中,完成源数据的信息配置后,需要配置Oracle输出组件的目标数据源。本文为您介绍如何配置Oracle输出组件。操作步骤 请参见 离线管道组件开发入口,进入离线单条管道脚本的开发页面。按照下图指引...

配置Oracle输出组件

同步其他数据源的数据至Oracle数据源的场景中,完成源数据的信息配置后,需要配置Oracle输出组件的目标数据源。本文为您介绍如何配置Oracle输出组件。操作步骤 请参见 离线管道组件开发入口,进入离线单条管道脚本的开发页面。按照下图指引...

配置MaxCompute输出组件

同步其他数据源的数据至MaxCompute数据源的场景中,完成源数据源的信息配置后,需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口,进入离线单条管道脚本的...

配置MaxCompute输出组件

同步其他数据源的数据至MaxCompute数据源的场景中,完成源数据源的信息配置后,需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口,进入离线单条管道脚本的...

日志字段详情

本文档介绍DDoS高防(新BGP)、DDoS高防(国际)访问日志的字段。字段 说明_topic_日志主题。DDoS高防(新BGP):固定为ddoscoo_access_log DDoS高防(国际):固定为ddosdip_access_log body_bytes_sent 请求发送Body的大小,单位为字节。...

元数据

背景信息 元数据(字典)是属于数据库本身的一些数据,包含数据库名、数据库字符集、名、的大小、的记录行数、的字符集、表的字段的索引、的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...

配置Hologres输出组件

使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道,进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面,按照下图操作指引,进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框,配置参数...

查看血缘关系

优势 详情 提升数据确认效率 通过溯源数据,可以全面了解数据的各个方面,包括作业涉及的产品、数据库情况,表字段的属性和关联关系,数据的来源、经过的处理步骤、传输路径以及最终的消费者。这样可以帮助您更好地理解数据的流向和...

配置SAP Table输入组件

如果不需要将某些字段输出至下游组件,则您可以删除对应的字段:如果需要删除少量的字段,则可以单击 操作 列下的 图标,删除多余的字段。如果需要删除大批量字段,则可以单击 字段管理,在 字段管理 页面选择多个字段后,单击 图标,将 已...

配置SAP Table输入组件

如果不需要将某些字段输出至下游组件,则您可以删除对应的字段:如果需要删除少量的字段,则可以单击 操作 列下的 图标,删除多余的字段。如果需要删除大批量字段,则可以单击 字段管理,在 字段管理 页面选择多个字段后,单击 图标,将 已...

通过消费组读取文本日志进行模板发现

日志模板发现 和 日志模板匹配 针对文本内容进行分析,对应日志字段的值必须是 text 类型,否则将被自动转化成 text 类型。如果所有指定的字段的值都不存在,则不会对相应的日志进行统计分析。模板数量 滑动滑块,控制生成的日志模板数量。...

通过消费组读取文本日志进行模板匹配

日志模板发现 和 日志模板匹配 针对文本内容进行分析,对应日志字段的值必须是 text 类型,否则将被自动转化成 text 类型。如果所有指定的字段的值都不存在,则不会对相应的日志进行统计分析。时间窗口长度 算法以滑动窗口的方式依次分析每...

数据集成侧同步任务能力说明

说明 支持的变量解释:DATASOURCE_NAME_SRC:源端数据源名称 DB_NAME_SRC:源端数据库名称 TABLE_NAME_SRC:源名称 DATASOURCE_NAME_DEST:目标端数据源名称 DB_NAME_DEST:目标端数据库名称 TABLE_NAME_DEST:目标名称 DB_NAME_SRC_...

日志字段详情

本文档介绍DDoS原生防护访问日志的字段。字段 说明_topic_日志主题,固定为ddosbqp_access_log。data_type 日志类型 event_type 事件类型 ip 事件发生的IP地址 subnet 代播的网段 event_time 事件发生时的时间,例如2020-01-01。qps 事件...

配置AnalyticDB for PostgreSQL输出组件

同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中,完成源数据的信息配置后,需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...

管理Project

删除日志项目可能导致日志库数据丢失,请确认Logstore,MetricStore、EventStore等数据无用或已做好数据备份。本文介绍如何在日志服务控制台上创建、删除日志项目Project等操作。基本概念 项目(Project)是日志服务中的资源管理单元,...

管理字段

在模型设计区,右键单击选中的表,在弹出的菜单上选择 编辑字段,进入字段编辑器页面。字段编辑器可以实现如下功能:对选中表的字段进行增删、重命名、修改类型,定义主键和非空等操作。新建自定义命名标准、自定义数据标准。当字段类型为...

日志字段详情

本文介绍智能接入网关流日志的字段详情。字段 说明 Instance_id 智能接入网关实例ID。snid 智能接入网关的SN。ali-uid 阿里云账号ID。start 开始时间。end 结束时间。protocol 流量的协议。srcaddr 源地址。srcport 源端口。dstaddr 目的...

字段操作函数

原始日志 age:18 content:123 name:twiss 加工规则 e_if(e_search("content=123"),e_keep_fields("content","age"))加工结果 age:18 content:123 e_pack_fields 调用e_pack_fields函数将日志字段进行打包,并输出到新的字段中。函数格式 e_...

CSV格式

参数 说明 CSV字段 在 原始日志 页签中查看日志字段,将需要投递到OSS的字段名有序填入。日志服务还提供保留字段_time_、_topic_、_source_等。保留字段的更多信息,请参见 保留字段。说明 同一个日志字段在 CSV字段 中只能配置一次,不...

配置AnalyticDB for PostgreSQL输出组件

同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中,完成源数据的信息配置后,需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 MongoDB 版 云数据库 RDS 云数据库 Redis 版 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用