配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
全量日志字段说明
本文介绍了DDoS高防全量日志包含的日志字段。字段 说明 示例_topic_日志主题，取值固定为ddos_access_log，表示DDoS高防日志。ddos_access_log body_bytes_sent 请求发送Body的大小，单位为字节。2 content_type 内容类型。application/x-...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB for MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7...
分隔符模式解析
例如分隔符为半角逗号（,），引用符为双引号（"），且日志字段内部包含双引号（"）和半角逗号（,），需要将包含半角逗号（,）的日志字段用引用符包裹，同时将日志字段中的双引号（"）转义为"。处理后的日志格式为：1999,Chevy,"Venture"...
CSV格式
参数 说明 CSV字段 您可以在日志服务的 原始日志 页签中查看日志字段的Key，将您需要投递到OSS的字段名（Key）有序填入。除了日志内容的Key和Value外，日志服务还提供保留字段_time_、_topic_、_source_，保留字段更多信息，请参见 保留...
新建及管理质量规则模板
选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。有效性 当 模板类型 选择为 有效性 大类时，对应的参数如下所示。数据标准码表参照对比（需开通数据标准模块）：码表：选择在数据标准下已发布状态的码表，如需创建码表，...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
文件存储
日志字段 说明 owner_id 阿里云账号ID ArgIno 文件系统inode号 AuthRc 授权返回码 NFSProtocolRc NFS协议返回码 OpList NFSv4 Procedures编号 Proc NFSv3 Procedures编号 RWSize 读写大小，单位：Byte。RequestId 请求ID ResIno lookup的...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
日志字段详情
本文介绍Nginx访问日志的字段详情。字段 说明_topic_日志主题，固定为nginx_access_log。body_bytes_sent 发送给客户端的字节数，不包括响应头的大小。host 请求地址，IP地址或域名。http_referer URL跳转来源。http_user_agent 客户端浏览...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
新建及管理质量规则模板
选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。有效性 当 模板类型 选择为 有效性 大类时，对应的参数如下所示。数据标准码表参照对比（需开通数据标准模块）：码表：选择在数据标准下已发布状态的码表，如需创建码表，...
创建多物理表服务单元
多物理表服务单元用于关联多个物理表，并对关联后的字段进行元数据配置。后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的...
日志字段详情
本文介绍VPC流日志的字段详情。字段 说明_topic_日志主题，固定为flow_log。version 流日志版本 vswitch-id 弹性网卡所在交换机ID vm-id 弹性网卡绑定的云服务器ID vpc-id 弹性网卡所在专有网络ID account-id 阿里云账号ID eni-id 弹性网卡...
配置HDFS输出组件
HDFS输出组件用于向HDFS数据源写入数据。同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置...同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。单击 确认，完成HDFS输出组件的配置。
配置Greenplum输出组件
如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表 Target_A，执行写入到目标表 Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表 Service_B 重命名成 Temp_C，然后将表 Target_A 重命名为 Service_B，最后...
配置Greenplum输出组件
如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表 Target_A，执行写入到目标表 Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表 Service_B 重命名成 Temp_C，然后将表 Target_A 重命名为 Service_B，最后...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
VPC
本文介绍VPC流日志的字段详情。字段 说明_topic_日志主题，固定为flow_log。version 流日志版本 vswitch-id 弹性网卡所在交换机ID vm-id 弹性网卡绑定的云服务器ID vpc-id 弹性网卡所在专有网络ID account-id 账号ID eni-id 弹性网卡ID ...
日志字段详情
本文介绍全球加速访问日志的字段详情。字段 说明 accelerator_region 加速区域。client_ip 客户端源IP地址。client_port 客户端源端口。egress_bytes 采样时间段内的回程流量。endpoint_group_id 终端节点组ID。endpoint_group_region 终端...
日志字段详情
本文介绍VPC流日志的字段详情。字段 说明 version 流日志版本。vswitch-id 弹性网卡所在交换机ID。vm-id 弹性网卡绑定的云服务器ID。vpc-id 弹性网卡所在专有网络ID。account-id 账号ID。eni-id 弹性网卡ID。srcaddr 源地址。srcport 源...
创建逻辑模型：明细表
明细表用于存储大量能够体现业务活动状况的实际数据或详细数值，是数据聚合后依据某个维度生成的结果表。例如，分析产品销售情况，您可以创建销售明细表，用来存储产品维度（作为外键）、时间维度（作为外键）以及销售总量。本文为您介绍...
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
DataSource
示例 {"key":"my_field"} 结构 字段 类型 描述 key String 键名 MultiValueSpliter 将来源字段按照分隔符分割成多个值，分割后的内容作为目标表字段的内容，目标表字段必须是配置为ARRAY类型的字段（若分隔符为不可见字符，需要使用unicode...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
DataSource
示例 {"key":"my_field"} 结构 字段 类型 描述 key String 键名 MultiValueSpliter 将来源字段按照分隔符分割成多个值，分割后的内容作为目标表字段的内容，目标表字段必须是配置为ARRAY类型的字段（若分隔符为不可见字符，需要使用unicode...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
事件检查函数
e_match_any 判断当前日志字段的值是否满足正则表达式，任意字段匹配返回True，否则返回False。e_match_all 判断当前日志字段的值是否满足正则表达式，所有字段匹配返回True，否则返回False。同时，事件检查函数可以与如下表达式函数配合...
数据集填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行。选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
步骤三：配置节点运行配置
当选择星号（*）时，代表数据结构为任意结构，用于对未新建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 物理表所在资源 开发环境中节点输入使用的物理表所在资源。物理表名 开发环境中节点输入参数的物理表名，可...
日志字段详情
访问日志 字段 说明_topic_日志主题，固定为slb_layer7_access_log。body_bytes_sent 发送给客户端的http body字节数。client_ip 请求客户端IP地址。host 优先从请求参数中获取host，如果获取不到则从host header取值，如果还是获取不到则...
RDS/PolarRDB 数据源配置分库分表
多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种情况的配置步骤大致相同，请参考下文进行配置。注意：无论是单库多表还是多库多表，分表...
应用集成
日志字段 说明_topic_日志主题，固定为appconnect_oplog。uid 阿里云账号ID execution_id 单次请求或者触发的唯一标识 status 本次集成流的执行状态，仅包含begin、done。flow_name 集成流名称 step 集成流中步骤的名称，步骤的唯一标识。...
配置GBase 8a输出组件
同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源...
日志字段详情
用户访问日志字段 开通用户访问日志服务后，您可以根据以下表格查看用户访问日志中采集字段的含义。字段名称 字段含义 是否建立SLS索引 是否作为内置可视化分析的字段 unixtime 请求时间。是 是 domain 请求的域名。是 是 method 请求方法...
- 产品推荐
- 这些文档可能帮助您