日期累计
说明 当数据集配置了 财年 时，且日期字段为 财年字段 时，季粒度支持 财年累计、不支持 当年累计。月粒度字段（即yyyymm格式的字段）订单日期（month）季度累计：本季度第1月至本季度当前月的累计，例如2021年4月至2021年5月的累计。财季...
配置条件分发流程组件
输出字段 为您展示输出字段。单击 字段管理：选择某个字段后，单击 图标，将 未选的输入字段 移入到 已选的输入字段。选择某个字段后，单击 图标，将 已选的输入字段 移入到 未选的输入字段。同时您也可以对已添加的字段执行如下操作：单击...
JSON解析
Logtail JSON解析插件支持将Object类型的JSON日志结构化，解析为键值对形式。使用限制 JSON日志构建于两种结构，包括Object类型（键值对的集合）和Array类型（值的有序列表）。Logtail JSON解析插件是原生插件，支持解析Object类型的JSON...
配置条件分发流程组件
输出字段 为您展示输出字段。单击 字段管理：选择某个字段后，单击 图标，将 未选的输入字段 移入到 已选的输入字段。选择某个字段后，单击 图标，将 已选的输入字段 移入到 未选的输入字段。同时您也可以对已添加的字段执行如下操作：单击...
申请、续期和交还表权限
字段列表为您展示 序号、字段名、字段描述、数据类型、数据分类、数据分级 信息。数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）。申请理由 填写申请表权限的原因。单击 提交，完成表权限的申请。数据表权限详情 在数据表权限页面，...
申请、续期和交还表权限
字段列表为您展示 序号、字段名、字段描述、数据类型、数据分类、数据分级 信息。数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）。申请理由 填写申请表权限的原因。单击 提交，完成表权限的申请。数据表权限详情 在数据表权限页面，...
配置HBase输出组件
同步其他数据源的数据至HBase数据源的场景中，完成源数据的信息配置后，需要配置HBase输出组件的目标数据源。本文为您介绍如何配置HBase输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，...
配置MongoDB输出组件
输出字段 为您展示输出字段。您可以手动添加输出字段：单击 批量添加，以JSON格式批量配置，示例如下。[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 字段 及选择 类型。同时...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
手动修正数据
非敏感字段为您过滤已手动修改为非敏感字段的数据。说明 目前支持对ODPS、EMR、CDH、HOLO引擎中的敏感字段识别结果进行修正。修正单个数据 在上图的区域②为您展示识别结果列表，您可以单击 显示字段设置 勾选您需要关注的字段信息，刷新...
新建字段标准通用信息
新建字段标准时需要为字段标准设置属性，如果默认属性不满足需要，可以为字段标准添加自定义属性。本文介绍如何新建字段标准通用信息。背景信息 可根据需要同时新建多个字段标准通用信息供新建字段标准时使用。新建的字段标准通用信息适用...
合作数据管理
添加数据至合作空间 在DataTrust首页，单击顶部菜单栏的 通用计算。进入 合作数据 页面。按照下图指引，进入 添加数据 对话框。在 添加数据 对话框中，配置参数。参数 描述 数据名称 选择已创建的数据。数据别名 可根据已选数据创建别名。...
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
新建字段标准通用信息
新建字段标准时需要为字段标准设置属性，如果默认属性不满足需要，可以为字段标准添加自定义属性。本文介绍如何新建字段标准通用信息。背景信息 可根据需要同时新建多个字段标准通用信息供新建字段标准时使用。新建的字段标准通用信息适用...
配置MongoDB输出组件
输出字段 为您展示输出字段。您可以手动添加输出字段：单击 批量添加，以JSON格式批量配置，示例如下。[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 字段 及选择 类型。同时...
保留字段
在采集日志或投递数据到其他云产品时，日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。重要 使用API写入日志数据或添加Logtail配置时，请不要将Key即...
配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
创建逻辑模型：明细表
明细表用于存储大量能够体现业务活动状况的实际数据或详细数值，是数据聚合后依据某个维度生成的结果表。例如，分析产品销售情况，您可以创建销售明细表，用来存储产品维度（作为外键）、时间维度（作为外键）以及销售总量。本文为您介绍...
AvgAggregation
missing bytes 否 当某行数据中的字段为空时字段值的默认值，由Plainbuffer编码，详见 Plainbuffer 编码。如果未设置missing值，则在统计聚合时会忽略该行。如果设置了missing值，则使用missing值作为字段值的默认值参与统计聚合。响应数据...
创建和管理领域对象映射
系统支持创建领域对象和数据对象的映射...映射字段被删除：对象字段映射中，领域对象-对象名称+对象编码 的字段 字段编码 被删除，请修改或重新保存该对象字段映射。单击 编辑，页面将会跳转到字段映射关系编辑面板，修改完成后，单击 保存。
正则解析
日志提取字段 为提取的日志内容（Value），设置对应的字段名（Key）。解析失败时保留原始字段 选中 解析失败时保留原始字段，则解析失败时，将保留原始字段。解析成功时保留原始字段 选中 解析成功时保留原始字段，则解析成功时，将保留...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
提取日志时间
true（默认值）：报错 false：不报错 示例 原始时间（s_key 字段）的格式为 2006-01-02 15:04:05（东八区），现将原始时间解析为 2006/01/02 15:04:05（东九区）格式，添加到 d_key 字段中，并设置解析结果为日志服务中的日志时间。...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
附近人搜索
语法：distance(location1,location2,outputname,defaultvalue)location1:GEO_POINT类型的字段名称 location2:用户查询串中kvpairs字句中设置的一个字段名，值为GEO_POINT字段要求的格式：LON LAT outputname：如果需要在结果中返回距离值...
添加及管理识别结果
区域③ 为您展示 数据表、表字段、数据分类、数据分级、生效状态 信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。在此表下继续配置字段识别规则：可...
添加及管理识别结果
区域③ 为您展示 数据表、表字段、数据分类、数据分级、生效状态 信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。在此表下继续配置字段识别规则：可...
MaxAggregation
missing bytes 否 当某行数据中的字段为空时字段值的默认值，由Plainbuffer编码，详见 Plainbuffer 编码。如果未设置missing值，则在统计聚合时会忽略该行。如果设置了missing值，则使用missing值作为字段值的默认值参与统计聚合。响应数据...
附近人搜索
in_query,distance_value)语法说明：distance(location1,location2,outputname,defaultvalue)参数说明：location1:GEO_POINT类型的字段名称 location2:用户查询串中kvpairs字句中设置的一个字段名，值为GEO_POINT字段要求的格式：LON LAT ...
MinAggregation
missing bytes 否 当某行数据中的字段为空时字段值的默认值，由Plainbuffer编码，详见 Plainbuffer 编码。如果未设置missing值，则在统计聚合时会忽略该行。如果设置了missing值，则使用missing值作为字段值的默认值参与统计聚合。响应数据...
Nginx模式解析
Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化，解析为多个键值对形式。Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志，log_format和access_log的默认值如下所示。log_format ...
标签平台设置
Dataphin标签平台设置为使用标签模块功能的前提条件，包含时间字段设置及提供标签在线服务的服务数据源设置，其中时间字段设置包含标签表时间分区字段设置以及实时事件时间戳字段设置。标签表时间分区字段设置包含一、二、三级分区字段设置...
事件变更内容（2.x版本）
2.0：云呼实例访问的二级域名 坐席类事件 下面几个字段为所有坐席类事件的公共字段 字段 名称 说明 agentId 坐席ID 1.0格式：ramId@domianName;2.0格式：userId skillGroupIds 签入技能组ID列表 格式：技能组ID1,技能组ID2 result 结果 1.0...
追加字段
您可以使用processor_appender插件为指定的字段（可以为不存在的字段）追加特定的值，支持在字段值中添加模板变量。该插件通常与input_prometheus、input_system_v2等时序监控相关的插件结合使用，用于给拉取到的Prometheus数据追加特定的...
用户属性管理
选择当用户属性同时关联的多个字段发生冲突时的赋值逻辑，支持：保留创建时间最早的字段值 保留更新时间最晚的字段值 保留出现频次最高的字段值 空值取值逻辑 选择遇字段空值时的取值逻辑，支持：有值优先：当多个字段中有字段为空值时，...
查看并管理明细及汇总表实例
其中 优先展示必选字段 为保障数据质量，Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
查看并管理明细及汇总表实例
其中 优先展示必选字段 为保障数据质量，Dataphin根据字段逻辑及上游节点的数据变化判断出的必须纳入重跑范围的字段。说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，...
新建数据模版
当消息中间件作为数据源时，需要通过创建数据模版来解释消息中间件中消息的结构。本文介绍如何新建数据模版。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产...
- 产品推荐
- 这些文档可能帮助您