标签平台设置
Dataphin标签平台设置为使用标签模块功能的前提条件，包含时间字段设置及提供标签在线服务的服务数据源设置，其中时间字段设置包含标签表时间分区字段设置以及实时事件时间戳字段设置。标签表时间分区字段设置包含一、二、三级分区字段设置...
如何进行时间段分析
若为时间戳类型 若用户的时间为时间戳，如下，同样需要创建时间字段 时间戳类型转化请参见 如何将unix时间戳类型字段转化为标准日期时间类型字段。总结：以上各例中都是新建的时间字段进行分析，因为对单个事务的精确跟踪可能会要求数据...
通用参考
SLS日志字段包括数据时间戳字段_time_和数据时间纳秒部分字段_time_ns_part_。如需更新数据时间，须使用extend指令操作，且确保新值类型为 INTEGER 或者 BIGINT。其他指令均不可操作时间字段，其行为如下：project、project-away、project-...
数据集成调度策略说明
源表须具备时间戳字段，且需在配置数据迁移任务时指定每个表的时间戳字段。源表不能存在外键约束，否则可能导致数据迁移失败（可能在目标库中先更新有外键约束的子表，后更新附表，导致子表插入新数据报错）。无法迁移被物理删除的数据...
Schema约束
例如给标签（Tag）字段写入非字符串数据，或给时间戳字段写入非时间戳数据时，仍然会触发校验失败。无约束 不做任何约束。写入数据的表不存在时，时序引擎不会报错，写入的数据可以通过兼容TSDB接口查询。如果手动创建了表，则可以使用SQL...
时间函数的应用
比如，入参中的“操作时间”一般是时间戳，而我们需要从时间戳中提取小时数进行风控计算。本文介绍如何通过函数功能将“操作时间”转化为“小时数”。新建策略 登录 风险识别管理控制台。在左侧导航栏，选择 决策引擎>策略中心>策略管理。...
资源函数
增量更新模式 在执行任务过程中，日志服务根据数据库中的时间戳字段增量拉取数据，只拉取新增的数据。在增量更新模式下，日志服务每次只拉取新增的数据，效率高。您还可配置 refresh_interval 为1秒，秒级别同步数据库中的数据，即时性高。...
步骤二：编写SQL分析语句
重要 如果SQL分析任务存储数据到自定义的时序表中，每条数据写入都必须包含时间戳字段 ts，否则数据写入时序表会失败。如果写入失败，您可通过 任务运维 页面查看SQL分析任务的 运行日志。具体操作，请参见 运维SQL分析任务。您可单击工作...
Kafka实时入湖
字段 类型 说明 key binary Kafka消息key value binary Kafka消息体 topic string Kafka topic partition int Kafka分区值 offset long Kafka消息偏移量 timestamp timestamp 时间戳 timestampType int 时间戳类型 数据预处理含义 数据预...
行业算法版表结构
应用结构 数据推送到行业算法版后会先保存到离线数据表中，在此阶段，为了方便用户推送数据，数据表允许用户根据实际业务场景定义多个表（需要指定关联字段），并提供了数据处理的插件。数据处理完毕后会join成一张索引表，这种索引表主要...
OpenSearch-高性能检索版表结构
应用结构 数据推送到OpenSearch后会先保存到离线数据表中，在此阶段，为了方便用户推送数据，数据表允许用户根据实际业务场景定义多个字段（需要指定关联字段），并提供了数据处理的插件。数据处理完毕后会构建为一张索引表，这种索引表...
Kafka数据接入
measurement 数据源字段 将该字段映射为 表格存储 时序模型中的数据源字段（_data_source），作为产生某个时间序列数据的数据源标识，比如机器名或者设备ID等，可以为空。当 表格存储 选择时序模型时显示该参数。source 标签字段 将一个或...
使用MongoDB存储日志数据
按时间戳字段分片：使用时间戳来进行分片（如ObjectId类型的_id，或者time字段），这种分片方式存在如下问题：因为时间戳一直顺序增长的特性，新的写入都会分到同一个shard，并不能扩展日志写入能力。很多日志查询是针对最新的数据，而最新...
配置FeatureStore项目
事件时间 勾选Label表中记录行为产生的时间戳字段。Label字段 勾选Label表中的Label字段。分区字段 勾选Label表中的分区字段。新建模型特征 模型特征是指定训练上线过程中所使用的特征的集合，选择好特征创建模型后，会在MaxCompute中创建...
创建和管理自定义存储表
自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算Flink，也可以直接存储静态导入的自定义字段数据等。本文介绍如何创建和管理自定义...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
时间字段转换示例
在查询分析中，往往需要对日志中的时间字段进行处理，例如将时间戳转换成指定格式等，本文档介绍时间字段的常用转换示例。日志中可能有多个记录时间的字段，例如：_time_：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、...
数据集常见问题
如何将Unix时间戳类型字段转化为标准日期时间类型字段？如何删除从仪表板中导出的Null值？数据集权限问题 是否支持设置行级权限吗？是否支持将云数据库的数据集切换到自建数据库？数据集显示问题 数据集默认显示多少条数据？数据集的数据...
列存索引
将列存索引数据按时间戳字段 ts 按天分区：CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)PARTITION BY ENUMERABLE(ifnull(substring(from_unixtime(ts),0,10),'unknown')AS dt,bucket(128,id))WITH(`lindorm_columnar.user.index...
提取日志时间
高精度时间字段名 保存高精度时间戳的字段。默认值为 precise_timestamp 字段。时间单位 高精度时间戳的单位，默认值为ms。取值包括ms（毫秒）、us（微秒）、ns（纳秒）。配置示例 将%Y/m/d%H:%M:%S 格式的原始时间（log_time 字段的值）...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
常见问题
可以排查数据集中新建计算字段的表达式中是否引用了其他计算字段，注意计算字段表达式中只能使用数据库中原始字段，不能引用之前创建的计算字段，您也可以使用前计算字段的表达式来代替。日期类型的字段，在不转换文本的情况下是否支持...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
QueryDevicesHotStorageData
说明 数据存储时间从存储字段的时间戳表示的时间当日开始计算。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
质量规则参数配置
时间戳：用于对时间戳有效性进行验证，需要确保校验字段为时间戳类型（timestamp）。自定义：用于对多种格式进行校验，同时支持使用函数，填写的内容会直接下发到数据源执行。需设置 值域范围，支持 枚举 或 区间 设置。选择枚举值的校验...
质量规则参数配置
时间戳：用于对时间戳有效性进行验证，需要确保校验字段为时间戳类型（timestamp）。自定义：用于对多种格式进行校验，同时支持使用函数，填写的内容会直接下发到数据源执行。需设置 值域范围，支持 枚举 或 区间 设置。选择枚举值的校验...
新建及管理质量规则模板
时间戳：用于对时间戳有效性进行验证，需要确保校验字段为时间戳类型（timestamp）。自定义：用于对多种格式进行校验，同时支持使用函数，填写的内容会直接下发到数据源执行。需设置 值域范围，支持 枚举 或 区间设置。选择枚举值的校验...
常见问题
Selector函数 问题一：理解返回的时间戳 selector函数返回的时间戳依赖查询中函数的数量和查询中的其它子句：对于有单个selector函数、单个field key和没有 GROUP BY time()子句的查询，将会返回在原始数据中出现的数据点的时间戳。...
TSDB数据源
DataWorks数据集成支持使用TSDB Writer将数据点写入到阿里巴巴云原生多模数据库Lindorm TSDB数据库中，本文为您介绍DataWorks的TSDB数据写入能力。支持的版本 TSDB Writer目前仅支持Lindorm TSDB全部版本以及HiTSDB 2.4.x及以上版本，其他...
新建及管理质量规则模板
时间戳：用于对时间戳有效性进行验证，需要确保校验字段为时间戳类型（timestamp）。自定义：用于对多种格式进行校验，同时支持使用函数，填写的内容会直接下发到数据源执行。需设置 值域范围，支持 枚举 或 区间设置。选择枚举值的校验...
如何创建特定时间段分析
在 如何进行时间段分析 中，我们学会了如何按各小时分析数据，现在遇到这样的需求：将一天的时间分为0-6、7-12、13-19和20-23这样的时间段分析销售额分布比例，具体操作如下：数据准备 以company_sales_record表为例，创建数据集。进入数据...
数据建模
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建逻辑表字段时通过关联数据元自动生成质量规则的功能。一致性：支持当前...
行协议参考
如果没有指定数据点的时间戳，那么TSDB For InfluxDB®使用服务器本地的纳秒级时间戳（UTC格式）作为数据点的时间戳。数据点的时间戳。TSDB For InfluxDB®中每个数据点接受一个时间戳。Unix纳秒级时间戳。使用HTTP API指定除纳秒之外其它...
- 产品推荐
- 这些文档可能帮助您