Kafka实时入湖
字段 类型 说明 key binary Kafka消息key value binary Kafka消息体 topic string Kafka topic partition int Kafka分区值 offset long Kafka消息偏移量 timestamp timestamp 时间戳 timestampType int 时间戳类型 数据预处理含义 数据预...
写入数据
增加或更新数据时，需要设置属性名、属性值、属性类型（可选）、时间戳（可选）。属性名即属性列的名称，属性类型即属性列的数据类型。更多信息，请参见 命名规则和数据类型。时间戳即数据的版本号，可以由系统自动生成或者自定义，如果不...
写入数据
增加或更新数据时，需要设置属性名、属性值、属性类型（可选）、时间戳（可选）。属性名即属性列的名称，属性类型即属性列的数据类型。更多信息，请参见 命名规则和数据类型。时间戳即数据的版本号，可以由系统自动生成或者自定义，如果不...
修改时区
PostgreSQL支持 TIMESTAMP 和 TIMESTAMPTZ 两种存储时间戳的数据类型，请您根据实际业务需求，选择不同数据类型：TIMESTAMP：该数据类型会以UTC时间存储日期和时间，不会存储时区信息。如果您参考本文档修改时区后，该类型的查询结果不会...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
调度参数返回值二次处理的典型场景
例如，如果离线同步节点需要使用时间戳类型字段进行增量同步，则可以先通过赋值节点使用函数将时间类型数据转换为时间戳，再传递给离线同步节点使用。更多操作参考如下：ODPS SQL节点的调度参数配置操作，详情请参见 配置及使用调度参数 及...
系统函数分类
函数分类 数据探索系统函数的类型包含分为以下几种：函数类型 说明 时间函数 处理日期、时间类型数据，实现加减日期、提取日期字段、获取当前时间、转换日期格式等业务处理能力。字符串函数 处理字符串类型数据，实现截取字符串、替换字符...
通过HTTP API写入数据
时间戳放在行的最后，是一个从UTC 1970年1月1日起到现在的纳秒级的Unix时间，它是可选的，如果没有明确给出时间戳，TSDB For InfluxDB®会把服务器本地的纳秒级的Unix时间当作数据点的时间戳。在TSDB For InfluxDB®中，任何时间戳都是UTC...
公共规范
时间类型数据使用STRING类型（如果有特殊的格式要求，可以选择性使用DATETIME类型）。状态使用STRING类型。公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{...
TSDB数据源
Tag描述数据源的特征，通常不随时间变化 数据产生时间 timestamp 时间戳类型。Timestamp代表数据产生的时间点，可以写入时指定，也可由系统自动生成 数据内容 field_string 该Field的value是字符串类型。Field描述数据源的量测指标，通常...
场景：配置增量数据离线同步任务
配置增量数据同步时：时间类型增量字段同步：可以通过调度参数来实现时间类型数据的动态替换，调度参数将在任务调度时自动根据业务时间替换为具体的值。关于调度参数的使用，详情请参见：调度参数支持的格式。非时间类型增量字段同步：可以...
专业术语
相反，当您向序列中写入一个新的数据点，并且该数据点的时间戳跟序列中某个数据点的时间戳相同，那么在该时间戳下的数据点的field set会变为旧field set和新field set的并集，以后访问这个数据点时，返回的都是修改后新的field set。...
2020年
2020年9月 时空数据库（V3.0）类别 名称 描述 相关文档 发布时间 新增 支持具有SubSet的NetCDF数据类型数据 新增支持具有SubSet的NetCDF数据类型数据，可按照指定的图层名称导入。无 2020年9月 栅格数据自定义元数据以及时序信息 新增ST_...
2020年
时空数据库（V3.0）类别 名称 描述 相关文档 新增 支持具有SubSet的NetCDF数据类型数据 新增支持具有SubSet的NetCDF数据类型数据，可按照指定的图层名称导入。无 栅格数据自定义元数据以及时序信息 新增ST_MetaItems函数，获取所有的自定义...
CREATE TABLE
时序引擎 时序表的主键列中数据类型为VARCHAR的列又被称作 标签（TAG）列，数据类型为TIMESTAMP的列又被称为 时间戳列。主键列的数据类型必须是VARCHAR或TIMESTAMP类型。主键列可以包含一个或多个VARCHAR类型的列，但只能包含一个TIMESTAMP...
PolarDB MySQL版同步至Elasticsearch
说明 若目标实例中此类时间类型数据无需带有时区，您需要预先在目标实例中设置该时间类型数据的文档类型（type）。DOCID取值 您无需配置。DOCID默认为表的主键，如表中无主键，则DOCID为Elasticsearch自动生成的ID列。是否去除正反向任务的...
PolarDB-X 1.0同步至Elasticsearch
说明 如目标实例中此类时间类型数据无需带有时区，您需要预先在目标实例中设置该时间类型数据的文档类型（type）。DOCID取值 DOCID默认为表的主键，如表中无主键，则DOCID为 Elasticsearch 实例自动生成的ID列。配置ETL功能 选择是否配置...
OSS-HDFS数据源
类型分类 OSS-HDFS数据类型 整数类 TINYINT、SMALLINT、INT、BIGINT 浮点类 FLOAT、DOUBLE、DECIMAL 字符串类 STRING、CHAR、VARCHAR 日期时间类 DATE、TIMESTAMP 布尔类 BOOLEAN 说明 LONG：OSS-HDFS文件中的整型类型数据，例如 123456789...
行协议参考
数据类型 数据类型 元素（element）描述 浮点数 Field value IEEE-754 64位浮点数。这是默认的数值类型。例如：1，1.0，1.e+78，1.E+78。整数 Field value 有符号的64位整数（从-9223372036854775808到9223372036854775807）。在数字后面...
附录：消息格式
dbType：String类型，数据库类型 dbVersion：String类型，数据库版本 dbName：String类型，数据库名 schemaName：String类型，Schema名（针对Postgres和SQL Server等）tableName：String 类型，数据表名 payload before JSONObject类型，...
行协议教程
数据类型 本节将介绍行协议中主要组成部分的数据类型：measurement、tag key、tag value、field key、field value和时间戳。measurement、tag key、tag value和field key始终是字符串。说明 注释：因为TSDB For InfluxDB®将tag value存储...
数据格式描述文件
是 format 字符串 时间戳类型，可选”iso”、“millis”、“posix”、“auto”和 joda time 支持的类型。是 dimensionsSpec表的描述如下。键 格式 描述 是否必须 dimensions JSON数组 数据包含的维度。每个维度可以只是个字符串，或者可以...
数据库管理
当TTL被设置后，时序数据的时间戳距当前的时间差超过了TTL的时间，则这些数据将被视作过期数据，会被时序引擎清除掉。重要 时序领域的数据的时间戳一般分成两种概念：事件时间：即时序数据对应的事件真实发生时的时间。时序数据元素说明 中...
附录：DataHub消息格式
dbType：String类型，数据库类型 dbVersion：String类型，数据库版本 dbName：String类型，数据库名 schemaName：String类型，Schema名（针对Postgres和SQL Server等）tableName：String 类型，数据表名 payload before JSONObject类型，...
MaxCompute TIMESTAMP_NTZ数据类型
MaxCompute 2.0新增了无时区时间戳类型（TIMESTAMP_NTZ），该类型表示不包含时区信息的日期和时间点，所有数据均基于统一的时间基准（如UTC）。相较于其他带有时区的时间戳类型（TIMESTAMP），TIMESTAMP_NTZ无需进行时区转换，因此在比较和...
CREATE INDEX
适用于有历史数据的场景，当历史数据的时间戳早于开始分区的时间时，会导致报错。说明 创建分区索引时，必须指定此参数。RANGE_TIME_PARTITION_INTERVAL INTEGER 表示间隔多少天创建新分区，例如 RANGE_TIME_PARTITION_INTERVAL='7'，表示...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
Delta连接器
id-2 1 3 4 0(5 rows)按时间戳查询数据，共支持DATE、TIMESTAMP和TIMESTAMP WITH TIME ZONE三种类型的时间戳。DATE类型：查询日期所对应的UTC时间00:00:00的数据。TIMESTAMP类型：查询指定时间戳对应的UTC的数据。例如，使用TIMESTAMP类型...
数据类型
本文介绍了 PolarDB-X 1.0 支持的数据类型。PolarDB-X 1.0 支持四种主要数据类型：数值类型 字符串类型 日期时间类型 JSON 数据类型 不支持的数据类型：空间数据类型 关于数据类型的详细信息可参考 MySQL 数据类型 文档。
数据查询
在 编辑表数据 对话框中，修改时间戳和数据值。单击 确定，保存修改后的数据。SQL执行器 在集群管理系统的左侧导航栏中，选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。可选：获取...
TS
DataPoint（时序数据）：包含一个时间戳和一个value数据（double类型）。支持降采样、属性过滤、分批查询、多种数值函数等条件下的聚合操作，将批量查询与聚合计算集成到单条命令中，减少网络交互，实现毫秒级响应。支持对历史时序数据的...
ORDER BY time DESC
第一个返回的数据点，其时间戳是最早的，而最后一个返回的数据点，其时间戳是最新的。ORDER BY time DESC 将默认的时间顺序调转，使得TSDB For InfluxDB®首先返回有最新时间戳的数据点，也就是说，按递减的时间顺序返回结果。语法 SELECT_...
时间语法
相对时间 使用 now()查询时间戳相对于服务器本地时间戳的数据。语法 SELECT_clause FROM_clause WHERE time<operator>now()[[-|+]][(AND|OR)now()[.]]语法描述 now()是在服务器上执行查询时该服务器的Unix时间。或+和 duration_literal ...
写入数据
可以包含大小写英文字母、中文、数字，以及特殊字符-_./():,[]=‘#Tagk 和 Tagv 是字符串键值对，至少一个键值对 {“host”:”web01”}，非字符串类型的tagk，tagv会强制转换为字符串类型 时间戳说明 本说明适用于读写数据(/api/put)和查询...
通过数据订阅实现缓存更新策略
initCheckpoint 消费位点，即SDK客户端消费第一条数据的时间戳，格式为Unix时间戳，例如1620962769。说明 消费位点信息可用于：当业务程序中断后，传入已消费位点继续消费数据，防止数据丢失。在订阅客户端启动时，传入所需的消费位点，...
排查订阅任务问题
initCheckpoint 消费位点，即SDK客户端消费第一条数据的时间戳，格式为Unix时间戳，例如1620962769。重要 本参数仅当 subscribeMode 为 ASSIGN，且 isForceUseInitCheckpoint 为 true 时生效。消费位点信息可用于：当业务程序中断后，传入...
GROUP BY子句
基本语法的常见问题 查询结果中出现时间戳和值 使用基本语法，TSDB For InfluxDB®依赖 GROUP BY time()中的时间间隔和系统的预设时间边界来确定每个时间间隔内的原始数据和查询返回的时间戳。示例 原始数据：SELECT"water_level"FROM"h2o_...
DELETE
使用UPSERT写入数据时如果通过HINT将未来时间戳作为数据的版本，那么执行DELETE时，即使DELETE语句执行成功，未来时间戳的数据也并不会被真正删除。详细介绍，请参见 多版本数据管理。删除条件（where_clause）宽表引擎和时序引擎均支持...
使用SDK示例代码消费订阅数据
initCheckpoint 消费位点，即SDK客户端消费第一条数据的时间戳，格式为Unix时间戳，例如1620962769。说明 消费位点信息可用于：当业务程序中断后，传入已消费位点继续消费数据，防止数据丢失。在订阅客户端启动时，传入所需的消费位点，...
冷热分离
原理介绍 用户在表上配置数据冷热时间分界点后，HBase增强版会依赖用户写入数据的时间戳（毫秒）和时间分界点来判断数据的冷热。数据开始存储在热存储上，随意时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点，数据...
- 产品推荐
- 这些文档可能帮助您