结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 或 已关闭 不需要处理）中移除该表。具体操作如下：登录 数据管理DMS 5.0。在顶部菜单栏中...
方案实现
元数据表 用户信息 采用表格存储的宽表模型，则用户信息表可以设计如下。建表方法，可参见 表操作。主键-1 属性列-1 属性列-2 属性列-3.字段名 user_id name email gender other 备注 主键列，用于唯一确定一个用户 用户昵称，用户自定义...
写入时序数据
注意事项 在写入时序数据时，请合理评估时序表的设计并关注时间线的总条数。如果表中存在大量的短时间线（即一条时间线下仅有一条或几条时序数据），则您可能会看到时序数据的元数据存储量偏大，因为目前表格存储会为每条时间线的元数据...
管理代码类型组件的流水线
设计自定义流水线 在 流水线管理 页面的 自定义流水线 页签，单击目标自定义流水线右侧 操作 列下的 设计流水线。在目标自定义流水线设计器画布中，您可以参考以下步骤添加任务。在目标位置单击 图标。说明 您可以添加阶段节点的任务，或在...
数据源
2、离线存储的用户表、物品表、行为表为分区表，分区字段为 ds STRING 和 hh STRING。智能推荐引擎每小时会产出一个新分区，产出分区的 ds 和 hh 分别为前一小时的日期和小时。3、不建议您自行修改生命周期。如您因MaxCompute存储问题等...
方案实现
基于 方案设计，表格存储实现了一个Tablestore-Grid的library，基于这个library您可以非常方便地实现气象格点数据的存储、查询和管理。提供以下接口：public interface GridStore {/*创建相关的meta、data表，数据录入前调用。throws ...
方案背景
时序模型的表结构设计请参见 时序模型设计。通过表格存储的时间线检索和SQL查询进行车辆检索与分析。关于SQL查询的更多信息，请参见 SQL查询。时间线检索用于车辆检索，SQL查询用于车辆检索与分析。方案优势 采用分布式集群架构，具备水平...
表结构设计规范
背景信息 企业内做表结构设计时，会有属于每个企业、甚至企业内每个业务线特有的设计规则。管理员通过使用 数据管理DMS 的安全规则功能，可以完成绝大多数的安全规范制定，灵活适配到每一个业务数据库实例上。操作步骤 登录 数据管理DMS 5....
如何删除时序数据
时序模型中的数据包括时间线元数据和时序表数据，此外如果为时序表建立了分析存储，则还包括分析存储的数据。如果要删除时间线元数据，则您可以通过配置时间线元数据生命周期或者调用 DeleteTimeseriesMeta 接口进行删除。此操作不会删除...
通过控制台使用时序模型
通过控制台使用时序模型（TimeSeries）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建时序表、读写时序表中数据以及使用SQL查询数据的操作。前提条件 已获取用于操作表格存储的阿里云账号或者RAM用户的登录信息。如果未...
使用SQL查询时序数据
SQL示例 查询时间线 创建时序表后，系统会自动创建时间线元数据映射表，您可以使用时间线元数据映射表查询时间线。此处以时序表名称为timeseries_table，时间线元数据映射表名称为 timeseries_table:meta，度量类型为basic_metric为例介绍...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
初始化
TimestreamDBClient是Timestream的客户端，您可以使用TimestreamDBClient进行建表、删表以及读写数据/时间线等操作。上图为TimeStream模型的结构示意图，其中时序数据是存储到数据表中，时间线是存储到元数据表（Meta表）中。数据表可以...
查看样本信息
离线样本中展示的是数据表信息，数据表分为可用和不可用两种状态，可用状态的数据表才能用于模型开发。您可以根据本文，查看离线样本中数据表的详细信息以及数据表是否可用。操作步骤 登录多方安全建模控制台，并选择需要进入的项目。说明 ...
通过命令行工具CLI使用时序模型
通过Tablestore CLI使用 表格存储 时序模型（TimeSeries）时，您需要根据所用平台下载相应命令行工具，然后使用命令行工具进行开通表格存储服务、创建实例、配置接入实例信息、创建时序表、读写时序表中数据以及使用SQL查询数据的操作。...
管理时间线元数据
表格存储提供了QueryTimeseriesMeta接口用于根据多种条件检索时间线、UpdateTimeseriesMeta接口用于更新时间线元数据以及DeleteTimeseriesMeta接口用于删除时间线元数据。检索到时间线后，您可以根据需要删除时间线元数据、更新时间线...
删除时间线元数据
示例 以下示例用于删除时序表中的部分时间线。func DeleteTimeseriesMetaSample(tsClient*tablestore.TimeseriesClient,timeseriesTableName string){ fmt.Println("[Info]:Begin to delete timeseries meta:",timeseriesTableName)/构造...
删除时间线元数据
示例 以下示例用于删除指定时序表中的部分时间线。private static void deleteTimeseriesMeta(TimeseriesClient client){ List<TimeseriesKey>timeseriesKeyList=new ArrayList();for(int i=0;i;i+){ Map,String>tags=new HashMap,String>...
更新时间线元数据
示例 以下示例用于更新指定时序表中时间线的属性信息。private static void updateTimeseriesMeta(TimeseriesClient client){ List<TimeseriesMeta>timeseriesMetaList=new ArrayList();for(int i=0;i;i+){ Map,String>tags=new HashMap,...
数据注册与字段配置
离线“实验报表来源表”的格式 字段名称 字段含义 是否必填 说明 user_id 用户id 是 用户标识，可以是用户的 uid,也可以是设备 devcie_id,imei 等 exp_id 实验id 是 ab 服务返回的实验id,通过埋点回流。如果是用户的自己的推荐服务，设置...
数据操作
通过命令行工具您可以在时序表中写入时序数据、导入时序数据、查询时序数据、检索时间线、扫描时间线以及更新时间线。写入时序数据 写入时序数据到时序表中。命令格式 putts-k '["measurement_name","data_source",["tagKey1=tagValue1",...
UpdateTimeseriesMeta
调用UpdateTimeseriesMeta接口更新时间线元数据。请求消息结构 message UpdateTimeseriesMetaRequest { required string table_name=1;repeated TimeseriesMeta timeseries_meta=2;} 名称 类型 是否必选 描述 table_name string 是 时序表...
DeleteTimeseriesMeta
调用DeleteTimeseriesMeta接口删除时间线元数据。请求消息结构 message DeleteTimeseriesMetaRequest { required string table_name=1;repeated TimeseriesKey timeseries_key=2;} 名称 类型 是否必选 描述 table_name string 是 时序表名...
使用DataWorks（离线与实时）
离线同步 实时同步 同步解决方案 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/整库全增量实时写-说明 离线导入场景中，每个离线同步节点仅支持将单张或多张表数据导入至...
QueryTimeseriesMeta
调用QueryTimeseriesMeta接口检索时间线元数据。请求消息结构 message QueryTimeseriesMetaRequest { required string table_name=1;optional MetaQueryCondition condition=2;optional bool get_total_hit=3;optional bytes token=4;...
表操作
Timestream数据存储包含元数据表和数据表。数据表可以有多个，您可以根据自身的场景需求将数据写入到不同的表中，例如按数据精度分表。元数据表只能有一个，所有数据表的元数据信息全部记录到同一张表中。Timestream提供了元数据表和数据表...
检索时间线
示例/*QueryTimeseriesMetaSample用于根据指定条件查询数据表中特定时间线的measurement、source和tag信息，其中查询条件可为组合条件。func QueryTimeseriesMetaSample(client*tablestore.TimeseriesClient,timeseriesTableName string){ ...
写入
数据表操作对象。TimestreamDataTable dataTable=db.dataTable(dataTableName);同步写入数据。try { dataTable.write(meta.getIdentifier(),point);} catch(TableStoreException e){/异常处理。}/异步写入数据。dataTable.asyncWrite(meta....
概述
Timestream模型是针对时序场景设计的模型，Timestream模型的Java SDK包含以下操作。初始化 表操作 写入 查询
方案背景
由表格存储来保证数据同步的一致性，这极大地降低了用户方案设计、服务运维、代码开发等工作量。基于表格存储搭建的智能元数据管理系统样例内嵌在表格存储控制台中，用户可登录控制台体验系统（如果您是表格存储的新用户，需要开通表格存储...
写入时序数据
创建时序表后，您可以使用PutTimeseriesData接口批量写入时序数据。一次PutTimeseriesData调用支持写入多行数据。前提条件 已创建时序表。具体操作，请参见 创建时序表。已初始化TimeseriesClient。具体操作，请参见 初始化客户端。参数 一...
数据写入时序表后是否可以立即查询到？
当通过SQL使用时序表的绑定关系进行查询时，对于已有时间线，您可以立即查询到写入的数据。如果是新的时间线（例如新的设备上线），由于服务端会在接收到新时间线后自动构建时间线元数据索引，因此使用SQL查询新时间线的数据或者元数据时均...
查询时序数据
示例/*GetTimeseriesDataSample用于根据timeseriesKey获取时序表中指定的时间线数据。func GetTimeseriesDataSample(client*tablestore.TimeseriesClient,timeseriesTableName string){ fmt.Println("[Info]:Begin to get timeseries data!...
更新时间线元数据
详细参数说明请参见下表，参数 描述 timeseriesKey 时间线标识。attributes 时间线的属性信息，内容为字符串类型的key-value对。示例/*UpdateTimeseriesMetaSample用于更新时间线中的Attributes信息。func UpdateTimeseriesMetaSample...
检索时间线
当不确定要查询的时间线信息（例如度量名称、数据源信息）或者需要按照指定条件列出时间线时，您可以使用QueryTimeseriesMeta接口指定度量名称、数据源、标签、属性、更新时间等多种条件检索时间线。说明 API接口说明请参见 ...
GetTimeseriesData
调用GetTimeseriesData接口查询某个时间线的数据。请求消息结构 message GetTimeseriesDataRequest { required string table_name=1;required TimeseriesKey time_series_key=2;optional int64 begin_time=3;optional int64 end_time=4;...
管理离线数据归档
时序/快照表中 的 产品属性时序表、产品事件表 自定义存储表 中的 分区表、时序表 数据归档存储成功后，在分析洞察的SQL数据服务工作台，无法再查询到对应的归档数据进行分析。如果需要在分析洞察中对已归档的数据进行查询和分析，可以撤销...
写入时序数据
参数 一行时序数据（timeseriesRow）包括时间线标识（timeseriesKey）和时间线数据的配置，其中时间线数据包括数据点的时间（timeInUs）和数据点（fields）。详细参数说明请参见下表。参数 说明 timeseriesKey 时间线标识，包括如下内容：...
通过表映射创建离线视图
Dataphin标签基于离线计算引擎，支持通过表映射方式将物理表字段直接定义成为视图指标。本文将指导您如何通过表映射创建离线视图。前提条件 创建离线视图前需先创建视图所归属的标签项目。详情请参见：创建标签项目。操作步骤 在Dataphin...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
- 产品推荐
- 这些文档可能帮助您