数据集成服务

且需要使用复杂的检索或大数据分析时,如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大,则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...

数据操作篇

压缩较大的属性列文本 如果属性列是较大的文本,应用程序可以考虑将属性列压缩之后再以 Binary 类型存储到表格存储中。这样做节省了空间、减少了访问的服务能力单元消耗,从而可以降低使用表格存储的成本。将数据量超出限制的属性列存储到 ...

计算与分析概述

表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...

数据导出到OSS概述

表格存储 的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件,...

概述

您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库的数据同步迁移到表格存储(Tablestore)。使用场景 数据架构变化 随着业务的变化,如果现有业务对数据库并发读写需求、扩展性和可用性需求较高,或需要复杂的检索,原有...

更新分析存储的数据生命周期

当需要清理分析存储中的历史数据或者希望延长数据保存时间时,您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后,表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...

存储费用

当您在OSS内存储文件时,OSS会根据您存储的文件类型、大小和时长收取一定的存储费用。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情,请参见 OSS产品定价。计费项 计费项 计费规则 计费周期 付费方式 标准存储(本地冗余)...

更新分析存储的数据生命周期

当需要清理分析存储中的历史数据或者希望延长数据保存时间时,您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后,表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...

SQL概述

通过SQL查询功能,您可以对表格存储中的数据进行复杂的查询和高效的分析,为多数据引擎提供统一的访问接口。背景信息 表格存储(Tablestore)是阿里云自研的多模型结构化数据存储,提供海量结构化数据存储以及快速的查询和分析服务。表格...

创建分析存储

当需要低成本存储时序数据以及快速查询和分析时序数据时,您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作,请参见 创建时序模型实例。已初始化...

低频介质

阿里云文件存储NAS推出的通用型NAS低频介质,可以帮助您将低频访问的文件转换到低频介质存储空间,并采用低频介质计费方式,从而减少文件系统的存储费用。如果您存储在通用型NAS文件系统中...安全服务扫描低频介质中存储的文件时,怎么收费?

数据类型

了解Spark数据类型、Scala的值类型、表格存储中多元索引数据类型和表格存储数据类型的对应关系。使用过程请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...

创建分析存储

当需要低成本存储时序数据以及快速查询和分析时序数据时,您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作,请参见 创建时序模型实例。已初始化...

时序模型

表格存储 的Java SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息,请参见 ...

时序模型

表格存储 的Go SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息,请参见 ...

表格存储中表、行、列、值和电子表格的类比

表格存储中的表存储着用户的结构化数据。用户可以在表查询、插入、修改和删除数据。一个用户可以拥有多个表。数据在表以行、列、值的形式来组织。上图展示了表格存储中表及其它概念与电子表格的类比:表:类似电子表格底端的标签,...

环境准备

使用Flink访问表格存储中的表前,您需要开通实时计算Flink服务并创建Flink全托管实例以及开通表格存储Tablestore服务并创建Tablestore实例。背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供...

准备工作

说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource,OrderSource表有两个主键UserId(用户ID)和OrderId(订单ID)和两个属性列price(价格)和timestamp(订单时间)。DataV数据可视化 登录DataV的用户名和密码...

使用UDF处理数据

如果您在表格存储中的数据有着独特的结构,希望自定义开发逻辑来处理每一行数据,例如解析特定的JSON字符串,您可以使用用户自定义函数UDF(User Defined Function)来处理表格存储中的数据。操作步骤 在IntelliJ安装MaxCompute-Java/...

方案背景

本文介绍了表格存储结合实时计算Flink实现大数据分析的样例场景、架构设计等。背景信息 云数据库RDS MySQL基于阿里...在Flink流计算作业关联消费记录和商品信息数据并写入表格存储中。基于表格存储多元索引或者SQL查询功能进行数据分析。

资源预估选型

使用表格存储中的数据读写,索引的写入、查询、分析,通道服务等操作均会消耗VCU的计算资源。通过QPS近似评估VCU的建议请参见下表。由于计算资源的消耗涉及较多因素,请结合实际业务评估VCU。重要 读写行的大小,请求的Cache命中率、Filter...

计量计费项

预留模式的计费项包括计算能力、数据存储量和外网下行流量三部分。预留模式适用于业务峰值较为平稳、可预测的场景。本文介绍预留模式的计费价格、计费组成、计费项以及计费常见问题。计费价格 具体计费价格,请参见 表格存储价格详情页。...

概述

Tablestore的增量数据及全量数据可以通过DataWorks的数据集成同步到MaxCompute。背景信息 表格存储(Tablestore)面向海量结构化数据提供Serverless表存储服务,同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量...

使用AccessKey访问表格存储

除了授权方式外,您还可以在 MaxCompute 使用 AccessKey 访问表格存储的数据。准备工作 获取表格存储资源所属账号的 AccessKeyId 和 AccessKeySecret,如果该 AK 是资源所属账号的子账号,那么该子账号至少需要对表格存储相关的资源具有...

时序模型介绍

以下图为例,时序表中存储了温度(temperature)和湿度(humidity)两种度量类别的数据。图中度量名称(measurement)、数据源(data source)和标签(tags)组成了一个时间线标识。此外,您还可以通过接口更新某个时间序列的元数据属性...

将表格存储数据下载到本地文件

表格存储支持通过命令行工具或者DataX工具直接下载数据到本地文件。您也可以通过DataWorks工具将数据同步到OSS后再在OSS侧下载数据到本地文件。下载方式 请根据所需文件格式选择合适的方式进行数据下载,详细说明请参见下表。导出文件格式 ...

创建时序表

当使用表格存储时序模型时,您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...

时序函数

本文介绍了时序分析存储中使用SELECT语句查询数据时支持的时序函数。函数 函数输出类型 描述 time_bin(_time,interval)Datetime 配合group by对时间进行分桶。例如 group by time_bin(_time,"10s")表示对时间每十秒分为一个桶,结合聚合...

常见问题

相反,20 GB作为Object的历史版本在Bucket中存储了30天,而40 GB作为Object的最新版本在Bucket中存储了15天。按照存储费用的按量付费计算规则得知,则该Object当月的存储费用为:20 GB×0.12元/GB/月+40 GB×0.12元/GB/月÷30天×15天=4.8...

前言

如果要实时投递 表格存储 数据到OSS中存储和分析,请使用数据湖投递实现。更多信息,请参见 数据湖投递。时序模型 一般使用流程如下:初始化客户端用于配置访问的 表格存储 实例。更多信息,请参见 初始化客户端。创建时序表用于存储数据。...

使用教程

本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet,name是唯一的一列主键,数据示例请参见下表。说明 表空白部分无需写入,因为表格存储是schema-free的存储结构,没有值也无需写入...

将MaxCompute数据同步到表格存储

如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用,您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后,您可以使用表格存储查询与分析数据。背景信息 表格存储...

使用Go语言驱动

本文介绍如何使用Go语言驱动连接表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1(杭州)、华东2(上海)、...表格存储中字段数据类型 Go语言字段数据类型 Integer int64 Binary[]byte String string Double float64 Boolean bool

SQL查询

通过SQL查询功能,您可以对表格存储中数据进行复杂的查询和高效的分析。SQL查询在车联网场景作为不同类型数据的统一查询接口。说明 关于SQL查询的更多信息,请参见 SQL查询。概述 SQL查询兼容MySQL的查询语法,同时提供基础的SQL DDL建表...

概述

使用Spark计算引擎访问表格存储时,您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算,除了基础功能外,Tablestore On Spark提供了如下核心优化功能:索引选择:...

SQL查询计量计费

使用SQL查询过程,可能消耗读吞吐量的操作如下:数据表:数据扫描与查询 二级索引:数据扫描与查询 多元索引:数据查询与计算 时序表:数据扫描与查询 计费示例 假设表格存储中有一个订单表sample_table,主键为user_id(String类型),...

将表格存储的增量数据转换为全量数据格式

通过DataWorks控制台,您可以在MaxCompute使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute,且已配置同步 表格存储 增量数据到MaxCompute。具体操作,请分别参见 全量导出...

方案实现

一般会采取仅在Redis中存储Feed ID而不存储Feed内容。整体数据量大幅减少,但是在读取的时候需要先读Feed ID,然后在到存储系统里面去读取Feed内容,网络开销增长了一倍,而且是串行的,对用户的刷新延迟有较大影响。而表格存储单表可存储...

AccessKey权限控制

表格存储目前支持通过AccessKey对用户身份进行认证,认证通过的用户可以正常访问表格存储内的资源。一个阿里云账号下可以有多组不同的AccessKey ID和AccessKey Secret对,使用同一个阿里云账号的不同AccessKey ID和AccessKey Secret看到的...

创建数据取回任务

如果您需要频繁访问低频介质中存储的文件,建议您创建数据取回任务,将指定文件或目录中的数据取回至通用型NAS存储空间,避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时,NAS会根据目标文件...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 云存储网关 混合云存储 对象存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用