创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
创建表
表是MaxCompute的数据存储单元。您需要基于表进行数据处理。本文为您介绍如何创建表。前提条件 请确认您已满足如下条件：已登录MaxCompute客户端。更多登录MaxCompute客户端操作，请参见 登录MaxCompute客户端。已准备好保存了待导入数据的...
开启SQL独享版
查询和分析语句 数据量（行）平均每次的费用（元）*|select avg(double_0)from stress_s1_mil1 40亿 0.030*|select avg(double_0),sum(double_0),max(double_0),min(double_0),count(double_0)from stress_s1_mil1 40亿 0.044*|select avg...
如何设计时序数据表
时序数据表可以为您提高查询和存储性能，本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要，需要仔细分析数据来源的特性和查询的场景，建立合理的数据表，以便达到最佳的存储和查询性能。以下图的...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
使用教程
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
联合日志服务查询分析智能接入网关流量
0 then(CAST(replace(bytes,'K')AS double)*1024)else CAST(bytes AS double)end as bytes,srcaddr,srcport,dstaddr,dstport,protocol from log limit 100000)GROUP BY srcaddr,dstaddr,srcport,dstport,protocol ORDER BY bytes DESC ...
使用教程（时序模型）
本文以表格存储Tablestore中的宽表作为上游数据源为例介绍如何使用实时计算Flink写数据到Tablestore的时序表中。背景信息 Tablestore的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景...
通过PrestoDB使用Tablestore
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。使用计算引擎访问表格存储时会消耗计算资源。存储元数据的表占用的数据存储量与创建实例时的存储规格相关。按量模式：...
准备工作
请注意字段限制问题：当前数据源中的字段类型支持MaxCompute 1.0、2.0的基础数据类型 MaxCompute数据版本 MaxCompute数据类型 iGraph支持 对映iGraph字段类型 1.0数据类型版本 BIGINT ✓ INT64 DOUBLE ✓ DOUBLE DECIMAL ✓ 推荐STRING、...
逻辑数仓SQL语法介绍
逻辑数仓功能可以打通不同引擎，不同实例，跨区域，跨存储的OLAP、OLTP之间的壁垒，基于统一的SQL语法为用户提供跨库数据查询和数据同步的能力。本文介绍逻辑数仓支持的SQL语法。背景信息 逻辑数仓的查询语法和函数基本兼容MySQL，因此可以...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
背景
了解表格存储表设计最佳实践的背景。选择使用表格存储后，根据实际业务场景，选择直接使用表格存储提供的数据模型或者根据最佳实践进行表设计。为什么选择表格存储 如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
异构数据库间的数据类型映射关系
STRING 目标实例为Tablestore 源实例中的数据类型 Tablestore对应的数据类型 INTEGER INTEGER INT INTEGER SMALLINT INTEGER TINYINT INTEGER MEDIUMINT INTEGER BIGINT INTEGER DECIMAL DOUBLE NUMERIC DOUBLE FLOAT DOUBLE DOUBLE DOUBLE...
迁移时源库为PolarDB MySQL版的注意事项及限制
说明 PolarDB MySQL版 开启Binlog日志会占用一定的存储空间，需要收取存储费用。如为增量迁移任务，DTS要求源数据库的本地Binlog日志保存24小时以上；如为全量迁移和增量迁移任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
数据类型
Counter 计数器类型用于定义计数器列。Lindorm的counter和Cassandra的counter是有一定区别的，Cassandra的counter表只允许包含counter列，但是Lindorm CQL的表允许counter列和非counter列共存。示例如下：CREATE TABLE person_info(name ...
评分卡训练
使用限制 使用评分卡训练组件生成的临时模型仅支持使用MaxCompute临时表进行存储，该临时表在Studio中的默认生命周期为369天，在Designer中的默认生命周期为当前所在工作空间配置的临时表保存时长，具体配置方法请参见 管理工作空间。...
多元索引虚拟列
使用多元索引虚拟列功能时，您可以通过修改多元索引schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。说明 关于多元索引虚拟列的更多信息，请参见 虚拟列。注意事项 SQL查询目前不支持多元...
建表并上传数据
previous DOUBLE COMMENT '之前与客户联系的次数',poutcome STRING COMMENT '之前市场活动的结果',emp_var_rate DOUBLE COMMENT '就业变化速率',cons_price_idx DOUBLE COMMENT '消费者物价指数',cons_conf_idx DOUBLE COMMENT '消费者信心...
实施步骤
本文档主要介绍如何使用OSS+DLA+Quick BI实现数据的存储、交互式查询分析、输出BI报表的整体数据处理流程。步骤一：创建OSS Schema和表 在DLA中创建OSS Schema和表。示例如下：/创建OSS Schema。CREATE SCHEMA my_schema_name WITH ...
Java UDAF
Resolve("double->double")public class AggrAvg extends Aggregator { private static class AvgBuffer implements Writable { private double sum=0;private long count=0;Override public void write(DataOutput out)throws IOException...
写入数据
表格存储 提供了单行插入、单行更新和批量写入的写入方式用于写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。在高并发应用中写入数据时，您可以配置行存在性条件或者列条件实现按照指定条件更新数据...
迁移时源库为MySQL的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
公共规范
MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT INTEGER INT BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE DECIMAL DECIMAL CHAR/VARCHAR VARCHAR LONGTEXT/TEXT STRING DATE/TIMESTAMP/TIME/YEAR STRING ...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
Spark SQL创建C-Store表
背景信息 AnalyticDB MySQL Spark SQL创建C-Store表的语法与开源社区Spark SQL的建表语法存在差异，AnalyticDB MySQL 支持特有的表属性，详情请参见 创建表。AnalyticDB MySQL Spark SQL的建库、查询库和查询表等语法与开源社区Spark一致，...
产品计费
本文主要介绍云存储网关计费相关内容，包括计费项、计费方式和欠费说明等，您可以通过本文了解云存储网关服务费用收取详情。计费项 云存储网关包括线上网关和线下网关，其计费项不相同。云存储网关资源的价格，请参见 云存储网关产品定价。...
OpsKvPairs
函数列表 函数原型 函数简介 CString getValue(CString key)获取CString类型的参数 long getLong(CString key)获取long类型的参数 float getFloat(CString key)获取float类型的参数 double getDouble(CString key)获取double类型的参数 ...
Quick BI中累计计算功能为灰色无法点击
问题原因 图表的指标去重计数后，就无法再进行累计计算了。注意主要的可能原因有：1、没有把日期字段添加到维度中。2、聚合方式不支持，目前支持的有求和、计数、最大值、最小值等。解决方案 1.进入图表设计，在选定的指标上，将选择的去重...
函数操作
arg0),DOUBLE ABS(DOUBLE arg0),BIGINT ABS(BIGINT arg0),INT ABS(INT arg0):ACOS SCALAR DOUBLE ACOS(DOUBLE arg0),DOUBLE ACOS(DECIMAL?arg0):ADD_MONTHS SCALAR STRING ADD_MONTHS(DATE arg0,BIGINT arg1),STRING ADD_MONTHS(TIMESTAMP ...
FROM_JSON
同时您需要注意，对应FLOAT、DOUBLE、DECIMAL三种数据类型无法保证小数的精度，如果需要确保精度可以先用STRING类型取出数据，再转换为对应数值类型。返回值说明 返回ARRAY、MAP或STRUCT类型。FROM_JSON 示例1：将指定JSON字符串以指定格式...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
如何使用Java SDK快速删除存储空间及其中的历史版本
删除OSS服务中不需要的存储空间（Bucket）时，如果存储空间不为空，则存储空间无法删除，您必须先删除存储空间中的所有文件、未完成的分片文件、存在的livechannel以及多版本数据后，才能成功删除存储空间。本文是基于OSS的Java SDK来实现...
基本概念
本文介绍了文件存储NAS相关基本概念，以便于您更好的理解和使用NAS。文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改...
计费常见问题
存储容量超过存储包容量 当已购买的存储包无法抵扣文件系统存储容量，您可以购买资源包来抵扣该文件系统超出部分的存储容量。存储包到期 存储包到期后，您可以购买资源包来抵扣该文件系统超出部分的存储容量。说明 存储包绑定文件系统后，...
归档存储服务等级协议
1.服务范围 阿里云归档存储为用户提供大容量的云归档服务。用户可以调用归档存储提供的API或者SDK通过网络进行数据的上传和下载，并可通过Web控制台进行有限功能的管理。归档存储的存储容量支持弹性扩容，并提供基于云计算模式的按使用量...
窗口函数
通用窗口函数 row_number()→bigint 返回其分区内的当前行数，从1开始计数。rank()→bigint 返回当前行的排名，包含间隔;即对等组中第一行的 row_number。dense_rank()→bigint 返回当前行的排名，不包括间隔;这个功能有效地计数对等组。...
Dataphin集成任务同步失败报错："脏数据，无法将['...
问题描述 集成任务同步失败报错：脏数据:"类型转换错误,无法将['0.02']转换为[DOUBLE]"问题原因 源端数据异常，出现‘0.00’类似这样的数据，dataphin直接拿原始数据 '0.0'去转换成double，那解析的规则必然是按照一个正常的数字字符串来...
- 产品推荐
- 这些文档可能帮助您