半结构化分析
其中，JSON数据类型直接存储输入文本，会保存JSON数据中语义无关的空格，并且会保持JSON对象键的顺序，以及JSON数据中重复的键和键对应的数据。对于重复键在查询的时候会将最后一个遇到键的值当作有效值。JSONB数据类型则是以二进制格式来...
什么是OSS-HDFS服务
导出审计日志 冷热分层存储 并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
大数据 大数据具有数据规模大、数据类型多样、生成速度快、价值巨大但密度低的特点，如何高性价比存储海量持续增长的数据以及快速从海量数据中获取有价值的信息成为大数据领域的关注重点。表格存储 数据湖架构能有效的解决大数据领域面临的...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
常见问题
Q：如果在一行数据中未写入自定义时间列，那么这一行数据还会冷热分离吗？A：不会。自定义时间列是系统对数据冷热分离存储的依据。如果一行数据未写入时间，那么这行数据会被保留在热存储区。Q：对于按时间戳冷热分离，冷数据更新后还是冷...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
Napatech案例
云原生多模数据库 Lindorm 助力Napatech大幅提升存储、索引性能。生态合作伙伴介绍 Napatech公司（OSE：NAPA.OL）是一家提供FPGA解决方案的丹麦公司，成立于2003年。公司总部位于丹麦，销售和支持的区域包括美国，亚太地区，欧洲，中东和...
基础数据操作
创建时序表后，您可以通过PutTimeseriesData接口或者时序Writer工具写入时序数据，您还可以迁移 MySQL或 Kafka数据源的数据到表格存储时序表。时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用...
查询机制
SELECT 使用SELECT查询数据时，需要从磁盘中读取一个数据块到内存中，然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
常见问题概览
连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加...
前言
背景信息 表格存储 提供了宽表模型、时序模型、消息模型等多种数据模型，SDK参考文档中主要介绍使用宽表模型和时序模型时的功能操作。请根据要使用的数据模型执行相应操作，具体功能的使用流程说明请参见下表。说明 关于消息模型的更多信息...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
概述
支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启冷数据分层存储 后，...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
数据存储
一张表由行（Row）和列（Column）组成，其中行表示一行数据，列表示一行数据中不同的字段。语法 CREATE TABLE[IF NOT EXISTS][database.]table(column_definition_list,[index_definition_list])[engine_type][keys_type][table_comment]...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
表设计规范
表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表的数据量大小。对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...
概述
本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL标准存储引擎创建表时，该表由表定义和相关数据组成。创建Federated表时，表定义是相同的，但是数据的物理存储...
Catalog概述
查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源中的数据，请参见 数据湖分析。跨Catalog查询数据 如果想在一个Catalog中查询其他Catalog中数据，可通过 ...
概述
使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有MySQL数据库的数据架构已经不能满足现在的业务需求，您可以选择将MySQL数据库中的数据迁移到表格存储中。...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
通过SDK使用分析存储
使用SDK在已开启分析存储的时序模型实例下为时序表创建分析存储并为分析存储创建绑定关系，然后使用SQL查询数据。说明 您可以通过 Java SDK 或者 Go SDK 使用分析存储功能，本文以Java SDK为例介绍分析存储的使用。注意事项 时序分析存储...
删除文件系统
本文主要说明阿里云数据库文件存储服务删除功能。进入“数据库文件存储控制台”->“数据库文件系统列表”。单击“更多”按钮，单击“删除”，弹出“删除数据库文件系统”窗口。单击“我已知晓风险，确认删除”按钮后，提交删除申请。
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
在线扩容
本文主要说明阿里云数据库文件存储服务DBFS的在线扩容功能。进入“数据库文件存储控制台”-》“数据库文件系统列表”。单击“扩容”按钮，弹出“在线扩容数据库文件系统”窗口。填写“扩容后容量”，单击“开始扩容”按钮后提交扩容申请。
概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。数据域面向业务分析，一个...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
polar_comp_redwood_date
当DATE在命令中显示为列的数据类型时，如果配置参数 polar_comp_redwood_date 设置为 true，则在表定义存储在数据库中时，它将转换为TIMESTAMP。因此，时间部分也将与日期一起存储在列中。这与Oracle的DATE数据类型是一致的。如果 polar_...
数据存储冷热分离
如果加载数据之后 hot_total_size 和 cold_total_size 都为0，则表示数据还在实时中，rt_total_size 为实时数据的存储，可以通过执行build语句，将实时数据转换为分区数据，待build完成后可以查到 hot_total_size 和 cold_total_size。...
数据存储量
如下图所示，表格存储中实例的数据总量是所有表的数据量之和，表的数据量是表中所有行的数据量之和，所有行的数据量是所有单行数据的主键列和属性列数据量之和。说明 关于最新的单价信息，请参见 表格存储价格详情页。下面举例说明如何计算...
功能特性
按时间点恢复RDS数据 按时间点恢复PolarDB数据 按时间点恢复MongoDB数据 按时间点恢复Redis数据 按时间点恢复Tair数据 存储能力 温备份存储 提供性能适中、价格适中的备份存储。DBS内置存储 备份数据清理 支持TTL过期系统自动删除备份数据...
ECU详解
大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储架构，热点数据存储在SSD磁盘中，冷数据存储在HDD磁盘中。适用于并发稍低、性能要求不高（可接受数据查询响应时间受超过10秒以上）的业务场景。ECU规格 系列 型号 内存 磁盘类型...
- 产品推荐
- 这些文档可能帮助您