访问Kafka数据
查询Kafka表的数据。查询表Kafka_tbl中Schema的数据。DESCRIBE kafka_tbl;查询表Kafka_tbl中的数据。SELECT*FROM kafka_tbl LIMIT 10;使用Spark函数提取Kafka中的数据。例如，查询表Kafka_tbl中Value为 {"content":"kafka record"} 的数据...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
迁移工具
表格存储数据跨实例或者跨账号迁移同步 通过在DataWorks/DataX中配置表格存储相关的Reader和Writer插件，即可以完成表格存储数据表或者时序表的数据复制，如下图所示。表格存储相关的插件说明请参见下表。插件 说明 OTSReader 用于读取表格...
元数据管理
选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库，点击右侧的删除...
数据集成服务
表格存储数据跨实例或者跨账号迁移同步 通过在DataWorks中配置表格存储相关的Reader和Writer插件，即可以完成表格存储数据表或者时序表的数据复制，如下图所示。表格存储相关的插件说明请参见下表。插件 说明 OTSReader 用于读取表格存储表...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
通过Spark SQL读Lindorm数据
本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表引擎、计算引擎、文件引擎。计算引擎开通方式，请参见 开通与变配。已开通...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
通过控制台使用宽表模型
数据表的命名规则为由大小写字母、数字或下划线（_）组成，且只能以字母或下划线（_）开头，长度在1个~255个字节之间。表主键 表中的一列或多列，用于唯一标识表中的一条记录。输入表主键名称并选择数据类型，单击 添加表主键，可加入新的...
冷存储介绍
冷热分离功能可以自动将表中的热数据存储至读写速度更快的热存储中，将不常访问的历史数据存储至容量型云存储中，从而降低存储成本。如果您在业务上有冷热分离的需求，请参见 冷热分离介绍。开通容量型云存储 如何开通容量型云存储，请参见...
项目
外部项目无法被独立创建和使用，需要配合数据湖集成，用以实现访问和管理Hadoop集群Hive数据库中的表数据，或数据湖构建DLF中的表数据。详情参见 MaxCompute湖仓一体。外部项目本身没有执行作业的权限，需要关联到MaxCompute项目，通过...
二级索引简介
使用索引表时的注意事项 在带有索引表的数据表中写入数据时需遵循如下规则，否则在数据表中写入数据会失败。写入数据时，不能自定义数据的版本号。批量写入数据时，一个批量写请求中，同一行数据（即主键相同）不能重复存在。索引表只能...
Hive访问EMR Phoenix数据
执行以下命令，在Hive中查看Phoenix表的数据。select*from ext_table;如果可以正常查询数据，说明Hive已经成功访问了Phoenix的数据。相关文档 Phoenix更多的介绍，请参见 Phoenix。Phoenix接入Hive的内容，请参见 Phoenix Storage Handler ...
功能概述
表格存储 会在后台对超过存活时间的数据进行清理，以减少您的数据存储空间，降低存储成本。更多信息，请参见 数据版本和生命周期。数据存储模型 表格存储 提供多种数据存储模型，您可以根据业务需求选择对应的模型进行应用。表格存储 数据...
配置Hive开启Ranger权限控制
示例二：表权限配置 Ranger Hive中表的创建权限可以配置到表级别，例如配置 database=testdb、table=test 和 column=*的 Create 权限时，用户仅具有 test 这张表的创建权限，不能创建其他表。如果您希望配置用户能在Database下自由创建所有...
查询Delta表数据
hive 执行以下命令，在Hive中查看Delta表的数据。select*from delta_table;返回如下信息。2 3 4 0 1 Time taken:2.937 seconds,Fetched:5 row(s)说明 查看数据与在Spark中插入的数据一致，说明Hive已经成功访问了Delta表的数据。通过Presto...
时序模型介绍
创建时序表时，您可以根据是否需要清理历史业务数据配置时序表的数据生命周期。5 写入时序数据 批量写入时序数据到时序表。时序数据由元数据和数据两部分组成，如果未预先新建元数据，则系统会根据写入的数据自动提取元数据。说明 表格存储...
使用流程
背景信息 使用表格存储前，您需要了解表格存储相关介绍，例如产品概述、基本概念等，然后根据业务场景确定使用的数据存储模型、实例模型和实例规格。表格存储 提供了宽表（WideColumn）模型、时序（TimeSeries）模型和消息（Timeline）模型...
文件系统存储类型
如果您需要频繁访问低频存储或归档存储中的数据，则建议您创建数据取回任务，将指定文件或目录中的数据取回至标准存储，避免频繁访问产生读写流量费用。更多信息，请参见 生命周期管理策略。存储类型对比 对比指标 标准存储 低频存储 归档...
基础数据操作
说明 在物联网存储场景中，您可以将Kafka数据、EMQX数据、物联网平台数据存储到表格存储时序表中。更多信息，请参见 时序数据接入。通过Flink计算与分析数据后，您可以使用Tablestore时序表存储输出结果。更多信息，请参见 使用时序表存储...
通过SDK使用分析存储
写入时序表的数据会同时写入分析存储中。具体操作，请参见 写入时序数据。为已有时序表创建分析存储 以下示例用于为test_timeseries_table时序表创建一个分析存储。分析存储的名称为test_analytical_store，数据生命周期为30天（即2592000...
基本概念
由于维度表的变更会广播到集群的所有节点，确保所有节点的数据一致性，影响写入性能，因此不建议频繁增删改维度表的数据。EIU EIU，全称为Elastic IO Unit，中文名称为弹性IO资源，是 AnalyticDB for MySQL 弹性模式集群版（新版）的存储...
新建离线物理表
内部表：由自身管理的表，存储在计算引擎中。外部表：外部存储系统的表，如HDFS。创建外部表需填写外部存储地址location。最多512字。说明 外部表默认的存储设置为 stored as textfile,如需修改,新建完成后可单击 编辑DDL 直接修改建表的...
数据治理
当前仅支持面向E-MapReduce中的几类Hive表提供数据预览功能，若无法进行Hive表数据预览，请联系集群管理员确认集群类型及存储类型是否满足以下要求。说明 其中 表示支持预览，表示不支持预览。EMR集群类型 元数据存储类型 数据存储类型：...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
概述
维度建模 DataWorks的数据建模理念遵循维度建模思想，使用DataWorks的维度建模功能进行数据仓库建模设计时：维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来...
归档为IBD格式
本文介绍了将冷数据归档为IBD格式的方法。...不同线程和数据量的冷数据归档耗时如下：单张表的数据量 冷数据归档耗时 线程数量（4个）线程数量（8个）100 GB 约18分钟 约10分钟 1 TB 约2.5小时 约1.3小时 10 TB 约24小时 约13小时
通过控制台使用时序模型
表格存储 提供了控制台、命令行工具和Tablestore SDK三...基于时序模型可以实现 基于Tablestore时序模型构建车联网数据存储、基于设备接入平台与Tablestore搭建车辆轨迹数据平台 等方案。更多方案介绍，请参见 场景实战-典型场景架构与实现。
数据存储
本文介绍 云数据库 SelectDB 版 在数据存储方面的关键设计和特性，帮助客户充分发挥SelectDB的潜力。表 在云数据库SelectDB中，表（Table）是存储结构化数据的一种特殊形式。一张表由行（Row）和列（Column）组成，其中行表示一行数据，列...
索引选择
常见的超大规模数据都带有一些时间属性，例如大量设备产生的数据（监控数据）或者人产生的数据（消息、行为数据等），这类数据非常适合采用表格存储进行存储。针对这类数据建立索引的组合方案如下：对元数据表建立多元索引，全量数据表不...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
数据源Hive
本文为您介绍如何创建数据源Hive。...将Hive数据库中的数据表或自建的自定义SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
通过控制台使用分析存储
写入时序表的数据会同时写入分析存储中。具体操作，请参见 写入时序数据。为已有时序表创建分析存储 进入 实例管理 页面。登录 表格存储控制台。在页面上方，选择资源组和地域。在 概览 页面，单击实例名称或者单击实例 操作 的 实例管理。...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
Hive访问Delta Lake和Hudi数据
执行以下命令，在Hive中查看Delta Lake表的数据。select*from delta_table;返回如下信息。OK 2 3 4 0 1 Time taken:1.897 seconds,Fetched:5 row(s)说明 查看数据与在Spark中插入的数据一致，说明Hive已经成功访问了Delta Lake的数据。Hive...
配置冷存储
开通 云原生多模数据库 Lindorm 的冷存储功能后，需要配置数据库中的表或者列簇，本文介绍配置冷存储的方法。背景信息 冷存储功能仅支持 云原生多模数据库 Lindorm 引擎版本为2.1.8及以上。Lindorm支持在表级别设置存储属性，可以将整个表...
Broker Load
v-+-v-+-v-+|BE|BE|BE|+-+-^-+-+-^-+-+-^-+|3.pull data from broker+-v-+-+-v-+-+-v-+-+|Broker|Broker|Broker|+-+-^-+-+-^-+-+-^-+|+-v-+-v-+-v-+-+|HDFS/BOS/AFS cluster|+-+开始导入 Hive分区表的数据导入 创建Hive表。数据格式是...
时序分析存储概述
分析存储与时序表的数据存储相互独立，允许用户自定义数据的生命周期（TTL），对分析存储的查询操作不会对时序表的读写性能产生影响。分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
- 产品推荐
- 这些文档可能帮助您