方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
环境准备
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。更多信息，请参见 什么是阿里云...
什么是表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 表格存储 前，您需要了解以下基本概念。术语 说明 地域 地域...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
产品概述
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 1.0 核心能力采用标准关系型数据库技术实现，配合完善的...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
时序模型
时序表操作 使用 表格存储 时序模型时，您需要使用 CreateTimeseriesTable 接口创建时序表用于时序数据存储。具体操作，请参见 创建时序表。创建时序表后，您可以管理时序表。具体操作说明请参见下表。功能 描述 列出时序表名称 当需要查看...
时序模型
时序表操作 使用 表格存储 时序模型时，您需要使用 CreateTimeseriesTable 接口创建时序表用于时序数据存储。具体操作，请参见 创建时序表。创建时序表后，您可以管理时序表。具体操作说明请参见下表。功能 描述 列出时序表名称 当需要查看...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
计算与分析概述
Flink 宽表模型 时序模型 使用Flink 通过实时计算Flink访问 表格存储 中的源表、维表或者结果表，实现大数据实时计算与分析。目前数据表支持作为源表、维表或者结果表，时序表只支持作为结果表。PrestoDB 宽表模型 通过PrestoDB使用...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
创建Kudu数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Kudu。如果您最近使用过Kudu，也可以在 最近使用 区域选择Kudu。同时，您也可以在搜索框中，输入Kudu的关键词，快速筛选。在 新建Kudu数据源 对话框中，配置连接数据源参数。配置数据源的...
功能特性
表存储格式：列存、行存、行列共存 数据分层存储 数据湖等外表存储 可直接访问存储MaxCompute、OSS上的数据，实现离线数据加速，数据湖数据加速，包含：OSS存储、MaxCompute存储。OSS数据湖加速 通过创建外部表加速查询MaxCompute数据 开发...
概览
阿里云实时计算Flink版支持的数据存储类型如下：源表 源表指输入至Flink的数据输入源。Flink的源表指定为Hologres时，使用的是批量导入而非流式导入，Hologres会将全表的数据统一扫描一次后再输出至下游，扫描完成后本次作业结束。维表 维...
查看集群日报与分析
HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据存储大小 HDFS使用分析 在HDFS使用分析中，您可以获取以下图表信息：HDFS User...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
车联网数据存储处理方案
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
Dataphin支持的数据源
大数据存储型数据源 数据源类型 离线集成 实时集成 离线研发 实时研发 全域质量 隐私计算 数据服务 创建指导 MaxCompute 支持 支持 不支持 支持 支持 支持 不支持 创建MaxCompute数据源 Hive 支持 支持 不支持 支持 支持 不支持 不支持 ...
实时数据API
在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。实时数据业务痛点。处理实时数据业务的整个链路中，要求数据库提供高...
新零售：杭州数云信息技术有限公司
同时由于业务数据量较大，单个实例需要较大的数据存储量，传统的单机数据库无法满足，PolarDB 的存储计算分离能力帮我们解决了这个困扰我们很久的问题。“双十一期间 PolarDB 的IOPS能力很稳定，连接数使用到当前规格的一半，还可以再承载...
数据治理
存储量是实时的数据，存储趋势图（折线图）是某一时刻的快照，如果您现在的计算量很少（产生的临时表比较少）的话，两个确实会有一些差距。数据地图血缘展示延迟问题 血缘有最少一天的延迟 数据地图新建表搜不到 若数据地图表和表目前状态...
开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
限制说明
数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合存储。数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不...
通过实时计算订阅数据
参数 说明 数据存储类型 DataHub数据存储。EndPoint 通过 DataHub访问域名 获取。Project DataHub的项目名称，可在 DataHub控制台 中获取。使用同样的方式注册RDS数据存储，参数说明如下。参数 说明 Instance RDS的实例ID，可在RDS实例的 ...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
数据存储生命周期管理
本文介绍存储保存时间迁移策略。生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储，当数据的存储时间超过配置的 热存储层数据保存 时间后，数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储，当...
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta ...实时数仓 利用Databricks Delta Lake的ACID事务特性，可以构建云上大数据的实时数仓。icmsDocProps={'productMethod':'created','language':'zh-CN',};
概述
目标服务 支持Topic类型 时效性 是否支持VPC MaxCompute TUPLE/BLOB 准实时，5分钟时延 否 分析型数据库MySQL TUPLE 实时 否 云数据库RDS TUPLE 实时 是 表格存储TableStore TUPLE 实时 否 对象存储OSS TUPLE/BLOB 实时 否 ElasticSearch ...
时序模型计量计费
分析存储 数据存储 按量付费 资源包 按照容量型存储计费。分析存储相比时间线数据具有更高的压缩率。按量写吞吐量 按量读吞吐量 按量付费 资源包 按照容量型读写计费。按照SQL引擎访问分析存储实际产生的数据扫描量计算CU，其中读取4 KB...
物联网设备数据上云存储
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
引擎简介
产品架构 云原生多模数据库 Lindorm 流引擎的架构图如下：云原生多模数据库 Lindorm提供了一体化的数据存储、计算和查询能力。流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
- 产品推荐
- 这些文档可能帮助您