限制说明
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据，不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合...
时空引擎版本发布记录
ST_AsDatasetFile 函数支持通过 Grib2 数据格式输出。Bug修复 修复栅格netcdf导入时，空间参考获取不正确的问题。修复多外包框下equals结果不正确，导致可能外包框更新错误的问题。4.1 性能优化 增强 ST_ImportFrom 函数，增加OSS文件映射...
创建同步OSS
准备OSS Bucket DataHub支持将数据同步到对象存储OSS中，在创建同步任务前，用户首先需要在OSS管控台创建OSS Bucket，作为DataHub数据同步的目标Bucket。2.服务关联角色授权 用户配置同步任务时，账号可以选择使用 AccessId/AccessKey 静态...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
通过数据同步功能同步Kafka至湖仓版（推荐）
说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。JSON解析层级和Schema字段推断示例 解析层级指按相应层数解析出JSON中的字段...
实时存储引擎
本文介绍 云原生数据仓库AnalyticDB MySQL版 的实时存储引擎。背景 云原生数据仓库AnalyticDB MySQL版 作为一款实时数仓产品，为了支持低延迟的写入、更新场景，在传统数仓能力基础上，设计了实时存储引擎。数据写入和更新会以Append_only...
基础数据类型
本文介绍 云原生数据仓库AnalyticDB MySQL版 支持哪些数据类型以及与MySQL数据类型的差异对比。AnalyticDB MySQL支持的基础数据类型 类型 数据类型 说明 与MySQL数据类型差异 数值类型 boolean 布尔类型 值只能是 0 或 1，存储字节数1比特...
数据类型（2.0版）
date 日期类型，取值范围 '1000-01-01' 到 '9999-12-31'，支持的数据格式为 'YYYY-MM-DD'，存储字节数为4字节。time 时间类型，取值范围 '00:00:00' 到 '23:59:59'，支持的数据格式为 'HH:MM:SS'，存储字节数为4字节。timestamp 时间戳类型...
如何优化数据导入导出
导入导出工具介绍 PolarDB-X 常见的数据导出方法有：mysql-e命令行导出数据 musqldump工具导出数据 select into outfile语句导出数据（默认关闭）Batch Tool工具导出数据（PolarDB-X 配套的导入导出工具）PolarDB-X 常见的数据导入方法有：...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
EMR-3.22.x版本说明
通过DDL，进行CACHE、UNCACHE、ALTER、SHOW等操作，Cache的数据支持Spark的所有数据源和数据格式。支持自动的Cache数据更新以及通过REFRESH命令更新Cache数据，支持基于分区的增量更新。支持基于Relational Cache的执行计划优化。Streaming...
备份集自动归档到备份服务器
备份目标信息 备份目标存储类型 备份目标存储类型，支持：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储费用，详情请...
规格及选型
实例资源类型 AnalyticDB PostgreSQL版 推荐使用存储弹性模式和Serverless版本两种实例资源类型：存储弹性模式 产品功能完整，使用存储计算一体架构，支持计算节点垂直升降配，横向扩容和存储灵活调整。购买时需要指定 实例系列、计算节点...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
BigQuery数据迁移至MaxCompute
本文为您介绍如何通过公网环境将谷歌云GCP（Google Cloud Platform）的BigQuery数据集迁移至阿里云MaxCompute。前提条件 类别 平台 要求 参考文档 环境及数据 谷歌云GCP 已开通谷歌BigQuery服务，并准备好环境及待迁移的数据集。已开通谷歌...
配置Amazon S3输入组件
配置Amazon S3输入组件后，可以读取Amazon S3数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Amazon S3数据源。具体操作，请参见 ...
配置Amazon S3输入组件
配置Amazon S3输入组件后，可以读取Amazon S3数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Amazon S3数据源。具体操作，请参见 ...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
气泡图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 组件数据源配置。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤...
恢复下载后的备份数据
您可以参考本文将下载的备份数据恢复到数据库实例中。前提条件 已下载备份数据。更多详情，请参见 手动下载备份集 或 配置自动下载备份集。在待恢复的服务器上部署对应的数据库服务。例如在恢复MySQL数据库前，需要在服务器上安装好对应...
气泡图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据分析整体趋势
据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从数仓分析市场增长来看，据Global Market Insights分析，2019-2025全球年复合增长超过12%，中国则大于15%，...
配置TDH Inceptor输入组件
同步TDH Inceptor数据源的数据至其他数据源的场景中，您需要先配置TDH Inceptor输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置TDH Inceptor输入组件。使用限制 TDH Inceptor输入组件支持数据格式为orc、...
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
PolarDB-X 2.0和1.0功能对比
PolarDB-X对用户屏蔽了存储节点，不能直接访问其存储节点，它将通过一个整体视角将数据库呈现给用户。通过自动的负载均衡、逻辑Binlog、混合负载的HTAP等能力来减少对存储节点直接访问的需求。目前PolarDB-X计算节点主要基于MySQL 5.7版本...
常见问题
影视渲染行业：影视制作、媒资管理的素材等数据存储，帮助客户提供高弹性、海量的数据存储空间；同时，结合IMM（智能媒体处理产品）可以实现存储+数据智能处理的解决方案。基因行业：基因测序、交付、诊断等基因上下游业务的数据存储需求，...
telnet 访问操作指南
紧接着“命令头”结束之后就要发送数据块（即希望存储的数据内容），最后加上“\r”（回车键）作为此次通讯的结束。几个简单的例子：set hello 0 0 5 world STORED/储存一个key为hello，用不过期，5个字节大小的数据world。get hello VALUE...
功能特性
OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表...
Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
查看集群日报与分析
Hive库存储格式分布Top信息展示如下：库TextFile存储格式数据量分布Top 库Parquet存储格式数据量分布Top 库ORC存储格式数据量分布Top Hive表信息 Hive表信息包含以下部分：Hive表详细信息 Hive表文件大小分布Top信息 Hive表冷热数据分布Top...
混合存储型（已停售）
使用混合存储型，将所有课程信息存储到磁盘，访问量大的课程和题库数据存储到内存并常驻内存，保证高频访问数据的读写性能，实现高性能与高性价比的有机结合。典型业务场景的示例如下：场景1：使用开源Redis集群存储了100 GB的数据，但高峰...
EMR+DLF数据湖解决方案
节省存储成本 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于分区/表创建时间、分区/表最近修改时间、分区值三种规则类型，对数据定期进行OSS存储类型转换，从而节省数据存储成本。具体操作和说明参考 生命...
新功能发布记录
功能描述 发布时间 相关文档 新增 数据归档OSS RDS SQL Server通用云盘新增支持数据库级别的数据归档至对象存储OSS能力，该功能允许用户在控制台数据库管理页面或通过API将不经常访问的在线数据库转为冷存数据库，而冷数据会存储在低成本的...
元数据抽取
使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、parquet、orc、hudi、delta、avro格式。元数据发现消耗算力，目前暂不收取费用。操作步骤 新建抽取任务 登入 数据湖构建控制台。在左侧...
RestAPI Reader最佳实践
数据存储json路径：本示例接口获取的数据存储于data下，此处配置为 data。请求参数：请求参数与调度参数搭配使用，实现每天同步当天数据的。请求参数配置为 startTime=${extract_day}${start_time}&endTime=${extract_day}${end_time} 后续...
雷达图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Kafka实时入湖
配置项包括目标数据库、目标数据表名称、存储格式、数据湖存储位置等。配置任务信息。配置项包括任务实例名称、RAM角色、最大资源使用量等。数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义...
- 产品推荐
- 这些文档可能帮助您