数据存储生命周期管理
本文介绍存储保存时间迁移策略。生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储，当数据的存储时间超过配置的 热存储层数据保存 时间后，数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储，当...
管理数据同步任务和存储表
添加并开启云产品数据源同步任务后，您可查看对应同步任务的详细信息，包括同步状态、数据同步存储表、同步任务运行信息等。您也可根据需要在数据同步存储表中新增字段。本文介绍如何查看云产品数据源的同步任务和数据同步存储表。查看同步...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database Service）或Flink、OSS（Object Storage Service）产品提供了...
应用场景
物联网 对系统的运维监控以及对物联网（Internet of Things，简称IoT）场景中环境与人的监控均有助于进行事实理解与决策，因此需要支持众多设备与系统的高并发写入与数据存储以及决策分析。监控&IoT场景的核心需求如下：数据高并发写入：...
时序模型计量计费
时间线数据包括产生数据的时间和对应的数据值，是时序模型中数据存储与读写操作的主要计费部分。其中数据存储支持选择高性能存储或者容量型存储，读写操作按照容量型进行计量计费。时间线元数据也称为时间序列元数据，表示一条时间线的标识...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
应用场景
多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
应用场景
多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云...
常见问题
云数据库 SelectDB 版 与数据管理服务DMS原生搭配，提供可视化、易用的SQL查询编辑器，减少数据管理工作量。云数据库 SelectDB 版 仅需投入少量运维人力。云数据库 SelectDB 版 内核是基于 Apache Doris 内核开发的商业化版本，基于云架构...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
什么是数据库网关
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库...
删除实例
删除实例操作只是取消了数据库实例与数据管理DMS控制台的关联，不影响实例本身。操作步骤 登录 数据管理DMS 5.0。在首页左侧的数据库实例列表找到目标实例，右键单击实例名称。选择 删除实例，并单击 确认。说明 若您需要批量删除实例，请...
对象存储优化
对象存储OSS提供存储管理功能，帮助您优化存储性能和成本。分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如...
功能介绍
系统会对备份周期内删除或新增的数据进行增量备份，大小不压缩，默认的备份周期为7天，备份与数据存储比为68%左右。具体信息，请参见 备份策略。如需修改备份数据保留时长，请 提交工单 联系技术支持进行修改。使用场景 备份恢复的功能适用...
数据查询与分析管控
进入数据源管理，详情请参见 创建与管理数据源。附录：DataWorks各版本下载数据条数上限 DataWorks各版本可设置的下载数据条数上限如下表。DataWorks版本 下载数据条数上限（条）基础版 0 标准版 200,000 专业版 2000,000 企业版 5000,000 ...
Location托管
在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据湖管理能力。操作步骤 Location注册 打开 数据湖构建（DLF）控制台。依次打开菜单：湖...
什么是数据库网关
数据库网关DG（Database Gateway）是一种支持私网数据库远程...数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云厂商的云数据库、其他云厂商云服务器上自建的数据库）的通用管理方案。
通用数据开发
数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。...
产品架构
数据运营与管理：数据资产与安全：对数据库、数据仓库和数据湖进行统一数据资产管理、数据安全管理和数据治理。数据库设计与开发：提供多种数据设计与开发工具，如无锁变更、数据导入、结构同步、表一致性修复、数据库分组、数据追踪等。...
ODS层设计规范
任务的输出名称，即输出表的名称，需要与数据存储及生命周期管理规范保持一致。详情请参见 数据存储及生命周期管理规范。数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久...
内置时空数据引擎Ganos
同时，为适合自动驾驶以及三维数据建模需求，Ganos提供了对大规模激光点云(LiDAR)数据存储和管理分析功能，支持多种高效压缩算法以及40多个空间关系、操作、统计值计算函数。支持构建广泛的行业生态解决方案 PolarDB Ganos可服务于政务、...
产品优势
智能存储 提供多种数据处理能力，例如图片处理、视频截帧、文档预览、图片场景识别、SQL查询等，并无缝对接Hadoop生态以及阿里云函数计算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等产品，满足企业数据分析与管理的需求。...
引擎功能
数据存储默认采用多副本策略，充分保证数据的可用性。数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势...
功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 性能型 通用型NAS的...
开启和使用冷数据分层存储
在左侧导航栏选择 配置与管理>冷数据分层存储，进入 PolarDB冷数据分层存储 页面。单击 一键开启，进入 数据归档列表 页面。在页面上可以查看实例 基本信息 和 数据归档列表，在数据归档列表一栏，可以分别查看 整表归档列表 和 分区表归档...
开启和使用冷数据分层存储
在左侧导航栏选择 配置与管理>冷数据分层存储，进入 PolarDB冷数据分层存储 页面。单击 一键开启，进入 数据归档列表 页面。在页面上可以查看实例 基本信息 和 数据归档列表，在数据归档列表一栏，可以分别查看 整表归档列表 和 分区表归档...
开启和使用冷数据分层存储
在左侧导航栏选择 配置与管理>冷数据分层存储，进入 PolarDB冷数据分层存储 页面。单击 一键开启，进入 数据归档列表 页面。在页面上可以查看实例 基本信息 和 数据归档列表，在数据归档列表一栏，可以分别查看 整表归档列表 和 分区表归档...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
产品优势
复杂任务管理与调度：结合DMS账号与数据权限管理机制，能够进行复杂任务的管理与调度，提升开发过程的安全性。运维机制完善：通过任务运行日志、数据血缘及监控机制，提供完善运维能力。实时数据传输 多种数据传输方式：基于DTS的实时数据...
什么是Dataphin
同时，Dataphin可以为您提升构建数据体系的效率，降低成本：提升效率：提供全链路、一站式、智能化的数据构建与管理工具，降低数据建设门槛。不同背景的开发人员可以自助ETL，快速满足业务需求。通过OneData（OneModel、OneID、OneService...
数据上传
（可选）上传 阿里云对象存储OSS 数据，需满足如下条件：已开通OSS并创建Bucket，将待上传数据存储至OSS Bucket中。后续可将OSS数据上传至相应数据源，详情请参见 创建存储空间、上传文件。已为执行数据上传操作的阿里云账号授予可访问目标...
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
数据存储
时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有一个独立的时序数据库进行服务，只保存当前AnalyticDB实例的时序数据。日志数据存储 ...
功能特性
消费订阅数据 数据订阅流量管理 数据订阅实例的源库为MySQL时，支持通过配置费用的类型选择是否收取数据流量费用。计费项 创建RDS MySQL数据订阅任务 任务管理 DTS任务管理 功能集 功能 功能描述 参考文档 任务管理 任务创建与配置 支持...
DMS数据管理预案助力业务大促
背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
- 产品推荐
- 这些文档可能帮助您