应用场景
车联网场景中数据存储与分析的核心需求如下：数据高并发写入：面向众多车辆，需要支持百万级节点实时写入。数据存储：长期保存车辆轨迹信息以及车辆状态信息，需要单表规模极大以及高性价比存储。实时地理围栏：实时数据的地理围栏报警，...
时序模型计量计费
时间线数据包括产生数据的时间和对应的数据值，是时序模型中数据存储与读写操作的主要计费部分。其中数据存储支持选择高性能存储或者容量型存储，读写操作按照容量型进行计量计费。时间线元数据也称为时间序列元数据，表示一条时间线的标识...
ODS层设计规范
任务的输出名称，即输出表的名称，需要与数据存储及生命周期管理规范保持一致。详情请参见 数据存储及生命周期管理规范。数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久...
平台安全诊断
平台安全诊断目前支持的安全域说明如下：数据计算与存储安全性诊断 用于对数据权限的控制、数据存储加密、数据存储备份等功能进行安全性诊断，及时识别潜在的安全隐患，提升在数据存储与访问过程中的安全性。数据传输安全性诊断 用于对数据...
文件系统存储类型
数据存储 数据取回 成本节省计划 低频存储和归档存储是针对存储在标准存储空间中的冷数据进行成本优化。设置生命周期管理策略，您可以根据业务实际访问数据的情况自动分级存储数据，从而优化存储成本。如果您需要频繁访问低频存储或归档...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
元数据管理
选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库，点击右侧的删除...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
概述
以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析应用（如投资和财务分析）提供数据保护，保证用户数据在存储与计算过程中的安全，降低明文数据泄露风险。...
概述
数据同步过程中，数据源中的数据存储在目标数据仓库OSS中，搭建数据仓库过程中不会对数据源端的业务系统产生任何压力。通过DLA控制台配置建仓任务，支持自定义设置定时数据投递。极致的计算能力，充分发挥DLA的计算能力，通过DLA的大内存、...
时序模型介绍
使用时序模型时，时间线数据占用的存储空间类型与所用实例规格（容量型存储或高性能存储）一致，时间线元数据占用的存储空间为高性能存储，查询与分析时序表中数据时会消耗计算资源。按量模式：时序模型计费项包括时间线数据和时间线元数据...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
方案设计
另一方面，如果我们把一个平面的格点数据存储到一列中，在整读整取时效率比较高，但是如果只读取某个点，就会读取很多的无效数据，效率又会变得比较低。因此我们采取一种折中的方案，对平面的二维数据再次进行切分，切分成更小的平面数据块...
开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
数据表-数据概况
为您介绍数据表详情中“数据概况”的主要功能。功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、...
归档存储服务等级协议
阿里云服务具备自动数据备份功能，备份数量详见相关技术文档，备份数据默认与源数据存储在同一个数据中心。用户无需指定数据自动备份数量及自动备份数据所存储的位置。2.5.2.阿里云的数据中心将遵守当地的相关法律法规，用户对此具有知情权...
数据备份概述
表格存储 控制台集成了 云备份 的 Tablestore 备份功能，提供了 Tablestore 数据备份、数据恢复、报警设置等功能，支持对 表格存储 中的数据进行备份与恢复。数据备份可用于容灾备份、误删或恶意篡改恢复、数据版本控制、法律合规要求、...
半结构化分析
JSONB数据类型则是以二进制格式来存储用户JSON格式数据，不会保存JSON数据中语义无关的空格，也不会保存用户JSON格式数据中对象键的顺序。对于用户输入JSON对象中具有重复键的情况，不保存重复键的对象，如果有重复键输入的话，只有最后...
归档为CSV或ORC格式
说明 如果OSS对象存储中存在与归档的数据文件名称冲突的数据文件，系统会报文件已经存在的错误。例如：Target file for archived table exists on oss.您可以在以上三个语法中通过添加 FORCE 关键字来覆盖OSS对象存储中已经存在的数据文件...
数据扫描和识别
已获取授权的情况下，DSC 会登录到数据库内以数据采样的方式对数据进行敏感识别，DSC 不会保存您MaxCompute项目、数据库中的数据。目前存在哪些触发重新扫描的场景？目前，DSC 会在以下场景中自动触发对已授权数据源中的数据进行重新扫描。...
设置生命周期策略
归档存储：适用于数据长期保存的业务场景，例如数据审计、数据归档等。取值为：14、30、60、90、180。当指定目录或文件在预置天数内未被访问时，文件将会转储至低频存储或归档存储。说明 两种存储类型可以同时选择，也可以选择任意一个。若...
通用数据开发
数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。...
设置数据保留策略
InfluxDB的数据保留策略可以定义数据在InfluxDB中保存时间，本文介绍如何设置数据保留策略。前提条件 已创建数据库。具体操作，请参见 创建数据库。数据保留策略介绍 InfluxDB可以通过定义数据保留策略，用来控制存储数据量的方式。新创建...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版 支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储的详细介绍，请...
冷数据分层存储计费规则
本文介绍开启冷数据分层存储后，在冷数据存储方面的计费规则。计费规则 当 开启冷数据分层存储 后，PolarDB PostgreSQL版（兼容Oracle）支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据分层存储...
数据服务系统配置
Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存数据量较大时不建议使用，占用内存会影响系统的响应速率。适用于个别API需要开启缓存且数据量很少的场景 ...
DAS企业版介绍
开通DAS企业版后，默认的 数据存储时长 为1个月，您可以根据自己的需要进行修改，具体请参见 管理DAS企业版。说明 SQL洞察 功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS专业版设置的存储时长小于等于...
冷数据存储计费规则（可选）
本文介绍了开启冷数据归档功能后，在冷数据存储方面的计费规则。当 开启冷数据归档 后，PolarDB 企业版支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据归档的详细介绍，请参见 冷数据归档概述。...
ActionTrail日志清洗
说明 根据业务需求，判断是否需要新建文件夹，将ActionTrail投递过来的数据存储在新建文件夹中。在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：...
设置数据冷热存储策略
本文介绍通过开源HDFS客户端设置冷热数据存储策略的方法。前提条件 已开通冷存储功能。具体操作，请参见 开通冷存储。操作步骤 通过开源HDFS客户端访问文件引擎，具体操作，请参见 通过开源HDFS客户端连接并使用文件引擎。通过以下命令 ...
数据存储
时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有一个独立的时序数据库进行服务，只保存当前AnalyticDB实例的时序数据。日志数据存储 ...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
JindoFS实战演示
为了解决这些问题，您可以将HDFS中的热数据保留，将冷数据归档到OSS中，实现存储与计算分离。本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问...
冷热分离介绍
Lindorm会根据时间戳、自定义时间列和冷热分界线，自动将数据存储在热存储或冷存储中。新写入数据最初会保存在热存储上，随着时间的推移分批向冷存储迁移。在访问方式上，冷热分离表和普通表几乎没有任何差异，操作简单且易上手。在查询的...
时序数据生命周期
当要实现自动清理时序表中的历史数据时，您可以使用数据生命周期（TTL）功能有效地管理时序数据，减少数据存储空间，降低存储成本。配置TTL后，如果希望延长数据保存时间，您可以修改TTL。注意事项 数据清理后无法恢复，请谨慎操作。通过...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
计费常见问题
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由DBS提供，您可确认下该备份计费项是否因为您使用了上述产品的备份恢复服务所产生...
一键创建OSS数据仓库
数据位置 建仓时，RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据在OSS中的详细存储地址。系统将自动拉取与DLA同地域的OSS Bucket。根据业务需要，选择Bucket和Object。使用一键建仓功能时，DLA需要有删除OSS数据的权限，...
- 产品推荐
- 这些文档可能帮助您