配置自定义Topic数据存储
通过数据存储的时序数据存储规则功能，可将指定的自定义Topic数据流转到时序数据存储空间进行存储。本文介绍如何通过配置时序存储规则，将自定义Topic数据存储到时序存储空间中。前提条件 当前实例为标准型或尊享型企业版实例，并已购买...
关闭或开启物模型数据存储
在 时序存储 页签下的 存储规则 页签，单击 物模型数据存储规则 后 数据备份 列的 跳转开启，跳转到 数据接入>设备 页面，您可以手动开启相应 产品的数据备份，选择费用更低的 离线存储。后续步骤 如果需要配置物模型数据的存储时效和IOPS...
时序数据存储概述
设备时序数据包括设备上报的物模型（属性、服务和事件）数据和通过时序数据存储规则配置的自定义Topic数据。本文介绍时序数据存储的相关概念和使用。相关概念 名词 说明 时序数据存储IOPS 每秒写入和读取的所有数据的行数之和。说明 一个...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
快速玩转Tablestore入门与实战
通道服务：表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大...
文件系统存储类型
在创建文件系统后，文件系统数据首先存储在标准存储中，然后才能使用生命周期策略将数据转储至低频存储或归档存储。更多关于通用型NAS标准存储的信息，请参见 通用型NAS。低频存储：提供高持久性、较低存储成本的文件存储服务。支持数据...
PutBucketReplication
PutBucketReplication接口用于为存储空间（Bucket）指定数据复制规则。OSS支持跨区域复制（Cross-Region Replication）和同区域复制（Same-Region Replication）。注意事项 数据复制是以异步（近实时）方式将源Bucket中的文件（Object）...
行业趋势与背景
在这种需求下，大规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化...
管理问题数据
背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间：根据当前表所...
实时数据订阅概述
云原生多模数据库 Lindorm 支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的...通过Pull模式创建数据订阅通道的订阅数据默认保存7天，与Lindorm共享底层的LDFS存储空间，因此您在开启数据订阅功能前需要先确认有充足的存储空间。
通用型NAS计费
注释②：读写数据流量说明 文件系统中的数据符合低频存储规则或归档存储规则后将自动转储至低频存储或归档存储，不产生写流量费用。访问归档存储或低频存储的文件时，按照实际产生的读写流量计费。如果只读取文件的一部分，则按照读取的...
转换存储类型
启动生命周期规则后，将按照配置的生命周期规则转换数据存储类型或删除数据。禁用生命周期规则后，将中断生命周期任务。策略 选择生命周期规则作用的Object。您可以选择 按前缀匹配 或 配置到整个Bucket。说明 选择按前缀匹配时，需要填写...
配置过滤规则
即保存规则后，数据库审计系统不审计全部资产中来自该IP地址的请求，建议您谨慎配置IP过滤规则。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 规则配置>过滤规则。在 按IP过滤 页签，单击 新增。在 新增...
开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。说明 各存储类型的定价，请参见 OSS产品定价。各存储类型的计费方式，请参见 存储费用。标准存储（Standard）提供高可靠、高...
风险识别管理（旧版）
9 规则所属的操作类型 规则项>导出方式 取值包括：全部导出方式 Tunnel下载 表访问 基本信息>规则类型 取值包括：数据访问风险 数据导出风险 数据操作风险 其他 10 规则生效的表 规则项>表名 规则定义>条件设置 区域，选择条件 选择 数据...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
数据存储
时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有一个独立的时序数据库进行服务，只保存当前AnalyticDB实例的时序数据。日志数据存储 ...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
数据脱敏
通过配置数据脱敏规则，您可以脱敏审计日志中的银行卡号、手机号码、身份证号等敏感信息，防止在SQL语句或返回结果中泄漏敏感数据。本文介绍如何配置数据脱敏规则。背景信息 数据库审计系统提供10条内置的数据脱敏规则，并默认启用所有内置...
规则概述
数据库审计系统提供规则配置功能，您可以根据客户端、服务端、SQL语句等特征自定义检测规则，数据库审计系统将针对不同类型规则执行是否审计或上报告警。规则说明 规则名称 应用场景 说明 过滤规则 无需审计部分SQL报文，希望节省存储空间...
功能特性
湖仓版（3.0）产品定价 存储空间 集群使用过程中，存储数据会占用一定的空间，包括热数据存储空间和冷数据存储空间，并按照实际使用的空间按量计费，您无需预分配存储空间大小。湖仓版（3.0）产品定价 数仓版 基础资源 数仓版集群的基础...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
库表结构优化
迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该数据表的查询时间会变长。索引优化 分析数据索引的使用情况，对长期未使用的数据索引，建议将其删除，以降低数据索引的存储成本。数据库利用索引...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
配置安全规则
本文介绍了在云盾数据库审计系统中为数据库配置安全规则的具体操作。前提条件 已添加数据库。关于添加数据库的具体操作，请参见 添加数据库。背景信息 将数据库添加到数据库审计系统后，您可以为数据库配置安全规则。当审计记录命中配置并...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
计费项概览
存储空间 存储空间是指数据文件、索引文件、日志文件（在线日志和归档日志）和临时文件等占用的空间。被占用的存储空间会产生费用。存储空间的费用与数据量大小和存储时长有关。按容量计费（按量付费）+存储包 按容量计费（按量付费）按...
计费项概览
存储空间 存储空间是指数据文件、索引文件、日志文件（在线日志和归档日志）和临时文件等占用的空间。被占用的存储空间会产生费用。存储空间的费用与数据量大小和存储时长有关。按容量计费（按量付费）+存储包 按容量计费（按量付费）按...
配置语句规则
语句规则是针对SQL模板所设置的规则，可以基于安全规则帮助您更好地细化业务规则。本文介绍如何管理数据库的语句规则。背景信息 添加语句规则后，您可以做如下操作：在语句规则页面启用或禁用语句规则。当规则为告警审计时，审计记录命中...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
通过控制台使用分析存储
在 表格存储 控制台创建时序模型实例后，您可以在实例下创建分析存储并使用SQL查询时序数据。注意事项 时序分析存储功能将从2023年12月20日正式开始收费。目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
- 产品推荐
- 这些文档可能帮助您