DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。...① 数据取回费用中的数据是从底层分布式存储系统读取的数据量，在公网传输的数据量会计入到流出流量的计费项中。
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
管理数据
步骤二：为数据域添加资产 数据安全中心支持系统默认的数据域和用户自定义的数据域，未添加至任何数据域的资产都属于默认数据域。一个资产只能划分至一个数据域。参考以下步骤为数据域添加资产。在左侧数据域列表，单击要添加资产的数据域...
自动快照概述
自动快照功能通过自动快照策略实现，可以为数据库文件系统周期性地创建快照备份数据，合理利用自动快照能提高数据安全和操作容错率。应用场景 自动快照策略可以在预设的时间点周期性地创建快照，保护文件系统数据，是系统安全性和容错率的...
后续指引
用户规划与管理 角色规划 MaxCompute权限 Package的权限控制 Label权限控制 安全管理 项目、数据安全 MaxCompute提供项目及数据的安全保护机制，例如动态脱敏、数据加密等。介绍：安全参数列表 数据保护机制 动态脱敏 备份与恢复 存储加密 ...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
高级管理
PolarDB-X 1.0 SQL审计与分析支持高级管理，您可以通过高级管理跳转到日志服务控制台，修改SQL日志的存储时间、对SQL日志进行实时订阅与消费、数据投递和对接其他可视化等高级操作。开启SQL日志审计 后，在当前页面右上角单击 高级管理 ...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
X-Engine最佳实践
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
基于Delta lake的一站式数据湖构建与分析实战
数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统SLS、NoSQL存储HBase、消息数据库Kafka等。其中大部分的在线存储都面向在线事务型业务，并不适合在线分析的场景，所以需要将数据以无侵入的方式同步至成本...
SQL Server逻辑备份
备份目标信息 备份目标存储类型 存放备份数据的存储类型，支持的选项：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。用户OSS：您需要提前在OSS中创建...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
PolarDB MySQL版逻辑备份
备份目标信息 备份目标存储类型 存放备份数据的存储类型，支持的选项：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。用户OSS：您需要提前在OSS中创建...
DescribeOssObjectDetailV2-查询OSS存储对象的详细...
调用本接口查询数据安全中心连接授权的OSS的单个存储对象的详细信息。接口说明 本接口一般用于对 OSS 存储对象详细信息的查询，便于对 OSS 敏感资产信息准确定位。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
API概览
安全访问代理 安全访问代理 CreateProxy 开启数据安全访问 调用CreateProxy接口，开启实例的数据安全访问功能。DeleteProxy 关闭安全访问代理 关闭实例的安全访问代理。ListProxies 获取安全访问代理列表 获取安全访问代理列表。GetProxy ...
产品优势
可靠的数据安全治理 安全可信：内置阿里巴巴最新研发规范，规避无主键等不合理设计带来潜在风险。目前支持200多种设计及审核规范，可按需调整。全方位细粒度安全管理：支持实例、库、表、数据列、数据行级权限管理，可按需分配查询、导出、...
自动备份MongoDB数据
说明 建议您将备份频率设置为至少2次/周，确保数据的可靠恢复，提高数据安全性，也可以在极端情况下减少数据恢复时间。日志备份 选择是否需要打开 日志备份 开关，默认打开。打开：会将Oplog日志实时上传至对象存储（OSS），并纳入计费范围...
基本概念
实例所占用的磁盘容量除集合数据外，还有实例正常运行所需要的空间，如系统数据库、数据库回滚日志、重做日志、索引等。请确保云数据库MongoDB实例具有足够的磁盘容量来存储数据，否则可能导致实例被锁定。若因磁盘容量不足导致实例被锁定...
管控模式
需要保障数据库实例的数据安全。需要对研发、变更流程强管控。需要企业合规管理。安全协同实例默认开启安全托管，可免密登录。计费方式 管控模式 费用说明 自由操作 永久免费 稳定变更和安全协同 会产生费用，付费模式支持包年包月和按量...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
DescribeInstances-查询数据资产实例列表
123 Id long 数据安全中心服务中记录的数据资产实例的唯一标识 ID。11111 ProductCode string 数据资产实例所属产品的名称，包括 MaxCompute、OSS、RDS 等。关于支持的具体产品名称，请参见 支持识别敏感数据的数据类型。RDS ModelTags ...
常见问题
数据安全与保护 数据存储在OSS上安全吗？OSS本身是非常安全的。创建完成后，只有资源所有者才能访问其OSS资源。OSS提供用户身份验证，以控制对数据的访问。您可以使用各种访问控制策略，例如存储空间级别和文件级别的访问控制列表（ACL），...
应用场景
解决方案：数据同步：通过数据同步功能，将不同业务系统数据汇聚到统一的存储计算引擎，实现数据的初步融合。数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准...
跨境SaaS:深圳市易仓科技有限公司
易仓科技通过将运营系统数据同步至自建Clickhouse系统，以满足客户复杂的查询分析诉求。但是这种OLTP+OLAP独立的架构存在数据同步中断、实时性差、性能瓶颈、管理复杂等问题。PolarDB HTAP能力让用户可以在一套 PolarDB 数据库上同时运行...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
基本概念
创建通用型NAS（包括：容量型、高级型和性能型）文件系统后，数据都会直接存储在标准存储空间，如果需要将数据转储至低频存储或归档存储，则需要为其配置生命周期策略。低频存储 低频存储是通用型NAS的一个低成本数据存储池，适合存储每个...
空间管理
是否系统库 数据库是否为SQL Server的系统数据库。单击表格最左侧+按钮，系统将会展开对应数据库，可以查看数据库文件详情。详细参数说明如下。参数 说明 数据库名 数据库的名称。文件组 文件所在的文件组名。说明 日志文件没有文件组，...
数据存储
根据采集到的不同数据类型，AnalyticDB采用不同的后台存储系统来进行监控数据的存储。时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有...
数据查询
使用限制 为确保数据安全，本系统每次查询最多返回100条数据。ROW 字段对应Lindorm的RowKey，ROW 和 qualifier 都是varbinary类型，qualifier 如果不属于family，需要指定family。ROW 和 COL 是SQL保留字段，查询时需要加反引号（`）。...
方案分析
在开源方案中，通常会在选择了关系型数据库作为存储系统的基础上，选择开源Redis，这样既能覆盖上述的几个特征，还能保证Feed流系统正常运行起来，但是也会带来一些其他问题：表格存储 Redis 存储成本 磁盘性数据库，费用比内存性的要低几...
大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...
配置跨库Spark SQL节点
示例：某电商企业的交易数据保存在MySQL在线库中，而员工数据保存在HR系统中，系统使用的数据库为Oracle，当企业需要按部门统计销售额时，需要对部门、员工和交易数据进行关联查询。以下Spark SQL语句可以实现将mysql_db在线库的交易流水表...
数据加密
为了保证表数据安全，表格存储 提供了数据落盘加密功能。您可以在创建数据表时配置数据表加密。背景信息 创建数据表时默认不加密，如果要配置数据表加密，需要在创建数据表时配置加密相关参数。表格存储 提供基于密钥管理服务（Key ...
- 产品推荐
- 这些文档可能帮助您