安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
文件系统存储类型
应用场景 低频存储 Web内容管理 大多数Web内容管理系统主要用来承载各类数据的上传下载任务，例如WordPress、FTP服务、IIS内容管理等，后端通常使用共享文件系统作为数据存储。随着业务增长和时间推移，大量数据访问频率降低变为冷数据。...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
内置全密态能力
PolarDB PostgreSQL版（兼容Oracle）提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。全密态云数据库是达摩院数据库与存储实验室的自研产品，可以...
对象存储优化
了解数据详细信息 存储空间清单 可以帮助您更好地了解对象的状态，简化并加速工作流和大数据作业任务等。存储空间清单功能以周为单位，对您存储空间内的对象进行扫描，扫描完成后会生成CSV格式的清单报告，并存储到您指定的存储空间内。在...
查看审计日志
审计日志记录了数据库活动的详细信息，通过查看审计日志，您可以跟踪潜在的恶意行为或未授权访问、调查安全事件原因。审计日志也可以帮您满足合规要求。本文介绍如何查看审计日志。前提条件 需要查看日志的数据资产类型在安全审计功能支持...
计算与分析概述
表格存储 多元索引 宽表模型 多元索引 多元索引基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求，以及求最值、统计行数、数据分组等数据分析需求时，...
JindoFS实战演示
如何将HDFS海量文件归档到OSS 如何将HDFS海量文件归档到OSS 2021-05-18 如果您的数据存储在HDFS集群内，随着业务的发展，数据不断增长，可能导致存储空间不足、存储成本不断上升等问题，此时您可以将访问频率较低的HDFS数据归档到OSS中。...
安全操作
MaxCompute提供项目数据保护机制，为数据安全提供保障。本文为您介绍常用安全操作命令。安全操作常用命令如下。详细安全相关操作请参见 安全参数列表。类型 功能 角色 操作入口 开启项目数据保护 开启项目的数据保护机制。项目Owner或授予...
使用冷存储
阿里云HBase针对冷数据存储的场景，提供一种新的冷存储介质，其存储成本仅为高效云盘的1/3，写入性能与云盘相当，并能保证数据随时可读。背景信息 用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间，并通过建表语句指定将冷...
背景
如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，即开即用，按量付费 表格存储是阿里云上唯一一个Serverless的数据库，无需预定任何资源搭建服务，只需按使用量付费，简单易用，满足不同行业的大数据需求。...
概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了...
管理Logstore
数据热存储至少7天后才能转为低频存储，数据热存储至少30天后才能转为归档存储，数据低频存储至少30天后才能转为归档存储，详细信息，请参见 数据存储生命周期管理。数据热存储、低频存储及归档存储相关费用，请参见 计费项。Shard数目 ...
管理白名单
登录 数据安全中心控制台。在左侧导航栏，单击 系统设置。在 系统设置 页面，单击 白名单 页签。在 白名单 页签，单击 新增白名单。在 新增白名单 对话框，完成参数配置，并单击 确定。支持为账号、IP地址、IP段、账号和IP地址、账号和IP段...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
什么是文件存储 HDFS 版
文件存储 HDFS 版和对象存储OSS双向数据迁移 文件存储 HDFS 版和数据库MySQL双向数据迁移 迁移开源HDFS的数据到文件存储 HDFS 版 产品定价 文件存储 HDFS 版 计量项包括标准吞吐、预置吞吐，计费方式支持按量付费方式。详细的计费规则，请...
数据授权
您授权允许 数据安全中心（DSC）访问MaxCompute、RDS和对象存储OSS数据时，可能会出现授权失败的情况。您可以参考以下原因排查数据授权问题。RDS连接授权失败有哪些原因？RDS数据库账号或密码输入错误。您自行删除了RDS访问白名单中 DSC ...
配置邮件报告
数据安全中心（Data Security Center，简称DSC）支持邮件报告功能。您可通过创建周报或月报，周期性地向指定邮箱发送您所有资产数据和敏感数据的统计图表，以便您及时掌握资产的安全状况。本文介绍如何创建邮件报告。创建邮件报告 登录 ...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
通过DSC实现DMS数据分类分级
数据安全中心DSC（Data Security Center）支持从数据合规和业务需求等多角度对数据价值、属性、敏感性进行分类分级，以便企业针对不同数据进行更标准更细粒度的保护和风险调控。数据管理DMS（Data Management）是覆盖数据全生命周期的一站...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
数据存储量
表格存储对单表数据存储量没有限制，用户可以根据自己的实际需求使用，按量付费。说明 表格存储会异步对各个数据分区过期的数据及超过最大版本号的版本数据进行清理操作，并在清理操作完成后统计该数据分区数据量。清理时长与总数据量相关...
修改备份计划内的备份策略
如果您需要调整正在运行中的备份计划的备份策略，例如全量备份的频率、备份数据存储池或备份数据保留时间等配置项，您可以在该备份计划的备份策略页面中修改并使其生效。背景信息 备份策略提供了数据源在进行备份操作时（如全量备份、增量...
设置数据保留策略
InfluxDB的数据保留策略可以定义数据在InfluxDB中保存时间，本文介绍如何设置数据保留策略。前提条件 已创建数据库。具体操作，请参见 创建数据库。数据保留策略介绍 InfluxDB可以通过定义数据保留策略，用来控制存储数据量的方式。新创建...
配置脱敏模板和算法
数据安全中心（Data Security Center，简称DSC）支持配置脱敏模板和脱敏算法。您可以将使用频率较高且应用场景相同的脱敏算法配置在同一个脱敏模板中，并在配置静态脱敏规则时使用已有模板，提高配置脱敏规则的效率。本文介绍如何配置脱敏...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
功能优势
为了让您对非结构化数据拥有更多的自主控制权，您可以把非结构化数据保存在OSS或者图片服务器上（下图使用OSS），非结构化数据的保存地址即URL存储在分析型数据库MySQL版中，整体架构如下所示。通过分析型数据库MySQL版控制台注册特征提取...
使用MaxCompute控制台（离线）
基于阿里云对象存储OSS上传数据时，需满足以下条件：已开通OSS并创建Bucket，将待上传数据存储至OSS Bucket中。详情请参见 创建存储空间 和 上传文件。已为操作数据上传的阿里云账号授予可访问目标Bucket的权限，详情请参见 访问控制概述。...
水印使用限制
数据源嵌入水印时有以下使用限制。...在数据安全中心控制台配置任务，将A表中的数据嵌入水印后写到B表，不会修改A表数据，仅影响写入B表的数据。嵌入水印后的数据有一部分会与原始值不同。支持空格算法和最低有效位算法。
分层存储
您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，实现数据的冷热分层，以降低数据存储费用。申请开通使用 目前分层存储处于邀测阶段，如需您需要使用此功能，请单击 申请开通，在 新功能试用申请 页面申请...
创建通用项目
全局安全设置 安全设置是您可以对数据安全及访问进行精细化控制、对Spark任务的开关及鉴权模式的设置，来保障数据的安全性。更多信息，请参见 安全设置。数据结果下载（下载审批）Dataphin支持业务数据下载，您可对项目级数据是否可下载...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
创建通用项目
安全设置 全局安全设置 安全设置是您可以对数据安全及访问进行精细化控制、对Spark任务的开关及鉴权模式的设置，来保障数据的安全性。更多信息，请参见 安全设置。数据结果下载（下载审批）Dataphin支持业务数据下载，您可对项目级数据是否...
功能特性
安全控制 文件存储 HDFS 版 具有文件系统标准权限控制、权限组访问控制和RAM用户认证等多种安全机制，从而保证文件系统数据安全万无一失。线性扩展 文件存储 HDFS 版 能够为应用负载提供高吞吐量、高IOPS及低时延的存储性能。同时，其性能...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks ...
配置识别模板
数据安全中心为不同行业（例如金融、能源、汽车行业）提供了识别敏感数据的解决方案，即内置的识别模板。使用识别模板可以检测您资产中是否存在敏感数据。您可以直接使用内置的识别模板，也可以基于内置模板自定义识别模板。本文介绍如何...
- 产品推荐
- 这些文档可能帮助您