数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
测试数据构建
RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
OSS数据离线同步至MaxCompute
Region和Endpoint对照表请参见 访问域名和数据中心。添加数据源 新建OSS数据源 在DataWorks 数据源管理 页面，单击 新建数据源，根据界面提示新建OSS数据源。OSS数据源支持 RAM角色授权模式 与 Access Key认证模式 两种方式：Access key...
OSS数据离线同步至MaxCompute
Region和Endpoint对照表请参见 访问域名和数据中心。添加数据源 新建OSS数据源 在DataWorks 数据源管理 页面，单击 新建数据源，根据界面提示新建OSS数据源。OSS数据源支持 RAM角色授权模式 与 Access Key认证模式 两种方式：Access key...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
JindoFS实战演示
Flume高效写入OSS Flume高效写入OSS 2021-06-01 Flume是一个分布式、可靠、高可用的系统，支持从不同数据源高效地收集、聚合、迁移大量日志数据，聚合到中心化的数据存储服务，被广泛用于日志收集场景中。由于OSS本身不支持Flush功能，而...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
MaxCompute近实时增全量一体化架构介绍
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
轨迹层
数据分级：根据数据中的value字段值大小划分（自然分割）成2~7个数据大小级别，解决value值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。单击 ...
同步方案概览
建议使用高速通道（Express Connect）或智能接入网关SAG（Smart Access Gateway）将本地数据中心和云上专有网络打通，然后通过 专线/VPN网关/智能网关 的接入方式将自建数据库接入DTS。更多信息，请参见 连接本地IDC。云企业网CEN 源为自建...
迁移方案概览
建议使用高速通道（Express Connect）或智能接入网关SAG（Smart Access Gateway）将本地数据中心和云上专有网络打通，然后通过 专线/VPN网关/智能网关 的接入方式将自建数据库接入DTS。更多信息，请参见 连接本地IDC。云企业网CEN 源为自建...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
新零售：特步
对访问量和数据量较大的业务中心，例如订单中心，PolarDB-X 采用了水平拆分的方式，结合弹性升降配和平滑扩容使数据库具备了100 TB数据存储的能力、10万TPS、百万QPS的支撑能力，可以支撑特步扩展业务至当前业务量的5~10倍。从数据的实时性...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
数据防泄漏典型案例
使用数据安全中心可以监测和防范各类数据泄露风险，例如身份盗用、越权操作、违规操作、操作失误、基础设施缺陷以及数据故意泄密等。检测到异常行为并触发异常告警后，您需要仔细分析审计日志，从而评估被记录操作的正当性，并采取相应的...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
集成概览
本文为您介绍 数据安全中心 支持的集成方案。OpenAPI集成 数据安全中心 提供敏感数据识别、异常事件脱敏等功能的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 版本号 说明 2019-01-03 ...
添加体验空间数据库
在 数据中心 页面下方，单击数据库列表的 体验空间。在体验空间模块，单击右上角的 上传数据，打开上传数据文件窗口。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON...
产品计费
数据安全中心DSC（Data Security Center）采用包年包月（预付费）的计费方式。本文介绍 DSC 的计费情况。新用户7天免费试用 数据安全中心支持7天免费试用企业版（含全部功能）。阿里云账号和RAM用户均可申请免费试用，且申请时需要使用中文...
【通知】控制台全新升级
为了提供更好的数据安全服务使用体验，从2022年07月29日起，阿里云数据安全中心控制台全新升级，基于感知、治理到防护的业务逻辑，助力企业建立标准化数据安全管理流程、提升数据安全治理效率。本文介绍本次控制台升级主要的功能变更和如何...
产品更名公告
为了帮助阿里云用户更好地应对不断加剧的数据安全挑战，2021年01月28日，阿里云整合敏感数据保护（SDDP）等产品提升了数据安全防护能力，正式发布数据安全中心。原产品名称由敏感数据保护（SDDP）正式变更为数据安全中心（DSC）。如给您...
【通知】发布存储管理模块及调整相关计费
尊敬的阿里云用户：阿里云数据安全中心将于北京时间2023年04月20日18:00发布存储管理模块，并支持售卖日志存储容量。在北京时间2023年04月20日18:00后，数据安全中心企业版用户将可以使用日志存储管理功能及扩容日志存储容量，日志存储容量...
服务协议
数据安全中心服务条款
应用场景
云数据库Cassandra可以很容易添加新的数据中心，不同的数据中心可以设定不同的副本数，既可以作为跨数据中心多活高可用，也可以作备份容灾或离线分析使用。业务灵活多变 云数据库Cassandra的数据模型灵活，对表结构的变更是一个非常轻量级...
知识库
DataWorks数据治理中心的知识库为您汇总了常见治理项问题及检查项事件的解决方案，您可以参考所给方案自主排查并处理相应待治理问题。本文为您介绍知识库的相关内容。背景信息 在数据治理中心的 治理工作台，您可以查看当前租户下存在的...
- 产品推荐
- 这些文档可能帮助您