基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
应用场景
并且一旦出现数据安全问题，线上业务将无法进行。随着数据恢复时间的增加，造成的损失也会越大。数据库备份DBS提供的应急恢复功能，将自动获取备份集并合成快照点，可按需在短时间内恢复出（即创建）一个新的DBS沙箱实例。您可以在DBS沙箱...
配置脱敏模板和算法
数据安全中心（Data Security Center，简称DSC）支持配置脱敏模板和脱敏算法。您可以将使用频率较高且应用场景相同的脱敏算法配置在同一个脱敏模板中，并在配置静态脱敏规则时使用已有模板，提高配置脱敏规则的效率。本文介绍如何配置脱敏...
配置邮件报告
数据安全中心（Data Security Center，简称DSC）支持邮件报告功能。您可通过创建周报或月报，周期性地向指定邮箱发送您所有资产数据和敏感数据的统计图表，以便您及时掌握资产的安全状况。本文介绍如何创建邮件报告。创建邮件报告 登录 ...
功能特性
账本数据访问 经过数据授权，业务合约发出跨链数据访问请求，通过跨链寻址的方式，将跨链网络上对应的区块链上的数据安全可靠、不可篡改地返回给请求者。合约消息推送 用户可以授权其他区块链的指定合约，推送跨链合约消息，经过跨链寻址，...
访问控制
RDS通过多维度进行访问控制，保证数据安全。RDS提供如下两种方式创建数据库账号：通过RDS控制台或者API来 创建普通数据库账号，并设置数据库级别的只读、读写、DDL、DML权限。如果您需要更细粒度的权限控制，例如表、视图、字段级别的权限...
API概览
服务关联角色 API 标题 API概述 CreateSlrRole 创建服务关联角色 调用CreateSlrRole创建数据安全中心DSC（Data Security Center）的服务关联角色，授权DSC访问云资源。授权 API 标题 API概述 DeleteDataLimit 删除数据资产扫描授权 调用本...
访问控制
RDS通过多维度进行访问控制，保证数据安全。RDS提供如下两种方式创建数据库账号：通过RDS控制台或者API来 创建普通数据库账号，并设置数据库级别的只读、读写、DDL、DML权限。如果您需要更细粒度的权限控制，例如表、视图、字段级别的权限...
访问控制
RDS通过多维度进行访问控制，保证数据安全。RDS提供如下两种方式创建数据库账号：通过RDS控制台或者API来 创建普通数据库账号，并设置数据库级别的只读、读写、DDL、DML权限。如果您需要更细粒度的权限控制，例如表、视图、字段级别的权限...
访问控制
RDS通过多维度进行访问控制，保证数据安全。RDS提供如下两种方式创建数据库账号：通过RDS控制台或者API来 创建普通数据库账号，并设置数据库级别的只读、读写、DDL、DML权限。如果您需要更细粒度的权限控制，例如表、视图、字段级别的权限...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
访问控制
RDS通过多维度进行访问控制，保证数据安全。RDS提供如下两种方式创建数据库账号：通过RDS控制台或者API来 创建普通数据库账号，并设置数据库级别的只读、读写、DDL、DML权限。如果您需要更细粒度的权限控制，例如表、视图、字段级别的权限...
产品安全能力
PolarDB 产品的安全能力可以从访问安全、数据传输安全、数据安全、数据脱敏和安全审计5个方面体现。访问安全 PolarDB 提供的集群白名单功能实现了集群访问安全，集群白名单功能包括集群IP白名单和安全组，创建 PolarDB MySQL版 集群后，您...
服务支持
DataV-Board 数据看板 DataV-TwinFabric 孪生仿真 DataV-Atlas 可视分析地图 DataV-Card 可视分析创作间 常见问题 DataV-Board 数据看板 配置项常见问题 组件使用常见问题 账号配置常见问题 视频流接入常见问题 数据源配置常见问题 ...
数据容灾解决方案
为进一步满足业务场景中高可靠性和数据安全需求，云数据库MongoDB版提供了同城容灾和异地容灾两种解决方案，您可以根据业务需求来选择。同城容灾 说明 单节点实例不支持同城容灾，您可以将数据迁移至MongoDB 4.2及以下版本的副本集或分片...
高安全性
云数据库RDS提供多种安全措施，保证您的数据安全。防DDoS攻击 当您通过外网连接和访问RDS实例时，可能会遭受DDoS攻击。当RDS安全体系认为RDS实例正在遭受DDoS攻击时，会首先启动流量清洗功能，如果流量清洗无法抵御攻击或者攻击达到黑洞...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
数据加密
全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以利用该规格为用户提供基于可信执行环境（Trusted Execution Environment，简称TEE）的数据安全保护。此时，全密态功能支持对密文数据进行...
数据加密
全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以利用该规格为用户提供基于可信执行环境（Trusted Execution Environment，简称TEE）的数据安全保护。此时，全密态功能支持对密文数据进行...
数据加密
全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以利用该规格为用户提供基于可信执行环境（Trusted Execution Environment，简称TEE）的数据安全保护。此时，全密态功能支持对密文数据进行...
数据加密
全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以利用该规格为用户提供基于可信执行环境（Trusted Execution Environment，简称TEE）的数据安全保护。此时，全密态功能支持对密文数据进行...
数据加密
全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以利用该规格为用户提供基于可信执行环境（Trusted Execution Environment，简称TEE）的数据安全保护。此时，全密态功能支持对密文数据进行...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
水印使用限制
数据安全中心支持静态脱敏的数据源，均支持嵌入水印。支持静态脱敏的数据源类型，请参见 支持的数据类型。对待嵌入水印的源数据有什么要求？由于嵌入水印的原理是将水印原子信息嵌入到不同特征的数据中去，因此源数据特征越多，越能嵌入...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
通过DSC实现DMS数据分类分级
数据安全中心DSC（Data Security Center）支持从数据合规和业务需求等多角度对数据价值、属性、敏感性进行分类分级，以便企业针对不同数据进行更标准更细粒度的保护和风险调控。数据管理DMS（Data Management）是覆盖数据全生命周期的一站...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
配置识别模板
数据安全中心为不同行业（例如金融、能源、汽车行业）提供了识别敏感数据的解决方案，即内置的识别模板。使用识别模板可以检测您资产中是否存在敏感数据。您可以直接使用内置的识别模板，也可以基于内置模板自定义识别模板。本文介绍如何...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
安全责任共担
Dataphin安全责任 Dataphin负责产品及Dataphin负责部署的组件的安全，并提供保护数据安全的技术手段。及时发现产品及部署的组件的安全漏洞并修复。通过与外部第三方独立安全监管与审计机构合作，对Dataphin产品进行安全合规与审计评估。...
管理数据安全待发布对象
导入的发布包文件中存在数据安全的变更对象时，将在数据安全待发布页面为您展示，您可对数据安全对象进行管理和发布。数据安全待发布对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 数据安全 页签，进入 数据安全 待发布...
管理数据安全待发布对象
导入的发布包文件中存在数据安全的变更对象时，将在数据安全待发布页面为您展示，您可对数据安全对象进行管理和发布。数据安全待发布对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 数据安全 页签，进入 数据安全 待发布...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
授权DSC访问云资源
使用 数据安全中心DSC（Data Security Center）服务前，您需要先完成允许 DSC 访问云资源的授权。本文档介绍如何进行云资源授权。前提条件 您已购买 DSC 实例。背景信息 您购买 DSC 实例后，首次登录 DSC 控制台时，概览页面会提示您执行云...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
补数据
本文为您介绍补数据的相关问题。补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况...
自定义检测模型
数据安全中心DSC（Data Security Center）的自定义检测模型功能支持用户根据业务需求和安全策略来创建特定的数据检测和告警规则，帮助用户实现数据库活动精细化监控、风险预警，从而保障数据资产不受威胁。本文介绍如何创建自定义检测模型...
设置白名单
在左侧导航栏，选择 数据安全性。在 白名单设置 页面，单击 修改。在弹出的 设置白名单分组 对话框 组内白名单 右侧的输入框中，填写允许访问图数据库GDB实例的IP地址。说明 支持如下格式的IP地址或IP地址段。单个IP地址，例如10.23.12.24...
- 产品推荐
- 这些文档可能帮助您