安全操作
MaxCompute提供项目数据保护机制，为数据安全提供保障。本文为您介绍常用安全操作命令。安全操作常用命令如下。详细安全相关操作请参见 安全参数列表。类型 功能 角色 操作入口 开启项目数据保护 开启项目的数据保护机制。项目Owner或授予...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
应用场景
通过对敏感数据进行分类、分级和脱敏，帮助您精准识别和保护敏感数据。...数据安全合规检查 应相关监督部门的数据安全合规检查要求，可通过 DSC 提供的数据安全的分类分级、泄漏检测、数据脱敏等功能对数据进行相关合规检查。
什么是消息路由
通过消息路由，可实现对数据路由的灵活控制和提高数据安全性。IoT边缘计算基于消息路由，将数据在设备、函数计算应用、IoT Hub之间进行流转。支持同时存在多条路由路径。目前支持以下几种消息路由路径：设备至函数计算应用。设备至流数据...
皮尔森相关系数CORR
在联邦学习任务中，CORR是通过联邦建模来实现的，可以保证数据的安全前提下，计算对应两方数据的CORR值。在CORR计算完成后，用户可以右键组件，选择【查看节点数据报告】，来查看数据的CORR计算报告。组件截图 二、参数说明 字段设置 参数...
服务协议
数据安全中心服务条款
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
特征稳定性PSI
在联邦学习任务中，PSI是通过联邦建模来实现的，可以保证数据的安全前提下，计算对应两方数据的PSI值。在PSI计算完成后，用户可以右键组件，选择查看节点数据报告，来查看数据的PSI值。组件截图 二、参数说明 参数名称 参数说明 选择特征...
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
元数据仓库共享模型标准访问方式
若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。本文将指导您如何进行配置。操作步骤 创建元仓项目数据源。在业务租户中，将元仓项目的计算源创建为...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
查看账单详情
上图中，产品明细说明如下：大数据计算服务MaxCompute（按量付费）、消费类型为 后付费：指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总，包括存储、计算、公网下载的按量计费账单。大数据计算服务...
水印使用限制
数据源嵌入水印时有以下使用限制。...在数据安全中心控制台配置任务，将A表中的数据嵌入水印后写到B表，不会修改A表数据，仅影响写入B表的数据。嵌入水印后的数据有一部分会与原始值不同。支持空格算法和最低有效位算法。
查看审计日志
审计日志记录了数据库活动的详细信息，通过查看审计日志，您可以跟踪潜在的恶意行为或未授权访问、调查安全事件原因。审计日志也可以帮您满足合规要求。本文介绍如何查看审计日志。前提条件 需要查看日志的数据资产类型在安全审计功能支持...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
方差膨胀系数VIF
在联邦学习任务中，VIF是通过联邦建模来实现的，可以保证数据的安全前提下，计算对应两方数据的VIF值。在VIF计算完成后，用户可以右键组件，选择查看节点数据报告，来查看数据的VIF值。组件截图 二、参数说明 参数名称 参数说明 选择特征...
审计配置
在使用 数据安全中心DSC（Data Security Center）提供的安全审计功能前，您需要先完成审计配置。DSC 根据您配置的审计模式采集审计日志，并根据已开启的审计规则上报审计告警。本文介绍如何进行审计配置。前提条件 已购买 DSC 企业版。具体...
入门概述
NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及AI训练PAI等计算业务上，为您提供高性能的共享存储服务。您无需修改应用程序，即可...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
数据分析：即时快速分析
功能概述 数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。适用场景 适合更多非专业数据开发人员，如数据分析、产品、运营等工作...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
2023年
2023-06-27 全部地域 MaxCompute JSON类型使用指南（试用Beta版本）增强数据写入时Zorder功能 MaxCompute增强Zorder功能，支持数据写入时全局进行统一排序，减少数据扫描量，提高计算性能。2023-06-27 全部地域 插入或覆写数据（INSERT ...
升级和降配
如果您购买的MaxCompute包年包月资源无法满足或者超过您的业务计算量需求，需要购买更多资源以支撑业务需求或者降低资源以减少费用，您可以通过相应的资源升级和资源降配操作进行规格变配。背景信息 您在使用MaxCompute产品过程中，如果...
计量计费
计算时数量的计算规则如下：计算时数量=max(CPU Core数量×时长,内存×时长/4)例如1小时消耗了2 个CPU Core和5 GB内存，则计算时数量为：计算时数量=max(2×1,5×1/4)=2 账单金额为：账单金额=计算时数量×单价 本例中账单金额为：2（计算...
NVMe协议介绍
数据共享 NVMe最简单的应用场景为数据共享，当数据被写入云盘后，其他节点均可以访问该数据，从而有效节省成本并提升读写性能。例如云上容器镜像场景，同一套系统的镜像通常类似，这样一份镜像可以被多个不同实例读取加载。高可用故障转移 ...
基础概念
语法详述见 功能概览 使用过程中请注意：iGraph Gremlin语法与开源使用差异 其他相关服务 MaxCompute：大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
安全参数列表
为满足不同MaxCompute项目对数据安全的要求，MaxCompute支持项目所有者在项目级别（Project）配置安全属性，定制适合实际业务需求的安全机制。MaxCompute支持在项目级别通过如下安全参数配置安全机制，但是并非所有用户都需要使用这些安全...
数据授权
您授权允许 数据安全中心（DSC）访问MaxCompute、RDS和对象存储OSS数据时，可能会出现授权失败的情况。您可以参考以下原因排查数据授权问题。RDS连接授权失败有哪些原因？RDS数据库账号或密码输入错误。您自行删除了RDS访问白名单中 DSC ...
内建函数概述
数学函数 MaxCompute SQL提供了如下数学函数供您在开发过程中使用，您可以根据实际需要选择合适的数学函数，进行数据计算、数据转换相关操作。说明 取余数计算等更多计算请参见 算术运算符。函数 功能 ABS 计算绝对值。ACOS 计算反余弦值。...
InstanceTunnel
InstanceTunnel约束与限制 虽然InstanceTunnel提供了非常方便地获取Instance执行结果的方式，但是为了保护您的数据安全，此功能也受到了权限约束。使用InstanceTunnel下载数据时，如果数据条数不超过10000，则只要对该Instance有Read权限的...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
内置检测模型说明
数据安全中心DSC（Data Security Center）通过内置的行为异常自学习模型和流转异常自学习模型，能够高效地分析审计日志，以识别与敏感数据相关的异常行为及攻击行为。当这些模型检测到潜在的风险活动时，会自动触发告警。支持的数据库 RDS...
数据服务：低成本快速发布API
DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为企业提供全面的数据共享能力，帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述 作为数据仓库与上层应用系统间的...
选择连接工具
您也可以下载查询结果至本地，减少数据的流动，更好的保障数据安全。安全管理员：MaxCompute项目右侧的 项目权限管理 提供了角色权限管理功能，但是正在试用过程中，很多场景需要通过命令行进行权限管理。安全管理员可通过SQL分析快速执行...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
MaxCompute表的高级功能
如果您使用TOUCH操作，MaxCompute会认为表或分区的数据有变动，生命周期的计算会重新开始，举例如下。ALTER TABLE table_name TOUCH PARTITION(partition_col='partition_col_value',.);说明 合理规划表的生命周期，在创建表时设置生命周期...
其他安全措施
本文为您介绍MaxCompute支持的其他数据安全措施。禁止DataWorks的Select结果下载到本地 操作类型 说明 描述 开发者通过DataWorks进行数据分析，通常会屏显在IDE上并且可以下载结果。项目空间设置ProjectProtection为True后，在本项目空间中...
概述
pg_shseclabel 共享数据库对象上的安全标签。pg_statistic 规划器统计。pg_statistic_ext 扩展的规划器统计信息（定义）。pg_statistic_ext_data 扩展的规划器统计信息（已构建的统计信息）。pg_subscription 逻辑复制订阅。pg_...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
- 产品推荐
- 这些文档可能帮助您