模型开发概述
当联合建模双方准备好建模样本后，即可进入模型开发阶段，在该阶段中，您可以在多方安全建模控制台，基于准备好的数据进行模型训练。模型开发流程如下：各流程的详细配置请参见以下文档：查看样本信息 创建隐私求交 开始模型训练
【通知】控制台全新升级
为了提供更好的数据安全服务使用体验，从2022年07月29日起，阿里云数据安全中心控制台全新升级，基于感知、治理到防护的业务逻辑，助力企业建立标准化数据安全管理流程、提升数据安全治理效率。本文介绍本次控制台升级主要的功能变更和如何...
快速实现数据分类分级
数据安全中心DSC（Data Security Center）是一款数据安全中心产品，可以通过收集和分析数据库的信息，提供云上数据的分类分级（包括敏感数据识别）能力。本文介绍如何快速在DSC控制台实现数据分类分级。前提条件 已规划好要接入数据安全...
自定义函数（邀测中）
在函数计算服务中根据自定义的函数计算数据。函数计算服务将计算结果以JSON的形式返回到 AnalyticDB for MySQL。AnalyticDB for MySQL 计算再将最终的计算结果返回至客户端。注意事项 Remote UDF功能仅支持标量UDF函数。语法 remote_call('...
皮尔森相关系数CORR
在联邦学习任务中，CORR是通过联邦建模来实现的，可以保证数据的安全前提下，计算对应两方数据的CORR值。在CORR计算完成后，用户可以右键组件，选择【查看节点数据报告】，来查看数据的CORR计算报告。组件截图 二、参数说明 字段设置 参数...
特征稳定性PSI
在联邦学习任务中，PSI是通过联邦建模来实现的，可以保证数据的安全前提下，计算对应两方数据的PSI值。在PSI计算完成后，用户可以右键组件，选择查看节点数据报告，来查看数据的PSI值。组件截图 二、参数说明 参数名称 参数说明 选择特征...
查看敏感数据识别结果
数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 数据检索 页面和 数据识别 页面查看敏感数据识别结果。本文...
什么是消息路由
通过消息路由，可实现对数据路由的灵活控制和提高数据安全性。IoT边缘计算基于消息路由，将数据在设备、函数计算应用、IoT Hub之间进行流转。支持同时存在多条路由路径。目前支持以下几种消息路由路径：设备至函数计算应用。设备至流数据...
UDT示例
聚合操作 UDT实现聚合的原理是，先用内建函数 COLLECT_SET 或 COLLECT_LIST 将数据转变成List，之后对该List应用UDT的标量方法计算数据的聚合值。示例如下，计算BigInteger的中位数（由于数据是 java.math.BigInteger 类型的，所以不能直接...
操作审计事件数据迁移至MaxCompute
参数 描述 大数据计算服务地域 被投递数据的MaxCompute项目所在地域。说明 操作审计会将审计日志投递至MaxCompute指定地域下的actiontrail_<阿里云账号ID>项目中。因为同一阿里云账号下MaxCompute项目名称唯一，若账号下已有actiontrail_...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
应用场景
区块链在其中起到的作用是，可以实现多方共同记录溯源信息，让消费者可对商品实现溯源查询和验真。同时，区块链保证了溯源信息是经过各个业务参与方共同确认的，具备不可篡改性。区块链上的全流程交易历史记录均可被审计，满足政策和监管的...
支持的连接器
数据规模通常较小，可以是静态表也可以是低吞吐的流表，数据量级可能在GB到TB级别。提供对业务数据的额外补充信息，如用户姓名、产品详情、区域信息等。通过与源表进行Join连接，可以丰富源表的信息，形成更加详细的宽表。结果表（Result ...
数据防泄漏典型案例
使用数据安全中心可以监测和防范各类数据泄露风险，例如身份盗用、越权操作、违规操作、操作失误、基础设施缺陷以及数据故意泄密等。检测到异常行为并触发异常告警后，您需要仔细分析审计日志，从而评估被记录操作的正当性，并采取相应的...
通过DSC实现DMS数据分类分级
数据安全中心DSC（Data Security Center）支持从数据合规和业务需求等多角度对数据价值、属性、敏感性进行分类分级，以便企业针对不同数据进行更标准更细粒度的保护和风险调控。数据管理DMS（Data Management）是覆盖数据全生命周期的一站...
数据安全
本文介绍数据安全相关的常见问题。DSC 是否会保存您的数据和文件？数据安全中心（DSC）不会保存您的数据和文件。在您授权访问数据源后，DSC 会对数据进行扫描，并仅将扫描的分析结果展示在 数据安全中心控制台，供您使用。如何对 DSC 的...
MaxCompute账单用量明细分析
说明 一次标准版SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）一次SpotSQL计算费用=计算输入数据量×SQL复杂度×单价（0.1元/GB）通过Excel分析：分析 用量明细 中数据分类为 ComputationSql 的数据。对SQL作业费用进行排序，...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
规划工作空间
若数据保护伞的“高级安全模式”开启，则只有各工作空间的“安全管理员”具备操作数据保护伞的权限。工作空间规划实践 工作空间规划可按照公司部门、公司业务或数仓层次进行规划，或综合三种维度进行混合规划：细分 按部门划分 按业务划分 ...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
授权信息
本文为您介绍 云原生大数据计算服务 MaxCompute（MaxCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 ...
安全操作
MaxCompute提供项目数据保护机制，为数据安全提供保障。本文为您介绍常用安全操作命令。安全操作常用命令如下。详细安全相关操作请参见 安全参数列表。类型 功能 角色 操作入口 开启项目数据保护 开启项目的数据保护机制。项目Owner或授予...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
服务协议
数据安全中心服务条款
概述
多源数据融合：该场景主要针对多源数据的联合分析，保证在多方数据融合计算时，数据不会被其他参与方获取。例如，在联合风控、跨国服务等场景下，有严格的数据合规要求，组织间无法进行明文数据的合规化获取；再如，在合作营销等场景下，...
DataWorks产品安全能力介绍
泄露数据溯源：支持提取数据泄露文件中数据的水印信息，帮助管理员定位泄露数据的责任人。说明 仅DataWorks企业版支持对泄露数据进行溯源。通用防护措施 企业/部门间权限隔离：支持企业间租户隔离、团队间空间隔离。增强身份鉴别：支持 多...
基础版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）基础版的Spark全密态计算引擎可以加密敏感数据，并将数据以密文的形式传输和存储，只有密钥拥有者才能解密数据，避免数据泄露。本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
水印使用限制
数据源嵌入水印时有以下使用限制。...在数据安全中心控制台配置任务，将A表中的数据嵌入水印后写到B表，不会修改A表数据，仅影响写入B表的数据。嵌入水印后的数据有一部分会与原始值不同。支持空格算法和最低有效位算法。
函数
自定义函数（UDF）：为MaxCompute提供了高度的灵活性，允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数（UDF）可以进一步分为标量值函数（UDF）、自定义聚合函数（UDAF）和自定义表值函数（UDTF）三种类型。您在开发完成UDF...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
2024年
对应地域所有项目的生命周期都将与按量付费标准服务的生命周期保持一致，所有项目的存储、下载等按量付费账单归属的产品明细为 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变为 大数据计算服务MaxCompute...
审计配置
在使用 数据安全中心DSC（Data Security Center）提供的安全审计功能前，您需要先完成审计配置。DSC 根据您配置的审计模式采集审计日志，并根据已开启的审计规则上报审计告警。本文介绍如何进行审计配置。前提条件 已购买 DSC 企业版。具体...
查看账单详情
上图中，产品明细说明如下：大数据计算服务MaxCompute（按量付费）、消费类型为 后付费：指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总，包括存储、计算、公网下载的按量计费账单。大数据计算服务...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
- 产品推荐
- 这些文档可能帮助您