数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
基于图算法实现金融风控
标签传播分类算法为半监督的分类算法，其输入包括人物通联图和标签数据，通过已标记节点的标签信息预测未标记节点的标签信息。算法执行过程中，每个节点的标签根据相似度传播给相邻节点。运行工作流并查看输出结果。单击画布上方的 运行。...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
系统配置
开启打标后，数据分类分级结果将直接添加到MaxCompute表对应列的Label（敏感等级标签）上，并在DataWorks数据地图表详情页面的字段信息中展示列的安全等级。详情请参见 查看表详情。说明 开启打标后，如果在数据地图中仍然看不到列级别安全...
敏感数据保护概览
数据分类：根据各类法案、法规进行数据分类，同时支持用户新增数据分类。一级分类：例如个人信息、企业信息、位置信息等。二级分类：例如手机号、邮箱、银行卡等。脱敏算法：目前支持的脱敏算法为哈希、遮掩、替换、变换和加密，用户可基于...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
数据模型架构规范
数据分类架构 该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：公共维度层：基于维度建模理念思想，建立整个企业的一致性维度。明细粒度事实层：以业务过程为建模驱动，基于每...
敏感数据安全防护方案
前提条件 已开通DSC 开通步骤请参见 快速实现数据分类分级。已开通OSS 开通步骤请参见 开通OSS服务。背景信息 敏感数据主要包括个人隐私信息、密码/密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的各类存储系统中。如何...
数据保护伞概述
细分操作 描述 参考文档 配置数据分类分级 用于对您的数据按照数据价值、内容敏感程度、影响和分发范围进行敏感级别划分，后续可基于分类分级进行数据管控操作。不同敏感级别的数据管控原则和数据开发要求存在差异。DataWorks提供了内置的...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
手动修正数据
详情请参见：数据分类分级 分级：当前租户默认分类分级模板中的分级信息。敏感状态：包括敏感字段和非敏感字段。非敏感字段为您过滤已手动修改为非敏感字段的数据。说明 目前支持对ODPS、EMR、CDH、HOLO引擎中的敏感字段识别结果进行修正。...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
配置识别模板
概念 说明 识别模板 识别模板是根据不同行业规范定制的敏感数据分类分级。通过识别模板可以检测敏感数据是否符合合规要求。内置模板 为了帮助您快速完成数据识别配置，数据安全中心提供常见行业的内置模板，包括内置金融分类分级模板、内置...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
管理敏感数据
说明 用户可自定义新的数据分类。更多信息，请参见 管理敏感数据识别规则。敏感数据信息汇总：可通过不同层级（库视角、表视角、字段视角）查看敏感数据的详细信息，包含：敏感信息所在的数据库名和表名。敏感信息的敏感等级。关于敏感等级...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
BERT模型离线推理
BERT模型离线推理组件主要用于BERT模型的离线推理，利用已经训练完的BERT分类模型，对输入表中的文本进行分类。使用限制 仅支持DLC计算引擎。算法简介 BERT是一种基于Transformer的自然语言处理预训练模型。它通过在大量文本数据上预训练，...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
风险识别管理（旧版）
6 规则所属的分类 规则项>分类 规则定义>条件设置 区域，选择条件 选择 数据属性 时，属性类别选择 数据分类。7 规则所属的分级 规则项>分级 规则定义>条件设置 区域，选择条件 选择 数据属性 时，属性类别选择 数据分级。8 命中规则的敏感...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
AIOps 解决方案专家服务内容说明
智能算法列表 类型 算法名称 算法逻辑 异常诊断类算法 One-Class SVM 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 孤立深林 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 Robust Covariance 基于历史批量...
应用场景
通过内置算法规则和自定义敏感数据识别规则，对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级，并根据结果做进一步的安全防护，如细粒度访问控制、加密保存等。数据泄露检测与防护 通过智能化检测模型分析企业内外...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
GBDT二分类预测V2
GBDT二分类预测V2组件提供了针对GBDT二分类V2组件的预测功能，使用梯度提升决策树(Gradient Boosting Decision Trees)算法，对数据进行二分类问题的预测。本文介绍GBDT二分类预测V2组件的配置方法。支持计算资源 支持的计算引擎为...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
概述
同时提供了一系列内置的机器学习和人工智能算法，包括：分类算法、回归算法和聚类算法等。基于MLOps和内置的模型，PolarDB for AI 为数据驱动的智能应用提供了高效、可靠、方便的数据智能能力，打破了数据库和业务应用之间的系统墙，提供了...
高效向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理请参见下图。算法流程说明：构造多层图，每层图都是下层...
- 产品推荐
- 这些文档可能帮助您