数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
编辑数据源
数据源添加完成之后，您可以根据大屏展示的需要，编辑数据源的内容。推荐在画布编辑页面编辑数据源。除了可以编辑数据源，还可以在该页面完成 数据映射、添加过滤器 和设定数据 自动更新 时间。操作步骤 登录 DataV控制台。参考 使用模板...
K均值聚类算法（K-Means）
该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，将每一个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类。即K-Means算法将输入表的...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
创建ClickHouse数据源
您需要根据数据源的应用场景提前准备好对应的资源组并完成资源组配置，在创建ClickHouse数据源时确保与对应资源组间网络连通。各资源组的介绍与配置引导请参见 DataWorks资源组概述。已创建或加入目标工作空间。您需在目标工作空间中，将...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...
分区索引
业务数据有明显的聚类特性，例如商家数据表以商家ID为聚类，查询条件中包括商家ID。IoT设备数据表以设备ID为聚类，查询条件中包括设备ID。数据分区策略 HASH分区 时间范围分区 多级HASH分区（高级用法）准备工作 使用分区索引前需要创建...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与...在实际应用中，划分区域数量需要根据数据规模和查询性能进行调整。相关参考 向量的embedding过程请参考中国内地和国际文本embedding模型输出。
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与...在实际应用中，划分区域数量需要根据数据规模和查询性能进行调整。相关参考 向量的embedding过程请参考中国内地和国际文本embedding模型输出。
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与...在实际应用中，划分区域数量需要根据数据规模和查询性能进行调整。相关参考 向量的embedding过程请参考中国内地和国际文本embedding模型输出。
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
数据类型
QUANTILE_STATE/QUANTILE_STATE是一种计算分位数近似值的类型，在导入时会对相同的Key，不同Value进行预聚合，当Value数量不超过2048时采用明细记录所有数据，当Value数量大于2048时采用TDigest算法，对数据进行聚合（聚类）保存聚类后的...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
基本散点图
本文介绍基本散点图全量选择时各配置项的含义。图表样式 基本散点图是使用散点来展示数据的一种图表，适用于展示不同时间下离散数据的差异。基本散点图支持自定义x轴...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
功能特性
SQL洞察 安全审计 内置了超过900种高危操作规则，涵盖异常操作、数据泄露、SQL注入和漏洞攻击等4大类，能够更全面地支持自动识别高危操作、SQL注入和新增访问等风险。安全审计 空间与性能自治 空间分析 直观地查看数据库及表的空间使用情况...
账单数据订阅及查询分析
步骤二：订阅账单数据 在 大数据分析>数据订阅管理 区域，根据需要订阅相应账单数据，订阅后，相关账单数据会同步至指定的MaxCompute表。说明 该操作需要当前登录账号为账单分析指定的DataWorks工作空间（即步骤一中，由平台统一创建的工作...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
快速实现数据分类分级
数据安全中心DSC（Data Security Center）是一款数据安全中心产品，可以通过收集和分析数据库的信息，提供云上数据的分类分级（包括敏感数据识别）能力。本文介绍如何快速在DSC控制台实现数据分类分级。前提条件 已规划好要接入数据安全...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
快速体验
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
产品优势
数据集成需要较大开发 数据集成需要较大开发 日志服务（SLS）通过 LTS（原BDS）服务介绍，支持实时订阅SLS数据到Lindorm。数据集成需要较大开发 数据集成需要较大开发 服务能力 可用性SLA 提供SLA保障，单集群99.9%，双集群高可用99.99%。...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
聚水潭：云原生数据仓库助力企业实现商业洞察
本文介绍聚水潭通过引入 AnalyticDB PostgreSQL版 构建企业级云原生数据仓库，解决业务需求过大、资源弹性扩展难等问题。客户介绍 上海聚水潭网络科技有限公司成立于2014年，是一家从事SaaS ERP应用服务研发且拥有完全自主知识产权的软件...
- 产品推荐
- 这些文档可能帮助您