LLM on DLC-Megatron on DLC最佳实践
优化器状态并行技术（Distributed Optimizer/ZERO-DP）：在使用数据并行技术的同时，将模型参数对应的优化器状态切分到不同的GPU上，从而支持训练更大的模型。激活重算技术（Activation Recomputation）：在反向传播时重新计算部分激活，...
AI加速概述
TorchAcc（模型训练加速框架）支持数据并行训练，优化计算和通信overlap，提升分布式训练效果。支持AMP训练加速。支持自动显存优化等。EPL（大规模分布式训练框架）支持数据并行，算子拆分流水并行。支持自动并行策略，得到最优分布式训练...
概览
支持 使用OSS外表高速导入OSS数据 AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从OSS云存储导入到 AnalyticDB PostgreSQL版。支持 Hadoop生态外表联邦分析 您可以在 AnalyticDB PostgreSQL版 中通过gphdfs协议...
补数据
产生原因 补数据并行控制是，补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行，当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
2021年
使用跨机并行查询加速索引创建 2021年6月 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生crash recovery时，数据库可以在期望的RTO时间内完成崩溃恢复重启，恢复可用...
2021年
使用跨机并行查询进行分析型查询 支持对分区表使用跨机并行查询的功能，提升数据库性能。对分区表使用跨机并行查询 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生...
图像度量学习训练（raw）
支持以下取值：数据并行的度量学习 模型并行的度量学习 数据并行的度量学习 保存训练输出的oss目录 是 存储训练模型的OSS目录，比如：oss:/examplebucket/yun*/designer_test。无 训练数据标注结果文件路径 否 如果您没有通过输入桩配置...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
2021年
2021-09-23 收费地域（第一批）自动备份MongoDB数据 手动备份MongoDB数据 并行批量添加Mongos节点或Shard节点。分片集群实例支持并行批量添加Mongos节点或Shard节点。说明 分片集群实例默认最多支持32个Mongos节点和32个Shard节点。2021-09...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
用户价值
业务应用方 应用开发 业务分析 使用数据资产获得业务价值 更便捷的使用数据和算法资源：通过统一服务，应用开发人员可以快速开发数据智能应用，提高智能应用开发效率，发挥数据价值。自主挖掘数据的业务价值：通过画像分析、业务模型编辑器...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
时空引擎版本发布记录
4.8 新特性 增强 ST_Union 函数，支持按内存使用量分批次执行，避免大数据量造成OOM。新增 ST_SetValue 函数，支持指定像素位置设置像素值。栅格数据支持对HDFS文件系统支持。增强 ST_CreateRast 函数，支持基于HDFS栅格数据创建。增强 ST_...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
OSS数据安全防护最佳实践
本文介绍如何使用 数据安全中心（DSC），对OSS中存储的敏感数据进行识别、分类分级和保护。背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的OSS Bucket中，一旦发生泄漏，...
目标数据库连接性检查
目标数据库对来源IP进行了限制 检测方法：您可以直接在目标数据库部署的服务器上，使用数据迁移任务中填入的数据库账号和数据库密码来连接目标数据库。如果连接正常，说明可能目标数据库可能限制了来源IP。如果目标数据库为MySQL，您可以...
CDH Hive数据抽样采集器
使用限制 目前仅上海和成都地域可以使用数据抽样采集器功能。支持基于集群按照数据库进行数据抽样采集。一个集群仅支持新建一个采集器，一个采集器中可以选择一个或多个需要进行数据抽样采集的数据库。选择集群后，如果不选择数据库，默认...
并行网关
本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或集群任务，以作为后续拓扑任务中的子流程。此处以简单任务为例，配置步骤请参见 创建调度任务。其中：调度类型：必须选择 事件触发。...
功能特性
SQL变更规则 用数规范 支持配置数据使用规范，通过配置规则来规范数据的使用，例如数据导出规则、查询规则、执行规则等。规范策略 支持自定义配置各类型数据的管控规范策略。创建安全规则 安全规则DSL语法 功能规范 支持对DMS中所有功能...
创建数据脱敏场景
说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes 查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。MaxCompute引擎层脱敏 通过...
引擎功能
使用数据库内机器学习服务的优势主要体现在以下几个方面：简单易用：无需掌握专业的机器学习知识，只需要使用标准的SQL就能完成机器学习整个流程。无数据移动：无需将数据导出到外部平台，提高效率的同时，也可以更好地应对监管需求。企业...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
多账号统一管理
不支持被加入数据安全中心成员账号的ADB-PG资产使用数据安全中心提供的功能。成员账号费用说明：为成员账号下的资产开启数据识别和安全审计功能时，部分数据库产品读取数据和存储审计日志的费用，需要成员账号承担。费用详情，请参见 接入...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
离线同步数据质量排查
或者下游在查询使用数据时，分区表达式没有正确赋值，查询使用了错误的分区数据。检查数据同步任务的调度变量表达式，即调度参数配置是否符合预期，调度时参数替换值是否符合预期。数据类型、时区问题 您的源头表数据类型、数据范围和目标...
数据服务概述
Dataphin数据源可以作为 Quick BI 的数据源，对业务数据进行展示、分析、探查和制作报表等 场景及使用流程 在开始使用数据服务前，需要您了解数据服务的使用场景，及在不同场景下对应角色的操作流程。入口介绍 在Dataphin首页，单击 服务，...
常见问题
对比项 DAS企业版 V3 DAS企业版 V2 DAS企业版 V1 DAS企业版 V0 计费项 采用按量计费的模式，计费项为：数据引入 实时搜索分析 洞察分析 数据热存储 数据冷存储 数据查询 数据导出 企业版 V3在冷热存储混合的基础上，按使用的功能细分计费项...
异构数据源访问
功能说明 外部数据源管理提供高性能的结构化和非结构化数据并行传输服务。其中，异构数据源访问支持通过 AnalyticDB PostgreSQL版 数据库以统一的SQL接口查询和分析存储在外部系统中的数据。提供以下功能：多种数据存储访问：支持多种数据...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
导出数据
未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到文件中，该水印信息数据使用者可以直接看到。在弹出的 生成工单成功 对话框中，单击 查看工单。在工单详情页 预检查 区域，确认 影响行数 ...
内置检测模型说明
异常终端下载敏感数据 来自异常终端的数据下载可能是由于账号访问权限被外部攻击者获取，或者员工使用非工作终端进行数据下载。异常时间下载敏感数据 来自异常时间的数据下载可能是由于账号访问权限被外部攻击者获取，或者员工在非正常工作...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
- 产品推荐
- 这些文档可能帮助您