产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
基线管理
所有地域 其他地域如果希望通过短信方式报警，您需要先单击 申请链接 加入“阿里云大数据AI平台”交流群，再扫描下方二维码加入DataWorks产品钉钉交流群，进行售前售后咨询，咨询可直接@智能机器人，值班时间段内也可直接联系值班人员。...
管理向量Indexes
向量索引专注于通过先进的索引结构和算法（如IVF、HNSW等），有效压缩向量空间并加速在海量数据中定位与查询向量最相似的数据点，极大地提升了诸如图像识别、语音检索、推荐系统等应用场景中的召回率与响应速度。背景信息 Milvus支持多种...
创建并管理维表
维表功能支持您使用可视化的方式创建MaxCompute生产表并导入本地数据，您还可以在表格中直接修改MaxCompute表中的数据。前提条件 已开通MaxCompute，详情请参见 开通MaxCompute和DataWorks。已在DataWorks工作空间绑定MaxCompute计算引擎，...
无效问题添加白名单
DataWorks的数据治理中心支持将无需处理的治理项问题添加至白名单，并将所有白名单集成至白名单管理页面统一管理。治理项问题被加入白名单后，该问题在白名单的有效期内不会被检测出来。本文为您介绍如何查看并管理白名单。前提条件 已使用...
创建GreenPlum数据源
其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与...
管理Compute
您需要访问Compute来运行SQL查询和进行数据科学分析。本文主要为您介绍如何创建SQL Compute。Compute类型 在Serverless Spark中，支持以下Compute类型：SQL Compute：用于SQL开发和查询。在SQL编辑器运行查询操作时，需要选择一个合适的SQL...
创建GreenPlum数据源
其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与...
管理节点组（Hadoop、Data science和EMR Studio集群）
例如，内存型实例节点（vCore:vMem=1 vCPU:8 GiB）用于大数据离线处理，计算型实例（vCore:vMem=1 vCPU:2 GiB）用于模型训练。前提条件 已在EMR控制台创建Hadoop、Data science或EMR studio集群，详情请参见 创建集群。使用限制 支持新增...
操作指南
您可以在 PolarDB 控制台创建和管理集群/实例、管理数据库、查看资源监控信息、备份或恢复数据、同步或迁移数据等。相关文档请参考下表：数据库引擎 文档 PolarDB MySQL版 管理集群 管理数据库 数据迁移 数据同步 备份与恢复 性能监控 其他...
产品架构
数据运营与管理：数据资产与安全：对数据库、数据仓库和数据湖进行统一数据资产管理、数据安全管理和数据治理。数据库设计与开发：提供多种数据设计与开发工具，如无锁变更、数据导入、结构同步、表一致性修复、数据库分组、数据追踪等。...
查看并管理周期任务
补数据：用于对周期任务执行补历史数据或未来时间段数据的操作，执行补数据操作后将产生补数据实例，您可以通过 补数据实例 页面查看此次补数据任务的运行情况，详情请参见 执行补数据并查看补数据实例。更多：暂停（冻结）：当任务及其...
用户管理
查看 用户管理 页面的操作步骤如下：进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模...
风险识别管理（旧版）
风险识别管理页面提供风险数据的规则配置，可以帮助您识别日常访问中的风险。同时，您可以通过启动数据风险的AI识别功能自动识别数据风险。识别后的风险数据统一在 数据风险 页面进行展示和审计操作，同时会在 数据访问 页面相应的数据后打...
设置数据保留策略
选择 时序数据管理>数据库管理，单击目标数据库 操作 列中的 存储策略管理。在 存储策略管理 页面，单击 创建。在弹出的对话框中，配置以下参数。参数 说明 保留策略名称 配置存储策略的名称且不可重复。保存时长 配置存储策略的有效时长。...
管理Partitions
在Milvus向量数据库中，创建Collection时系统会自动生成名为_default 的默认分区（Partition），用于存放未指定分区的插入数据。通过合理设置分区，可针对性地缩小查询范围，有效提升检索性能。本文为您介绍如何在Milvus中创建和管理分区。...
场景：MaxCompute引擎在不同模式工作空间访问资源与...
MaxCompute引擎在不同模式下数据库表命名规范 不同模式工作空间的权限管理特征 不同工作空间模式下，引擎映射的DataWorks环境不同，不同工作空间类型的权限管理特征与优缺点也不一致，以下表格为您对比介绍两种空间类型的权限细分特点。...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
查看工作空间信息
您可通过数据地图查看当前租户下的工作空间列表以及工作空间的详细信息，并对工作空间的项目或数据库执行相关管理操作。进入工作空间 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入...
数据库管理
MySQL数据库管理 数据库类型为MySQL系列、MariaDB系列或AnalyticDB MySQL版，详情请参见 支持的数据库类型。登录 数据管理DMS 5.0。在DMS左侧的实例列表中，右键单击目标实例，从弹出的列表中选择 数据库管理。按需执行如下操作。创建数据...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
调整字段安全级别
当您需要提升或降低字段的安全级别时，您可参考本文在数据管理DMS的SQL Console中调整字段的安全级别。前提条件 实例已开启敏感数据保护功能。具体操作，请参见 开通敏感数据保护。设置敏感等级的影响 设置敏感等级后，对使用数据的影响：...
管理Entities
实体的增删查改等操作构成了对Milvus数据库的基本管理。本文为您介绍如何在Milvus中插数据、更新以及删除实体数据。前提条件 已在本地客户端成功安装了PyMilvus库，并将其更新至当前最新版本。如果您尚未在本地客户端安装PyMilvus库，或者...
通过DMS管理Redis数据库
背景信息 DMS 支持管理多种关系型数据库和NoSQL数据库，是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。您可以使用数据管理服务实现易用的数据库管理入口，让数据更安全、管理更高效、数据价值...
操作指南
DataV可视分析地图 管理数据树 添加PolarDB PostgreSQL数据库 添加RDS PostgreSQL数据库 管理项目 数据源管理 图层管理 图层交互管理 其他更多操作请参见 操作指南。DataV可视分析创作间 创建数据集 可视分析数据集 自定义编辑卡片 分享...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
资产大盘
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
准备用于数据同步的数据库账号
创建和管理数据库账号。PolarDB O引擎 高权限账号。创建数据库账号。PolarDB-X 1.0 待同步对象的读权限。账号管理 RDS SQL Server 待同步对象所属数据库的所有者权限。说明 高权限账号满足要求。修改账号权限。自建SQL Server sysadmin权限...
引擎功能
数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行设置。具体操作，请参见 数据库管理。用户和权限管理 支持对时序数据的访问进行用户认证以及存储...
数据库分组
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>运维管理>数据库分组。单击 新增分组 按钮。在 新增分组 对话框中，配置以下信息：配置项 说明 分组名称 输入创建的分组名称。增加数据库 单击 增加数据库，...
数据传输与迁移概述
类型 典型场景 数仓管理员对数据进行预览 DataWorks-数据分析、数据管理、数据开发调度（数据通道）。Kettle。商业智能，制作报表，看板 Quick BI。Superset。离线数据批量数据读取（外部表-湖仓一体）场景特征：主要用于数据联邦查询分析...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素...数据域：提供对数据域的定义与管理，供逻辑表设计时进行使用。通用设置 数据建模基础信息：对逻辑表的属性进行配置、管理。字段标准通用信息：对字段标准的属性进行配置、管理。
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素...数据域：提供对数据域的定义与管理，供逻辑表设计时进行使用。通用设置 数据建模基础信息：对逻辑表的属性进行配置、管理。字段标准通用信息：对字段标准的属性进行配置、管理。
通过DMS管理Tair数据库
背景信息 DMS 支持管理多种关系型数据库和NoSQL数据库，是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。您可以使用数据管理服务实现易用的数据库管理入口，让数据更安全、管理更高效、数据价值...
我的资产
我的资产展示用户有管理权限的数据表、数据服务API等数据资产，并提供资产详情查看等功能，帮助用户清晰了解管理数据资产和已授权的数据资产情况。我可使用的 支持展示自有权限或申请授权成功的数据表、数据服务API资产，并提供资产详情...
管理表结构版本
当您在 数据管理DMS 中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、对比、恢复历史版本的表结构。前提条件 您具有该表（或库）的查询权限，更多信息，请参见 查看我的权限。表...
发布包总览概述
更多信息，请参见 管理数据架构待发布对象。研发：您可以对研发对象执行发布、查看版本详情、下载建表文件操作。更多信息，请参见 管理编码研发待发布对象。标签架构：您可以对标签架构对象执行发布、查看详情操作。更多信息，请参见 管理...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
- 产品推荐
- 这些文档可能帮助您