大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
数据资源平台
提供数据汇聚、规范设计、指标与标签体系构建、数据质量管控、数据资产管理、数据资产服务与共享、智能分析等核心功能，支持行业知识内容沉淀，帮助金融、政府及企业客户快速构建智能数据中台，实现数据资源统一管理，挖掘潜在规律，优化...
什么是数据管理DMS
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
常见问题
为什么迁移后存储在 DAS企业版 V3中的数据量比迁移前存储在 DAS企业版 V1 中的数据量少很多？DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对...
配置VPC数据源
这两种ID都可以在阿里云控制台中获取。通过 RDS控制台 获取 VPC ID 和 实例ID。图 1.获取数据库实例ID 图 2.获取VPC ID 如果您的数据库安装在VPC内的ECS上，则需要配置该ECS的 VPC ID 和 实例ID。图 3.获取ECS的实例ID 图 4.获取ECS的VPC ...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
DataWorks数据服务对接DataV最佳实践
在大屏中调用数据服务API 进入DataV控制台中的 我的可视化 页面，单击 新建可视化。选择一个模板，单击 创建，本文以 智能工厂 模板为例。模板中的组件自带了静态数据，下文将以把模板中间的基本折线图改为调用上文创建好的查询成交金额...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
用户管理
本文介绍 数据管理DMS 中的用户管理功能，包含添加用户、编辑用户、管控用户权限等操作。前提条件 系统角色为管理员。查看系统角色的具体操作，请参见 查看我的系统角色。注意事项 确保一个租户内至少保留一个有效的 管理员 角色账号（应用...
什么是云数据库MongoDB版
DAS：数据库自治服务DAS（Database Autonomy Service）帮助企业打通混合云数据库架构，提供多环境统一管理、快速弹性、容灾切换的能力，您可以通过DAS查询云数据库MongoDB的实时性能和实时操作，分析慢日志、管理存储空间等操作。
概览
数据安全解决方案 数据作为企业的核心资产，数据安全是企业管理的重中之重。在传统解决方案中，存在如下问题：大量开发人员使用数据库账号密码连接数据库。由于企业人员的频繁流动（离职、转岗），安全合规上需要定期更换账号密码，账号...
了解数据资源平台用户和角色体系
什么是工作组 工作组是数据资源平台中进行数据研发的基本单元，用于数据隔离的命名空间，通常为一个用户组、一个项目或一个应用。工作组内的数据通常为工作组内全部成员可见，研发工作台的数据权限以工作组为单元相互隔离。因此在开始数据...
C100售前支持相关问题
支持存储扩容，可以在控制台中进行扩容。存储空间满了，数据是否可以备份？审计数据可以通过控制台进行备份，备份的数据存储在对象存储OSS中。存储空间已经清空，为何控制台还是显示存储空间满？SLS清除数据任务一般会有1至2小时的延迟，...
新功能发布记录
PostgreSQL数据库管理 PostgreSQL数据库账号权限管理 04月 功能名称 变更类型 功能描述 相关文档 数据安全防护 新增 数据安全防护能为数据库实例生成的代理地址，为应用程序调用企业数据库带来更全面的安全管控、访问控制、数据脱敏以及...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
冷数据归档备份与恢复
随着业务发展，企业数据呈现出规模化、爆炸式的增长，业务应用要求实时、在线的快速处理。对于数据库运维人员来说，保护企业核心数据的任务越来越具有挑战性，例如数据误删除、相关系统漏洞和勒索病毒、硬件故障，甚至自然灾害都可能造成...
常见问题
每种开发语言通过SDK连接云数据库ClickHouse对应的端口是什么？Go、Python语言对应推荐什么SDK？如何处理客户端工具连接集群时报错：connect timed out？为什么MySQL、HDFS、Kafka等外表无法连通？为什么程序无法连接ClickHouse？如何处理...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
DLF+EMR之统一权限最佳实践
如果需要dlf_data_admin可以为在DLF控制台为RAM用户配置数据权限，还需要在 RAM控制台 中，为dlf_data_admin添加权限策略：AliyunDLFFullAccess，AliyunRAMReadOnlyAccess。登录EMR集群，使用dlf_data_admin连接Hive，执行HiveSQL beeline-...
什么是DataWorks
世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型治理，极大提升数据中台的自服务能⼒，让企业数据决策实现下放，释放新零售的数字化力量。上市公司创梦天地：基于开源的EMR引擎，用DataWorks替换自研调度系统，企业内部...
版本发布记录
无 RDS MySQL分析实例 云数据库ClickHouse 支持通过RDS MySQL分析实例将数据同步到 云数据库ClickHouse 中，进行企业数据的集中分析。创建云ClickHouse分析实例 2021年07月 功能名称 描述 相关文档 云实例迁移 控制台上发布云实例迁移功能...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
DataWorks on EMR Serverless StarRocks最佳实践
数据服务概述 数据地图 DataWorks的数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。数据地图概述 前提...
连接PostgreSQL实例
Smartbi RDS PostgreSQL支持接入 Smartbi，在Smartbi中对数据进行分析处理，满足您在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI 智能分析等大数据分析需求。下文以 Smartbi V10.5 版本为例，介绍如何连接RDS PostgreSQL...
连接PostgreSQL实例
Smartbi RDS PostgreSQL支持接入 Smartbi，在Smartbi中对数据进行分析处理，满足您在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI 智能分析等大数据分析需求。下文以 Smartbi V10.5 版本为例，介绍如何连接RDS PostgreSQL...
SQL洞察和审计
当您的数据库实例支持企业版 V3时，您可以将DAS企业版 V1或V2的数据迁移至企业版 V3，以获得更加优惠的费用，详情请参见 DAS企业版间数据如何迁移？警告 迁移操作无法终止和回退，请仔细阅读迁移说明。常见问题 Q：SQL洞察 的 全量请求统计...
SQL洞察和审计
当您的数据库实例支持企业版 V3时，您可以将DAS企业版 V1或V2的数据迁移至企业版 V3，以获得更加优惠的费用，详情请参见 DAS企业版间数据如何迁移？警告 迁移操作无法终止和回退，请仔细阅读迁移说明。常见问题 Q：SQL洞察 的 全量请求统计...
高效数据治理实施指南
步骤一：明确成本治理重点，规划数据治理工作 成本治理工作的起始阶段，通常需要治理工作负责人建立一个治理框架，帮助其了解成本管理的现状，明确阶段性规划里，要治理的重点方向是什么，进而确认如何治理，以及怎样衡量治理的成功或失败...
SQL洞察
SQL洞察功能中SQL明细数据的存储时长与DAS 企业版 设置的存储时长一致。关闭SQL洞察和审计功能后，不会对业务产生影响，但是SQL洞察和审计的所有存储数据会被清空，请将数据导出并保存至本地后，再关闭SQL洞察和审计功能。详情请参见 关闭...
- 产品推荐
- 这些文档可能帮助您