数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
DataWorks交流钉钉群
说明 从2009年飞天大数据平台写下第一行代码开始，DataWorks历经10年发展，形成一套成熟的产品功能体系，满足企业数据中台搭建需求。在阿里巴巴内部，每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击 申请链接 加入“阿里...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
Spark作业异常排查及处理
解决方案：在EMR控制台中Spark服务的配置页面，调大 spark.driver.memoryOverhead 或 spark.executor.memoryOverhead 的值。Spark任务读写OSS文件时出现Container killed by YARN for exceeding memory limits 报错原因：可能是由于读写OSS...
安全中心
为什么提交了一个申请，在我的申请中却看到两个申请单？为什么有的字段只申请1个月权限，审批完成后查看变为永久？为什么有的表和字段没有申请权限，但能看到有权限？为什么并没有审批某个待我审批中的申请单，却没有了？查询某个工作空间...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
功能简介
发现 可帮助用户完成数据资产申请、数据资产服务、数据资产共享。通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行可共享的数据资产的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
非结构化分析
向量分析作为 AnalyticDB PostgreSQL版 向量分析的高级特性目前已经服务阿里巴巴内外部多项业务，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑。典型架构 图 1.基于 AnalyticDB PostgreSQL版 实现非结构化数据向量分析...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
可编程对象
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>数据变更>可编程对象。在 数据变更工单申请 页面，配置工单参数。部分参数说明如下：参数名 说明 数据库 搜索并选择有变更权限的数据库。执行...
开通审计日志
背景信息 阿里云日志服务SLS（Log Service）是针对日志类数据的一站式服务，由阿里巴巴集团经历大量大数据场景锤炼而成。无需开发就能快捷完成日志数据的采集、消费、投递以及查询分析，是提升运维与运营效率的极佳工具。云数据库MongoDB将...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
新零售：特步
业务架构 客户价值 基于 PolarDB-X+RDS的分布式数据库解决方案+业务中台提升客户数据链路的时效性以及客户业务系统的吞吐能力，使订单、库存、商品、销售的数据能实时从业务端到业务中台再到报表系统做销售业务决策。基于 PolarDB-X+RDS的...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
历史数据清理
当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时，您可以使用数据管理DMS提供的历史数据清理功能，定期清理历史数据，以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...
数据追踪
若影响较大，您可提交普通数据变更工单将此回滚脚本作为附件上传至工单中，执行至目标数据库中。具体操作，请查看 普通数据变更。使用API进行数据追踪。CreateDataTrackOrder-创建数据追踪工单 GetDataTrackJobDegree-获取数据追踪任务进度...
数据水印
当您需要在DMS导出的文件上添加水印，或提取外部文件中的水印信息时，您可参考本文档的水印嵌入和水印提取的操作步骤。前提条件 实例已开通敏感数据保护功能。详细信息，请参见 开通敏感数据保护。使用场景 用于数据的散布或分发过程中追溯...
使用DMS数据追踪进行恢复
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>数据追踪工单>数据追踪。在页面右上角，单击 数据追踪。在 数据追踪工单申请 页面，配置如下信息：参数名 说明 任务名称 便于后续检索，并提供给...
产品和业务限制
限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
- 产品推荐
- 这些文档可能帮助您