产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
离线同步并发和限流之间的关系
问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数限制功能，是指：目标端写入并发数：在实时数据同步任务内，向目标端写入数据的最大线程数。需要根据资源组大小和目标端实际规模合理设置。...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
常见问题概览
数据库没有数据Owner时如何处理 数据变更 SQLConsole页面执行SQL语句超时中断解决方案 DMS控制台中执行数据变更任务时提示“Duplicate column name 'XXXXX'”使用新版DMS控制台进行变更时提示“Duplicate entry:XXXX”数据库返回“Row size...
EMR+DLF数据湖解决方案
背景信息 在EMR数据湖方案中，结合DLF，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。采用EMR+DLF数据湖...
新建数据库网关
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在 网关列表 页面，单击 新建网关。在弹出的对话框中，填写 网关名称 和 备注 信息，单击 下一步。安装网关。您可以根据操作系统类型...
某历史养成类游戏开发公司实时计算和数据仓库方案
解决方案 客户选择云数据库Lindorm SQL（Phoenix）服务+数据湖Spark服务构建实时计算和数据仓库解决方案。Lindorm SQL提供在线查询能力、Spark提供流式处理、复杂分析等能力来满足业务需求；梳理业务数据，对数据进行分层存储在Lindorm SQL...
任务运行失败
解决方案：该报错为FTP Check节点检测FTP数据源中Done文件不存在的预期报错，收到该报错时，DataWorks不会触发启动FTP Check节点的下游任务。报错：no available machine resources under the task resource group，该如何处理？问题现象运...
RDS MySQL空间不足问题
解决方案 优化数据结构，减少二级索引数量。大字段导致空间不足 现象 如果表结构定义中有blob、text等大字段或很长的varchar字段，也会占用更大的表空间。解决方案 将数据压缩以后再插入。空闲表空间太多导致空间不足 现象 空闲表空间太多...
管理数据库网关
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在 网关列表 页面，单击目标网关对应 操作 列的 详情。在 网关详情 页单击 添加网关节点。您可以根据操作系统类型，选择不同的下载...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
查询用户OSS或专属存储的归档数据
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。进入 数据归档工单列表 页面，视图 选择 归档视图。搜索目标数据归档工单。您可在搜索框中输入工单号、库名或表名等信息，单击 搜索，...
用自然语言实时查看BI报表
本文介绍了PolarDB NL2BI解决方案的背景、应用场景以及如何体验NL2BI解决方案。背景 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI联合达摩院推出自研的自然语言到数据库查询语言转义（Nature Language To SQL，...
SQL回放
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>SQL回放。单击右上角的 SQL回放，配置工单参数，配置完成后，单击 提交工单。参数 说明 任务名称 请输入明确、清晰的任务名，以减少沟通成本。数据...
NL2BI：用自然语言实时查看BI报表
本文介绍了PolarDB NL2BI解决方案的背景、应用场景以及如何体验NL2BI解决方案。背景 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI联合达摩院推出自研的自然语言到数据库查询语言转义（Nature Language To SQL，...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 标签工厂 标签...
C100售后支持相关问题
本文介绍了您在使用C100系列数据库审计服务时可能遇到的问题和解决方案，帮助您更好地理解和使用产品。安装Agent相关问题 通过云助手安装的Agent，Agent安装目录是什么？通过云助手安装的Agent，Agent的日志目录是什么？安装Agent时，系统...
什么是数据管理DMS
RDS：阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼。PolarDB：PolarDB是阿里云自研的下一代关系型云...
数据归档至RDS MySQL
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在新建数据归档工单页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，以...
下载解决方案
下载解决方案，以备其他工作组或项目导入时使用。本文介绍如何下载解决方案。前提条件 已有解决方案，包括已新建解决方案或已导入解决方案。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
数据归档至PolarDB MySQL版
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在新建数据归档工单页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，以...
Quick BI连接MaxCompute
数据源权限控制问题请参见 Quick BI关于业务分析人员连接MaxCompute数据源权限控制问题解决方案及常见报错解析。测试成功后，单击 确定，完成数据源的添加。此时您可以在数据源列表中，看到您创建的数据源。说明 Quick BI添加MaxCompute云...
使用流程
说明 当前DBS基于Copy Data Management（CDM）技术推出沙箱解决方案，您可以在DBS沙箱功能中快速创建独立的DBS沙箱实例（即数据库实例），让您的备份数据快速可用。更多信息，请参见 应急恢复。方式二：通过数据源创建单个或多个备份计划 ...
MaxCompute近实时增全量一体化架构介绍
在大数据开源生态领域，针对这些问题已经出现了一些典型的解决方案，其中最典型的是Spark、Flink、Trino等开源数据处理引擎，它们深度集成了Hudi、Delta Lake、Iceberg、Paimon等开源数据湖，并以开放统一的计算引擎和数据存储理念为基础，...
数据归档至AnalyticDB PostgreSQL版
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
数据归档至AnalyticDB MySQL 3.0
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
使用应用程序访问本地或第三方云数据库
在顶部菜单栏中，选择 解决方案>数据库网关。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在 网关列表 页面，单击目标网关对应 操作 列的 详情。跳转至添加的数据库详情页，单击 ...
02下载解决方案
下载解决方案，以备其他工作组或项目导入时使用，本文介绍如何下载解决方案。前提条件 已创建解决方案，具体操作，请参见 创建解决方案。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
创建Hologres数据源
若您要使用DataWorks进行Hologres任务的开发、管理，需先将您的Hologres实例创建为...同时，可根据需要选择离线同步、实时同步、同步解决方案等场景执行相关数据同步操作。增删改查数据源：进入数据源管理页面执行编辑、删除等管理操作。
创建Hologres数据源
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
PolarDB MySQL版间的单向同步
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。定位至已购买的数据同步实例，单击 配置...
使用DMS和DG管理本地或他云数据库
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在页面上方选择数据库所属的地域（默认杭州），然后单击 新建网关 按钮。在弹出的对话框中，填写 网关名称 和 备注 信息，然后单击 下...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS MySQL、PolarDB MySQL版 和ECS自建MySQL。说明 来源库和目标库的数据库类型...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
- 产品推荐
- 这些文档可能帮助您