什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
产品计费
服务类型 单价（元）计费单位 购买数量 备注 大数据技术架构方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据搬站迁云方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据解决方案POC 30,000 每人日 1~20 每日8小时工作制 跨地域迁移...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
入仓解决方案
入仓解决方案包括：实时同步任务：基于离线数据集成的数据传输服务。新建实时同步任务，请参见 新建实时同步任务。实时迁移任务：基于数据传输服务DTS的数据传输服务。新建实时迁移任务，请参见 新建实时迁移任务。说明 基于DTS的数据同步...
方案选择
本文主要为您介绍针对订单系统的一些传统解决方案，以及面对亿量级订单，表格存储提供的更全面的解决方案。传统方案一：MySQL分库分表 MySQL自身拥有强大的数据查询、分析功能，基于MySQL创建订单系统，可以应对订单数据多维查询和统计场景...
互联网金融：上海富友支付服务股份有限公司
解决方案 数据库选型 经过充分的调研和评估，富友决定采用阿里云瑶池数据库旗下的云原生数据库PolarDB承载核心的支付交易，用来替代传统商业数据库。主要原因有：PolarDB 100%兼容MySQL协议和语法，存储计算分离的云原生架构外加新硬件的...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
离线同步并发和限流之间的关系
来源端读取支持最大连接数：同步解决方案的离线全量数据初始化阶段，会基于JDBC建立到数据库连接并读取全量历史数据。此连接数即用来控制数据来源端支持的最大JDBC连接数，避免大量任务同时启动打满数据库连接池，影响数据库的稳定性。请...
互联网服务：小打卡
客户价值 客户当前圈子打卡日记业务有10亿以上数据，每年有亿级增量，基于 PolarDB-X+RDS的分布式数据库解决方案提供了海量数据存储和数据存储扩展能力，解决了10亿级数据在单机数据库的存储瓶颈。小打卡上有几百万活跃用户，业务发展较快...
数据管理DMS解决方案系列
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 数据安全解决方案 数据开发解决方案 更多...
什么是数据安全中心
数据安全中心（Data Security Center，简称DSC），在满足等保2.0“安全审计”及“个人信息保护”的合规要求的基础上，为您提供敏感数据识别、数据安全审计、数据脱敏、智能异常检测 等数据安全能力，形成一体化的数据安全解决方案。...
AnalyticDB MySQL助力Flowerplus业务高速发展
基于MySQL生态打造的HTAP（Hybrid Transaction and Analytical Process）数据库解决方案（RDS MySQL+AnalyticDB MySQL）有效支撑了Flowerplus的业务鲜花售卖。基于 AnalyticDB MySQL 快速分析海量数据的结果，优化用户的采购环节、订单分析...
ETL工具支持概览
数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，构建实时数据仓库解决方案。阿里云的数据集成服务（Data ...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
企迈云商
客户简介 安徽智迈科技股份有限公司创立于2009年，是一家专注线下商家运营解决方案的提供商。致力于帮助商家营造更丰富的消费场景及更精细的门店运营，实现全渠道、全链条、全生态化经营，构建私域流量池，让生意经营更简单。其旗下“企迈...
Spark作业异常排查及处理
本文介绍Spark作业异常的排查方法和解决方案。内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager...
IoT数据自动化同步至云端解决方案
解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。例如，使用OSS存储原始信息为CSV文件。但同步至大数据系统或传统数据库的数据，需要使用专业的...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
EMR+DLF数据湖解决方案
采用EMR+DLF数据湖解决方案，相对传统EMR数据湖方案有下列优点：DLF提供数据湖跨引擎的统一的，全托管免运维的元数据服务。支持可视化的元数据管理，以及多版本管理和回退。支持可视化一键元数据迁移。支持元数据全文检索。支持元数据...
RDS MySQL空间不足问题
解决方案 优化数据结构，减少二级索引数量。大字段导致空间不足 现象 如果表结构定义中有blob、text等大字段或很长的varchar字段，也会占用更大的表空间。解决方案 将数据压缩以后再插入。空闲表空间太多导致空间不足 现象 空闲表空间太多...
新建数据库网关
在顶部菜单栏中，选择 解决方案>数据库网关。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在 网关列表 页面，单击 新建网关。在弹出的对话框中，填写 网关名称 和 备注 信息，单击...
创建高可用本地Agent集群
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在数据 网关列表 页面，选择待添加高可用节点的网关，单击其右侧的 详情。在 网关详情 页面，单击 添加网关节点。您可以根据操作系统...
Delta Lake概述
很高 低 较高 事务性 支持 不支持 支持 性能 高 低 较高 扩展性 依赖于具体实现 高 高 面向人员 管理人员 管理人员、数据科学家 管理人员、数据科学家 成本 高 低 低 适用场景 Delta适用于云上数据湖数据管理解决方案。如果您存在以下场景...
管理数据库网关
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据库网关。在 网关列表 页面，单击目标网关对应 操作 列的 详情。在 网关详情 页单击 添加网关节点。您可以根据操作系统类型，选择不同的下载...
应用场景
卡户营销 金融营销运营解决方案 提供银行卡精准促活、联名卡拉新、二类户线上拉新入金，包含不限于与银行客户进行隐私撞库、精准圈人、差异投放策略、动态权益定价等能力。能够提供 用卡全生命周期经营：银行用户卡户深度经营，联合场景...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、...挑选DBMS 解决方案的数据和分析负责人慢慢接受这样一个事实，即云DBMS是未来的发展方向。
发展历程
Gartner发布了《2017年分析型数据管理解决方案（DMSA）魔力象限》报告，阿里云作为云服务商成功冲进Gartner魔力象限。Forrester：CloudData Warehouse Q4 进入第三象限Contender象限。中国数字化转型与创新案例大会：年度大数据创新产品奖...
独享数据集成资源组
具有丰富的产品能力：支持离线数据同步。例如，增量与全量数据同步，单表及分库分表数据同步。详情请参见 离线同步能力说明。支持实时数据同步。例如，单表实时数据同步、整库实时数据同步。详情请参见 实时同步能力说明。提供一系列同步...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS MySQL、PolarDB MySQL版 和ECS自建MySQL。说明 来源库和目标库的数据库类型...
云数据库RDS简介
RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼。安全稳定可靠 历经考验：已支撑数十万用户的业务稳定运行，且经过双十一高并发、大数据量...
查询用户OSS或专属存储的归档数据
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。进入 数据归档工单列表 页面，视图 选择 归档视图。搜索目标数据归档工单。您可在搜索框中输入工单号、库名或表名等信息，单击 搜索，...
使用DMS和DG管理本地或他云数据库
背景信息 将本地或第三方云的数据库接入阿里云时，有以下几种解决方案，但是均存在一定的局限性：通过专线、VPN网关或智能网关接入：成本较高，不适用于个人用户。将数据库的服务端口暴露至公网：存在被攻击的安全风险。自建代理转发服务...
常见问题概览
数据库没有数据Owner时如何处理 数据变更 SQLConsole页面执行SQL语句超时中断解决方案 DMS控制台中执行数据变更任务时提示“Duplicate column name 'XXXXX'”使用新版DMS控制台进行变更时提示“Duplicate entry:XXXX”数据库返回“Row size...
数据传输预检查
本文为您介绍数据迁移项目预检查环节的常见报错和解决方案。数据迁移项目需要通过预检查才能成功启动。请根据现场情况和具体的报错信息，选择对应的解决方法。错误信息 报错原因 解决办法 增量日志参数检查未通过，错误参数 supplemental_...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
支持的数据源及同步方案
Lindorm数据源-LogHub（SLS）数据源-MaxCompute数据源-MariaDB数据源-Maxgraph数据源-Memcache（OCS）数据源-MetaQ数据源-MongoDB数据源-MySQL数据源-OpenSearch数据源-Oracle数据源-OSS数据源-OSS-HDFS数据源-PolarDB数据源-PostgreSQL...
- 产品推荐
- 这些文档可能帮助您