什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
金融大数据
架构优势：提供了结构化与非结构化数据的融合方案 满足了同时存在离线、在线、流数据的业务场景 解决了大数据平台的集成问题 为大数据平台的开发与管理提供了高效方案 金融风险控制方案 金融风险控制解决方案通过大数据画像、机器学习、...
产品简介
主要包括：大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...
某历史养成类游戏开发公司实时计算和数据仓库方案
解决方案 客户选择云数据库Lindorm SQL（Phoenix）服务+数据湖Spark服务构建实时计算和数据仓库解决方案。Lindorm SQL提供在线查询能力、Spark提供流式处理、复杂分析等能力来满足业务需求；梳理业务数据，对数据进行分层存储在Lindorm SQL...
04解决方案实例化
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何进行解决方案实例化操作。前提条件 已成功导入解决方案，具体操作，请参见 新建工作组并导入解决方案。操作步骤 登录 数据...
Delta Lake概述
很高 低 较高 事务性 支持 不支持 支持 性能 高 低 较高 扩展性 依赖于具体实现 高 高 面向人员 管理人员 管理人员、数据科学家 管理人员、数据科学家 成本 高 低 低 适用场景 Delta适用于云上数据湖数据管理解决方案。如果您存在以下场景...
HDFS云原生上云方案
Lindorm文件引擎 是面向海量非结构化数据的分布式文件存储服务，具有弹性、低成本的优势，提供100%的HDFS协议和使用体验，支持企业大数据中的HDFS无缝平滑上云，构建云原生时代的存储计算分离的大数据架构。方案总览 方案优势 简单：...
数据库连接
本文介绍设置数据连接数和关闭实例连接的方法。连接数限制 Gremlin客户端和服务端通过线程池进行交互，默认的连接运行同时最多有32个并发。如果并发超过32个，您可以修改Gremlin与图数据库GDB建立连接时使用的配置文件（例如 remote-...
数据迁移操作指导
背景知识 迁移方案概览 介绍数据迁移功能支持的数据库、数据库版本和迁移类型。异构数据库间的数据类型映射关系 由于不同的数据库支持的数据类型不一样，数据类型无法完全对应。DTS在执行结构迁移时，会根据目标库支持的数据类型进行类型...
数据模型架构规范
本文为您介绍数据模型架构规范。声明 本文以及后续章节中介绍的非功能性规范均为建议性规范，产品功能无强制，仅供指导。数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它...
实例化解决方案
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何实例化解决方案。前提条件 已成功导入解决方案，具体操作，请参见 导入解决方案。操作步骤 登录 数据资源平台控制台。在...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
重启节点
PolarDB 提供了重启节点功能，您可以在控制台上手动重启节点解决数据库连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点，您可以...
数据管理DMS解决方案系列
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 数据安全解决方案 数据开发解决方案 更多...
ListDIProjectConfig
调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
与标准SQL的主要区别及解决方法
解决方案请参见 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？如果业务上...
应用场景
金融级数据容灾 基于蚂蚁金服内部多年的金融级数据容灾场景，数据访问代理针对不同业务场景提供了多种机房级数据容灾解决方案，能够保障数据的稳定性与业务的连续性，为企业发展保驾护航。数据库流量分配 当系统提供了大量查询服务，且稳定...
白皮书合集
SOFAStack 提供了针对金融企业转型云原生架构以及单元化架构的解决方案：SOFAStack 白皮书（2021 版）SOFAStack 解决方案白皮书 单元化解决方案白皮书 Forrester 分析师报告：Forrester-SOFAStack 总体经济影响报告（TEI）-202006 ...
应用场景
商业版引擎的加持下，为您提供了新一代云数仓的解决方案。本文为您介绍Databricks数据洞察适用的典型应用场景。数据湖分析 Databricks数据洞察支持计算存储分离的数据湖架构。使用阿里云对象存储OSS作为云上存储，DDI集群提供灵活的计算...
查看解决方案日志
本文介绍如何查看解决方案日志。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 解决方案。在左侧导航栏，选择 整体解决方案>方案管理。在 方案管理 列表中，单击...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
Presto FAQ
解决方案：您可以在MySQL数据源把 net_write_timeout 参数的取值适当调高。如何处理向OTS写数据时报错：Code:OTSParameterInvalid,Message:Invalid update row request:missing cells in request？原因：OTS属性列为空。解决方案：您需要...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
目标数据库连接性检查
本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不正确 检测方法：在任何一台可以连接目标数据库的设备上，使用数据迁移任务中填入的数据库账号和...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
服务开通
本文将向您介绍如何开通跨链数据连接服务ODATS。操作步骤：前往 跨链数据连接服务，单击 立即购买 进入ODATS的购买页面。在购买页面，选择跨链通道数量及购买时长，单击 立即购买。请仔细阅读并同意跨链数据连接服务的《产品服务协议》和...
应用场景
库表级恢复 全量数据备份是最普遍的备份解决方案，发生数据误删除时，传统方案需要将整个实例数据全部恢复，然后从中找出误删除表，其他数据都丢弃掉，大部分时间花费在无效工作上，这种方案会大大延长故障恢复时间。为了降低数据库故障...
Transaction Table2.0概述
更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案可解决的业务痛点和主要架构功能。现状分析 当前典型...
总体流程
连接集群：以通过数据管理服务DMS（Data Management Service）连接 云数据库ClickHouse 集群为例，介绍如何连接 云数据库ClickHouse 集群。创建数据库：介绍如何使用DMS为 云数据库ClickHouse 集群创建数据库。创建表：以创建与On Time数据...
数据集成
本文为您介绍数据同步的相关内容。背景信息 除数据开发（DataStudio）的数据同步节点外，数据集成模块还支持多种类型同步方案，例如，全增量数据实时同步，整库离线同步等。数据集成模块与同步解决方案的更多介绍，详情请参见 支持的数据源...
某网约车公司车辆轨迹数据
解决方案 在原有的架构上引入了阿里云数据库，并将全量数据写到 云原生多模数据库 Lindorm 中，同时增量数据通过Kafka、Spark等实时同步到 云原生多模数据库 Lindorm，这样解决了客户线下数据库数据过大的问题。客户需要存储最近3年的数据...
数据集成：全领域数据汇聚
支持在各类复杂网络环境下，连通数据源的网络解决方案，无论数据源在公网、IDC还是VPC内，均可使用DataWorks数据集成实现网络连通。支持安全控制与运维监控，保障数据同步的安全、可控。核心技术与架构 引擎架构 采用星形引擎架构，数据源...
通过代理连接地址连接数据库
在读写分离、高并发读等业务场景中，建议在业务应用中将数据库连接地址配置为数据库代理连接地址，RDS PostgreSQL可以根据代理连接地址配置的读写属性和读权重进行自动分配，减少主实例负载。本文介绍如何通过数据库代理连接地址连接RDS ...
解决方案与客户案例
异地多活是新一代的容灾解决方案，在保证业务持续高可用的同时还能实现成本优化、地域级水平扩展、持续高可用等能力，本文会着重介绍阿里云主流数据库产品在异地多活场景下的解决方案。方案架构 异地多活从业务视角来看是通过对业务做自顶...
结构迁移/订正常见问题
本文介绍结构迁移/订正过程中的常见问题和解决方案。问题描述 源库迁移到PolarDB O引擎数据库时，结构订正提示“MCSS TABLE T_CUST_BUSINESS字段前面的注解缺失，每个字段前面都必须添加注解”。原因 元数据信息大小写敏感，在目标库中查不...
复制解决方案
本文介绍如何复制解决方案。前提条件 已有创建的解决方案。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 解决方案。在左侧导航栏，选择 整体解决方案>方案管理...
离线同步并发和限流之间的关系
来源端读取支持最大连接数：同步解决方案的离线全量数据初始化阶段，会基于JDBC建立到数据库连接并读取全量历史数据。此连接数即用来控制数据来源端支持的最大JDBC连接数，避免大量任务同时启动打满数据库连接池，影响数据库的稳定性。请...
- 产品推荐
- 这些文档可能帮助您