数据管理DMS解决方案系列

为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 数据安全解决方案 数据开发解决方案 更多...

什么是云原生数据湖分析

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB\NoSQL)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统...

常见术语

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统Hadoop方案...

方案选择

本文主要为您介绍针对订单系统的一些传统解决方案,以及面对亿量级订单,表格存储提供的更全面的解决方案。传统方案一:MySQL分库分表 MySQL自身拥有强大的数据查询、分析功能,基于MySQL创建订单系统,可以应对订单数据多维查询和统计场景...

新建解决方案

将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产,进行版本化的解决方案创建及实例化,便于完成数据治理工作环境的初始化、跨平台的资产发布及迁移。本文介绍如何通过全新创建和根据已有...

通过操作审计查询行为事件日志

DIDeleteSolutionV1 旧版解决方案删除解决方案 DIStartSolutionV1 旧版解决方案运行解决方案(提交执行/重跑)DICloneSolutionV1 旧版解决方案克隆 DIFullSupplementData 旧版解决方案全量补数据 DownloadSqlResult 下载数据分析的SQL查询...

互联网服务:小打卡

客户价值 客户当前圈子打卡日记业务有10亿以上数据,每年有亿级增量,基于 PolarDB-X+RDS的分布式数据解决方案提供了海量数据存储和数据存储扩展能力,解决了10亿级数据在单机数据库的存储瓶颈。小打卡上有几百万活跃用户,业务发展较快...

离线同步能力说明

您可以根据数据库所在网络环境,选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前,您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通,对应数据库环境与网络连通配置详情请参见:配置资源...

某历史养成类游戏开发公司实时计算和数据仓库方案

解决方案 客户选择云数据库Lindorm SQL(Phoenix)服务+数据湖Spark服务构建实时计算和数据仓库解决方案。Lindorm SQL提供在线查询能力、Spark提供流式处理、复杂分析等能力来满足业务需求;梳理业务数据,对数据进行分层存储在Lindorm SQL...

ETL工具支持概览

数据迁移及同步方案综述:数据传输服务(DTS):阿里云提供的实时数据同步服务,可以将其他数据源(RDS MySQL,ECS自建MySQL,PolarDB等)实时同步数据到 AnalyticDB PostgreSQL版,构建实时数据仓库解决方案。阿里云的数据集成服务(Data ...

新零售:特步

解决方案 通过 PolarDB-X+RDS的分布式数据解决方案支撑O2O全渠道业务中台系统上线,通过垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性。通过这套架构...

敏感数据溯源

DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务,并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则,详情请参见 通过...

EMR+DLF数据解决方案

采用EMR+DLF数据解决方案,相对传统EMR数据湖方案有下列优点:DLF提供数据湖跨引擎的统一的,全托管免运维的元数据服务。支持可视化的元数据管理,以及多版本管理和回退。支持可视化一键元数据迁移。支持元数据全文检索。支持元数据...

新建数据库网关

在顶部菜单栏中,选择 解决方案>数据库网关。说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>解决方案>数据库网关。在 网关列表 页面,单击 新建网关。在弹出的对话框中,填写 网关名称 和 备注 信息,单击...

Delta Lake概述

很高 低 较高 事务性 支持 不支持 支持 性能 高 低 较高 扩展性 依赖于具体实现 高 高 面向人员 管理人员 管理人员、数据科学家 管理人员、数据科学家 成本 高 低 低 适用场景 Delta适用于云上数据数据管理解决方案。如果您存在以下场景...

Slowly Changing Dimension

本文为您介绍G-SCD的具体解决方案及如何通过G-SCD处理维度的数据。背景信息 SCD简介 Slowly Changing Dimension(SCD)即缓慢变化维,是随着时间变化的维度。在数据仓库中存储和管理当前和历史的数据,就需要考虑如何处理缓慢变化维,因此...

数据分析整体趋势

随着AWS,Azure,Alibaba,Google等云厂商的出现,云原生分布式数据仓库成为目前数据分析技术的主要解决方案,代表性云服务包括Amazon Redshift,Snowflake,Alibaba Cloud AnalyticDB,Google BigQuery等。这些云原生数据仓库技术分别起源...

应用场景

解决方案数据融合:通过数据引入功能,将业务系统数据集成、融合一体,统一基础数据数据建模:通过规范建模功能,结合业务发展需求,自顶向下设计标准的数据模型,统一公共数据数据生产:基于建模后系统代码自动化托管生产功能,快速...

数据库迁移

数据库迁移功能通过产品化解决方案的封装,实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型:RDS MySQL、PolarDB MySQL版 和ECS自建MySQL。说明 来源库和目标库的数据库类型...

创建Hologres数据

新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据,及能够向Hologres...详细内容,请参见 网络连通解决方案。单击 测试连接,测试数据源是否可以和Dataphin进行正常的连通。测试成功后,单击 确定,完成Hologres数据源的创建。

查询用户OSS或专属存储的归档数据

说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>解决方案>数据归档。进入 数据归档工单列表 页面,视图 选择 归档视图。搜索目标数据归档工单。您可在搜索框中输入工单号、库名或表名等信息,单击 搜索,...

某手游开发公司在离线一体分析方案

解决方案数据库Lindorm能适应业务的快速变化,支持灵活的Schema,动态列等。云数据库Lindorm能支持海量数据实时写入,百万/千万并发,PB级存储,同时HBase支持冷热数据分离,通过直接读写OSS降低日志存储成本。DLA Spark和云数据库...

操作指南

一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要,提前或者在问题发生时购买大数据专家服务,服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...

数据库安全解决方案

本文介绍云数据库、DTS(数据迁移上云)、DMS(数据安全管理)、DBS(数据备份)几个产品实现企业数据资产的安全管理解决方案,避免数据泄露、删库跑路等恶性事件的出现。详情参考:数据库安全解决方案

产品简介

主要包括:大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...

什么是数据传输服务DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建...

UpdateDIProjectConfig

调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务,则配置 DDL...

重启节点

PolarDB 提供了重启节点功能,您可以在控制台上手动重启节点解决数据连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点,您可以...

重启节点

PolarDB 提供了重启节点功能,您可以在控制台上手动重启节点解决数据连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点,您可以...

ListDIProjectConfig

调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务,则配置 DDL消息...

重启节点

PolarDB 提供了重启节点功能,您可以在控制台上手动重启节点解决数据连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点,您可以...

操作流程

流程图及说明 任务项 说明 创建解决方案 通过创建解决方案,将工作组内已加工完成的数据标准、数据模型、数据加工场景、数据服务API配置等信息,进行版本化解决方案封装。以整体解决方案为例,具体操作,请参见 新建解决方案。创建类型:...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

解决方案

数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产,经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式,灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据,确保...

功能简介

数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产,经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式,灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据,确保...

如何处理Tair集群数据倾斜

数据倾斜的临时方案 若实例已产生数据倾斜,您可以通过如下临时方案进行过渡,但以下临时方案无法解决数据倾斜的根源问题。同时,您也可以在短时间内可降低大Key、热Key的请求量,暂缓数据倾斜问题,但大Key、热Key问题只能通过业务上的...

如何处理Redis集群数据倾斜

数据倾斜的临时方案 若实例已产生数据倾斜,您可以通过如下临时方案进行过渡,但以下临时方案无法解决数据倾斜的根源问题。同时,您也可以在短时间内可降低大Key、热Key的请求量,暂缓数据倾斜问题,但大Key、热Key问题只能通过业务上的...

复制解决方案

基于原有解决方案,通过复制的方式生成新解决方案。本文介绍如何复制解决方案。前提条件 已有创建的解决方案。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 ...

入仓解决方案

入仓解决方案可添加和运行多个实时同步任务、实时迁移任务,实现全量或近实时增量迁移和集成数据,用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求,创建入仓解决方案同步线上库数据。入仓解决方案...

与标准SQL的主要区别及解决方法

解决方案请参见 在执行MaxCompute SQL过程中,使用NOT IN后面接子查询,子查询返回的结果是上万级别的数据量,但当IN和NOT IN后面的子查询返回的是分区时,返回的数量上限为1000。在必须使用NOT IN的情况下,该如何实现此查询?如果业务上...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
物联网无线连接服务 数据库备份 云数据库 RDS 数据传输服务 云服务器 ECS 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用