应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
高压缩引擎（X-Engine）介绍
解决方案：PolarDB 高压缩引擎（X-Engine）为应对如上历史数据归档存储方面的挑战和诉求，PolarDB 基于如下技术创新和突破，推出了 高压缩引擎（X-Engine）产品系列：阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据...
应用场景
大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的库存系统 云数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息，数据...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
伯俊软件
所属行业：互联网、软件 网站地址：上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造...
管理数据库资产
在进行数据库审计前，您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型，请参见 支持的数据库类型。重要 数据库审计仅支持...
Data API功能简介
使用RDS Data API Service，可以将数据持久层从业务逻辑中抽离出来，极大地降低业务系统的复杂度，从而降低系统风险。架构图 安全认证体系 RDS Data API Service使用AK/SK+ARN（Aliyun Resource Name）的鉴权模式。用户无需在应用程序中...
创建达梦（DM）数据源
背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...
创建达梦（DM）数据源
背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...
混合存储型（已停售）
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
概述
在迁移至 PolarDB PostgreSQL版（兼容Oracle）的过程中，由于部分原因，先迁移了一部分业务系统上 PolarDB PostgreSQL版（兼容Oracle），此时其它业务还是在ECS自建PostgreSQL数据库中。由于已迁移的业务系统和剩余的其他业务之间有数据...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
管理Dataphin数据源权限
区域 参数 描述 权限字段 选择需要申请Dataphin数据源中字段。权限配置 权限类型 系统支持选择 查询权限 和 写入权限：如果需要写入数据，则选择 写入权限。如果需要查看字段的数据，则选择 查询权限。权限账号 系统默认选择为 应用。权限...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
新零售：特步
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
调用Dataphin数据源
操作流程 步骤一：查询并申请Dataphin数据源 在数据服务市场中，查询符合您业务场景的Dataphin数据源。查询到后申请该Dataphin数据源的调用权限。步骤二：调用Dataphin数据源 根据调用Dataphin数据源示例，进行调用Dataphin数据源。步骤一...
聚合支付：Ping+
解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿发展到2018年10个亿，业务规模发展迅速，急需对数据库进行拆库分表。目前Ping+目前采用两个 PolarDB-X 实例，每个 PolarDB-X 实例挂载4个RDS MySQL。其中...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
我的申请
前提条件 已提交申请单，包括对API、数据表资产进行使用，具体操作，请参见：申请表资产 申请API资产 背景信息 申请单来源主要有：数据资产中心模块中对公开的API、数据表资产进行授权申请。研发工作台的统一服务模块中对上线API进行上架、...
产品概述
DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、移动端报表等各类数据可视化应用的搭建，并集成到您的业务系统中。...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
我的申请
前提条件 已提交申请单，包括对API、数据表资产进行使用，具体操作，请参见：申请表资产 申请API资产 背景信息 申请单来源主要有：数据资产中心模块中对公开的API、数据表资产进行授权申请。研发工作台的统一服务模块中对上线API进行上架、...
应用场景
交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务，最初采用的是分库分表的解决方案。分库分表的方案给核心业务带来了水平扩展的能力，同时也带来了灰度升级的能力，让核心业务的系统性风险大大降低。但随着支付宝业务的飞速发展，...
克隆快照
您可以基于已有的快照克隆出新的数据库文件系统。控制台上克隆快照 在数据库文件存储控制台左侧导航栏点击 快照 进入 数据库文件系统快照 页面。在顶部菜单栏左上角处，选择地域。选择需要克隆的快照，在右侧 操作 列中单击 克隆。设置文件...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
亿海蓝-航运大数据的可视化案例
解决方案 DLA Ganos 引擎对不同时空存储的存取进行了统一封装，降低编码难度。原始数据使用DLA Ganos进行高效预处理，降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中，Lindorm的低延迟、高性能、高吞吐查询能力...
申请外网地址
图数据库GDB支持申请外网连接地址，用于通过外网连接实例的场景。背景信息 图数据库GDB实例支持的网络类型为专有网络和外网，关于连接地址的详细说明请参见下表。地址类型 说明 专有网络VPC（Virtual Private Cloud）专有网络是一种隔离的...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
面临的业务挑战
这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑增加了企业存储和使用数据的成本。分析不实时 企业运营的形式越来越多样化，...
安装Agent
Agent程序是数据库审计系统提供的功能插件，您需要在用户终端、目标数据库服务器或连接数据库的应用服务器上安装Agent，用于将数据库访问流量转发到审计系统。本文介绍安装及卸载Agent的具体操作。安装位置 根据待审计的数据库类型，您需要...
产品概述
产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的，不光直接影响到终端用户的服务体验，同时也是业务数据的最后一道保险，所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...
IoT数据自动化同步至云端解决方案
下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute...
- 产品推荐
- 这些文档可能帮助您