应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
管理数据库资产
在进行数据库审计前，您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型，请参见 支持的数据库类型。重要 数据库审计仅支持...
高压缩引擎（X-Engine）介绍
解决方案：PolarDB 高压缩引擎（X-Engine）为应对如上历史数据归档存储方面的挑战和诉求，PolarDB 基于如下技术创新和突破，推出了 高压缩引擎（X-Engine）产品系列：阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',...
数据质量管理流程
在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控，包括数据的质量风险和及时性。详情请参见：数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-...
创建通用项目
贴源层：通常用来存储从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
应用场景
大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的库存系统 云数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息，数据...
数据治理
敏感数据保护 对于业务中对数据保护的需求，您可以将数据进行动态或静态脱敏，在当前实验中，会将表（retail_e_commerce_2.dim_ec_mbr_user_info）中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导，更多数据保护...
创建标签项目
贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
伯俊软件
所属行业：互联网、软件 网站地址：上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
全场景解决方案
降低总体拥有成本 帮助客户快速构建“核心业务系统”、“业务中台”等解决方案，降低时间成本。开放的 X86 架构，灵活的弹性调度，统一信息标准，以及配套的分布式治理工具，帮助客户精准、高效的治理运维，降低总体拥有成本。客户案例 暂...
创建达梦（DM）数据源
背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...
创建达梦（DM）数据源
背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...
混合存储型（已停售）
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks ...
概述
在迁移至 PolarDB PostgreSQL版（兼容Oracle）的过程中，由于部分原因，先迁移了一部分业务系统上 PolarDB PostgreSQL版（兼容Oracle），此时其它业务还是在ECS自建PostgreSQL数据库中。由于已迁移的业务系统和剩余的其他业务之间有数据...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
Data API功能简介
使用RDS Data API Service，可以将数据持久层从业务逻辑中抽离出来，极大地降低业务系统的复杂度，从而降低系统风险。架构图 安全认证体系 RDS Data API Service使用AK/SK+ARN（Aliyun Resource Name）的鉴权模式。用户无需在应用程序中...
数仓规划概述
业务分类 当企业业务比较复杂，不同类型业务彼此间需要共享数据域，但是又希望能在模型设计和应用过程中快速定位本业务的数据时，您可结合真实业务情况，规划不同的业务分类，在后续建模的维度表和明细表中，将其关联到对应的业务分类中。...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
按应用关联
根据应用关联对应资源信息，选中目标应用后，系统自动选中关联此应用的上线API、有产出关系的场景、场景下包含的所有场景节点以及场景节点包含的所有逻辑表以及数据标准、数据源和全局配置。说明 工作组若有创建数据标准、数据源和全局变量...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
API概览
AttachDbfs 挂载数据库文件系统 调用AttachDbfs为一台ECS实例挂载一个按量付费的数据库文件系统。ECS实例和数据库文件系统必须在同一个可用区内。DetachDbfs 卸载数据库文件系统 调用DetachDbfs从一台ECS实例上卸载一个按量付费的数据库...
新零售：特步
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
系统管理
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
构建数据仓库
方案优势：阿里巴巴大数据最佳实践，高性能、低成本、Serverless服务，免运维、全托管模式，让企业的大数据研发人员更聚焦在业务数据的开发、生产、治理。产品组合：MaxCompute+Flink+DataWorks。场景说明 用户数据来源丰富，包括来自云端...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
聚合支付：Ping+
解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿发展到2018年10个亿，业务规模发展迅速，急需对数据库进行拆库分表。目前Ping+目前采用两个 PolarDB-X 实例，每个 PolarDB-X 实例挂载4个RDS MySQL。其中...
- 产品推荐
- 这些文档可能帮助您