应用场景

可以将访问频度非常高的数据存储在云数据库 Memcache 版,底层数据存储在 RDS 。大型促销类业务 大型促销秒杀系统系统整体访问压力非常。一般的数据库根本无法承载这样的读取压力,可选用云数据库 Memcache 版存储。带有计数器的...

通用数据开发

数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步不同业务系统数据至MaxCompute,方可通过MaxCompute的海量数据...

伯俊软件

所属行业:互联网、软件 网站地址:上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商,创立20余年,已为3000多家中型企业提供数字化管理产品、解决方案、“业务+数据中台、培训及专业的技术服务,客户覆盖零售、制造...

Data API功能简介

使用RDS Data API Service,可以将数据持久层从业务逻辑抽离出来,极地降低业务系统的复杂度,从而降低系统风险。架构图 安全认证体系 RDS Data API Service使用AK/SK+ARN(Aliyun Resource Name)的鉴权模式。用户无需在应用程序...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

数据质量管理流程

业务系统数据生成过程进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控,包括数据的质量风险和及时性。详情请参见:数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',...

数据质量管理流程

业务系统数据生成过程进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控,包括数据的质量风险和及时性。详情请参见:数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-...

新零售:特步

解决方案 通过 PolarDB-X+RDS的分布式数据解决方案支撑O2O全渠道业务中台系统上线,通过垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性。通过这套架构...

分析业务过程

用户在业务系统中,通过埋点或日常积累的方式,获取了充足的业务数据。为梳理数据之间的逻辑关系和流向,需要理解用户的业务过程及数据系统。您可以采用过程分析法,列出整个业务过程涉及的每个环节,包括技术数据系统环境等。分析完...

分析业务过程

业务过程进行分解,了解过程的每一个环节会产生哪些数据,数据的内容是什么数据在什么情况下会更新,更新的逻辑是什么。业务过程可以是单个业务事件,例如交易的支付、退款等;也可以是某个事件的状态,例如当前的账户余额等;还可以...

分析业务过程

业务过程进行分解,了解过程的每一个环节会产生哪些数据,数据的内容是什么数据在什么情况下会更新,更新的逻辑是什么。业务过程可以是单个业务事件,例如交易的支付、退款等;也可以是某个事件的状态,例如当前的账户余额等;还可以...

应用场景

背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 存储,或者经由物联网平台直接将原始数据写入 TSDB 存储。前端的监控...

管理缓存

Alluxio利用E-MapReduce(简称EMR)集群的本地节点的内存和磁盘对数据进行分布式缓存。本文为您介绍缓存相关的内容。前提条件 已创建集群,并选择了Alluxio服务,详情请参见 创建集群。已登录集群,详情请参见 登录集群。背景信息 EMR默认...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据数据同步到目标数据仓库OSS,...

客户案例

基于飞天数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

产品概述

产品特点 稳定 对于绝部分应用而言,关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的,不光直接影响到终端用户的服务体验,同时也是业务数据的最后一道保险,所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...

资产大盘

数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据,并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...

创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据中数据表的元数据,以实现通过元数据确定数据中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据中数据表的元数据,以实现通过元数据确定数据中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

查看会话日志

数据库审计系统查看到的会话日志来源是日志服务,您可以在日志服务控制查看和下载数据库审计服务创建的Project和Logstore记录的会话日志数据。操作步骤 登录 日志服务控制。在Project列表处,查看数据库审计相关的Project,单击...

概述

在迁移至 PolarDB PostgreSQL版(兼容Oracle)的过程,由于部分原因,先迁移了一部分业务系统上 PolarDB PostgreSQL版(兼容Oracle),此时其它业务还是在ECS自建PostgreSQL数据。由于已迁移的业务系统和剩余的其他业务之间有数据...

面临的业务挑战

这些不同来源、不同格式的数据,各自又有不同的访问和分析方式,而大量传统企业基于关系数据库构建自己的业务系统,已经非常熟悉按SQL的方式去使用数据,这无疑增加了企业存储和使用数据的成本。分析不实时 企业运营的形式越来越多样化,...

查看会话日志

在日志服务控制查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志,在数据库审计系统查看到的会话日志来源是日志服务,您可以在日志服务控制查看和下载数据库审计服务创建的Project和Logstore记录的会话日志数据。...

高压缩引擎(X-Engine)介绍

解决方案:PolarDB 高压缩引擎(X-Engine)为应对如上历史数据归档存储方面的挑战和诉求,PolarDB 基于如下技术创新和突破,推出了 高压缩引擎(X-Engine)产品系列:阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据...

管理数据库资产

在进行数据库审计前,您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型,请参见 支持的数据库类型。重要 数据库审计仅支持...

查看审计日志

本文介绍了如何在云盾数据库审计系统和在日志服务控制查询审计日志。在数据库审计系统查看审计日志 登录云盾数据库审计系统。具体操作,请参见 登录数据库审计系统。在左侧导航栏,选择 查询分析>审计日志。选择资产名称、时间范围等检索...

创建Impala数据

通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群大量数据的SQL查询引擎。如果您使用的是Impala,在导出Dataphin数据至...

规范定义最佳实践

数据业务含义存在较差异时,您可以创建不同的数据板块,让各成员独立管理不同的业务,后续数据仓库的建设将按照数据板块进行划分。在Dataphin,项目可以归属至数据板块以实现规范建模功能,同一个数据板块可能包含多个不同的项目...

规范定义最佳实践

数据业务含义存在较差异时,您可以创建不同的数据板块,让各成员独立管理不同的业务,后续数据仓库的建设将按照数据板块进行划分。在Dataphin,项目可以归属至数据板块以实现规范建模功能,同一个数据板块可能包含多个不同的项目...

产品简介

适用场景 如果您在大数据业务场景遇到如下问题,可以通过阿里云数据专家获取专属服务:受限于传统数据工作开展方式及组织管理模式,数字化转型遇难到数据各方面瓶颈;根据业务发展,难以从全局构建稳定的、变化的、集成的数据...

应用场景

解决方案数据同步:通过数据同步功能,将不同业务系统数据汇聚到统一的存储计算引擎,实现数据的初步融合。数据标准:管理数据标准和构建数据模型,将数据标准贯彻到数据质量分析、保障及检查的全过程,将散乱的多源异构数据加工成标准...

保险行业解决方案与案例

也是信创工作的重点和难点,因此该公司以数据库替代作为信创工作的切入点和突破口,计划用一年时间完成所有系统数据库信创替代,根据实际情况逐步分步实施,利用 PolarDB PostgreSQL版(兼容Oracle)充分发挥高度兼容原生产数据库的...

数据治理

数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较?数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游?哪些类型的Hive表支持在数据地图预览?数据保护伞 数据保护伞为什么有时候查询脱敏有...

数据集成概述

说明 以业务数据数据同步到MaxCompute数据仓库为例,当有大量的数据存储在数据系统里,需要将数据的全量及增量数据同步到MaxCompute进行数仓分析时,数据集成传统方式是通过全量同步或者依赖数据库表的 modify_time 等字段进行...

IoT数据自动化同步至云端解决方案

下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统解决方案流程。新建离线同步节点,详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取,详情请参见 OSS Reader。选择数据去向进行写入,本文以 MaxCompute...

适用场景

对于部分业务而言,只要SQL语法、数据类型、事务、索引支持较为完整,且具备有效手段可在各种极端场景下进行水平扩展,那么对于高速发展的业务而言,PolarDB-X 1.0 即是所有分布式数据最具生命力及延续性的方案。按成本选择 对于数据...

亿海蓝-航运大数据的可视化案例

解决方案 DLA Ganos 引擎对不同时空存储的存取进行了统一封装,降低编码难度。原始数据使用DLA Ganos进行高效预处理,降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm,Lindorm的低延迟、高性能、高吞吐查询能力...

逻辑结构说明

项目 项目是一种物理空间上的划分,便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度,是指一种视角,是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...

数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前,您需要了解...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用