应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

概述

背景信息 在大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和...

创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据中数据表的元数据,以实现通过元数据确定数据中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

管理数据库资产

在进行数据库审计前,您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型,请参见 支持的数据库类型。重要 数据库审计仅支持...

高压缩引擎(X-Engine)介绍

解决方案:PolarDB 高压缩引擎(X-Engine)为应对如上历史数据归档存储方面的挑战和诉求,PolarDB 基于如下技术创新和突破,推出了 高压缩引擎(X-Engine)产品系列:阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据...

数据质量管理流程

业务系统数据生成过程进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控,包括数据的质量风险和及时性。详情请参见:数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-...

数据质量管理流程

业务系统数据生成过程进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控,包括数据的质量风险和及时性。详情请参见:数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',...

计费

DTS实例的价格主要与计费方式、实例的功能类型、实例的集群类型、源和目标数据库实例所属的地域、链路数量、订购时长等有关,与数据库实例中数据量多少无关,具体价格请参考 DTS按量付费价格 和 DTS包年包月价格。重要 若源数据库为分布式...

应用场景

可以将访问频度非常高的数据存储在云数据库 Memcache 版,底层数据存储在 RDS 。大型促销类业务 大型促销秒杀系统系统整体访问压力非常。一般的数据库根本无法承载这样的读取压力,可选用云数据库 Memcache 版存储。带有计数器的...

通用数据开发

数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步不同业务系统数据至MaxCompute,方可通过MaxCompute的海量数据...

数据治理

敏感数据保护 对于业务中数据保护的需求,您可以将数据进行动态或静态脱敏,在当前实验中,会将表(retail_e_commerce_2.dim_ec_mbr_user_info)中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导,更多数据保护...

系统管理

本文介绍了在数据分析设置系统管理的具体操作。您可以在系统管理管理SQL查询任务时所使用的资源组。使用限制 仅阿里云主账号可以访问系统管理页面。系统管理的配置仅在本租户的当前地域生效。进入系统管理 进入数据分析。在左侧菜单...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

伯俊软件

所属行业:互联网、软件 网站地址:上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商,创立20余年,已为3000多家中型企业提供数字化管理产品、解决方案、“业务+数据中台、培训及专业的技术服务,客户覆盖零售、制造...

创建达梦(DM)数据

背景信息 达梦(DM)属于OLTP类型数据库,被集成在业务系统中。达梦(DM)数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点,融合了分布式、弹性计算与云计算的优势,具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...

混合存储型(已停售)

实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很的关系:实例规格越高,内存数据的访问比重越高,性能就越强。理想的场景中,所有的访问都命中内存,此时实例性能与Redis社区版实例基本一致;反之,在内存命中率...

Catalog概述

本文为您介绍什么是Catalog(数据目录),以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据:保存在StarRocks数据。外部数据:保存在外部数据源(例如Apache Hive、Apache Iceberg和Apache Hudi)数据。Catalog ...

Catalog概述

本文为您介绍什么是Catalog(数据目录),以及如何使用Catalog查询内外部数据。基本概念 内部数据:保存在StarRocks数据。外部数据:保存在外部数据源(例如,Apache Hive、Apache Iceberg和Apache Hudi)数据。Catalog StarRocks ...

分析业务过程

您可以参考业务规划设计文档以及业务运行(开发、设计、变更等)相关文档,全面分析数据仓库涉及的源系统业务管理系统:每个业务会生成哪些数据,存在于什么数据。对业务过程进行分解,了解过程的每一个环节会产生哪些数据数据的...

分析业务过程

您可以参考业务规划设计文档以及业务运行(开发、设计、变更等)相关文档,全面分析数据仓库涉及的源系统业务管理系统:每个业务会生成哪些数据,存在于什么数据。对业务过程进行分解,了解过程的每一个环节会产生哪些数据数据的...

概述

在迁移至 PolarDB PostgreSQL版(兼容Oracle)的过程,由于部分原因,先迁移了一部分业务系统上 PolarDB PostgreSQL版(兼容Oracle),此时其它业务还是在ECS自建PostgreSQL数据。由于已迁移的业务系统和剩余的其他业务之间有数据...

自媒体:易撰

自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...

审计经典网络数据库实例

如果需要审计经典网络数据库实例,您需要先通过ClassicLink功能实现经典网络的ECS与VPC数据库审计系统互通,并在经典网络的ECS上部署Agent程序。前提条件 VPC启用ClassicLink时,需要满足限定条件,具体请参见ClassicLink概述的 使用...

Data API功能简介

使用RDS Data API Service,可以将数据持久层从业务逻辑抽离出来,极地降低业务系统的复杂度,从而降低系统风险。架构图 安全认证体系 RDS Data API Service使用AK/SK+ARN(Aliyun Resource Name)的鉴权模式。用户无需在应用程序...

客户案例

基于飞天数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

数仓规划概述

业务分类 当企业业务比较复杂,不同类型业务彼此间需要共享数据域,但是又希望能在模型设计和应用过程快速定位本业务数据时,您可结合真实业务情况,规划不同的业务分类,在后续建模的维度表和明细表,将其关联到对应的业务分类。...

数据迁移与同步FAQ

本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步?DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么是数据迁移、数据同步?数据迁移:...

数据校验计费方式

本文介绍DTS数据校验任务的计费方式和计费标准。计费方式 全量数据校验任务当前仅支持按量付费(后付费)的计费方式。说明 按表行数进行校验 的校验模式不收费,按抽样比例进行HASH校验 的校验模式收费。更多信息,请参见下方计费标准的 全...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据数据同步到目标数据仓库OSS,...

大数据安全治理的难点

通常,数据系统中的工作流涉及多部门、多责任人且跨系统的数据,如何才能协调好这些业务系统准时、保质保量地产出数据,避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据,关乎到企业数据业务的连续性问题甚至高层的信任问题...

应用场景

背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 存储,或者经由物联网平台直接将原始数据写入 TSDB 存储。前端的监控...

新零售:特步

解决方案 通过 PolarDB-X+RDS的分布式数据解决方案支撑O2O全渠道业务中台系统上线,通过垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性。通过这套架构...

API概览

AttachDbfs 挂载数据库文件系统 调用AttachDbfs为一ECS实例挂载一个按量付费的数据库文件系统。ECS实例和数据库文件系统必须在同一个可用区内。DetachDbfs 卸载数据库文件系统 调用DetachDbfs从一ECS实例上卸载一个按量付费的数据库...

按应用关联

根据应用关联对应资源信息,选中目标应用后,系统自动选中关联此应用的上线API、有产出关系的场景、场景下包含的所有场景节点以及场景节点包含的所有逻辑表以及数据标准、数据源和全局配置。说明 工作组若有创建数据标准、数据源和全局变量...

数据传输费用(公网下载)

本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费,并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单,您可以进入 费用中心 查看。下载计费规则如下。计费公式 价格 说明 一次下载...

计费常见问题

本文汇总了数据传输服务DTS(Data Transmission Service)计费的常见问题。常见问题 Q:按量付费的计费方式下,手动结束了数据迁移实例或数据同步实例,还会继续收费吗?A:不收费。数据迁移实例仅在增量数据迁移正常运行期间计费(包含...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

聚合支付:Ping+

解决方案 Ping+业务早期均构建于RDS MySQL之上,数据体量从2016年1个亿至2017年5个亿发展到2018年10个亿,业务规模发展迅速,急需对数据库进行拆库分表。目前Ping+目前采用两个 PolarDB-X 实例,每个 PolarDB-X 实例挂载4个RDS MySQL。其中...

分析业务过程

用户在业务系统中,通过埋点或日常积累的方式,获取了充足的业务数据。为梳理数据之间的逻辑关系和流向,需要理解用户的业务过程及数据系统。您可以采用过程分析法,列出整个业务过程涉及的每个环节,包括技术数据系统环境等。分析完...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用