数据缓存概述

对于一些数据量较业务数据,例如训练模型等,ECI支持创建数据缓存(DataCache)来提前拉取数据,将数据缓存到本地,以便在创建ECI实例时可以直接挂载使用,从而减少实例启动耗时,避免数据重复下载,节约使用成本。本文为您介绍什么是...

数据缓存概述

对于一些数据量较业务数据,例如训练模型等,ECI支持创建数据缓存(DataCache)来提前拉取数据,将数据缓存到本地,以便在创建ECI实例时可以直接挂载使用,从而减少实例启动耗时,避免数据重复下载,节约使用成本。本文为您介绍什么是...

数据缓存计费

计费说明 数据缓存用于提前拉取业务所需的大量数据(例如训练模型等),以便在创建ECI实例时可以直接挂载使用数据。一个数据缓存对应一个快照,创建和使用数据缓存涉及的计费项及其计费规则说明如下。更多关于数据缓存的信息,请参见 数据...

使用数据缓存创建实例

创建数据缓存后,您可以使用数据缓存创建ECI实例,将缓存好的数据直接挂载到ECI实例中,免去拉取数据的等待时间,加速业务启动。本文介绍如何使用数据缓存创建ECI实例。前提条件 已创建数据缓存。具体操作,请参见 创建数据缓存。配置说明 ...

产品简介

适用场景 如果您在大数据业务场景中遇到如下问题,可以通过阿里云数据专家获取专属服务:受限于传统数据工作开展方式及组织管理模式,数字化转型中遇难到数据各方面瓶颈;根据业务发展,难以从全局构建稳定的、变化的、集成的数据...

创建和管理数据缓存

数据缓存可以提前拉取业务所需数据,以便在创建ECI实例时可以直接挂载使用。本文介绍数据缓存的配置参数以及如何创建、查询、更新、拷贝和删除数据缓存。创建数据缓存 创建方式如下:OpenAPI:调用CreateDataCache接口可以创建数据缓存。更...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

CreateDataCache-创建数据缓存

创建镜像缓存前,您需要评估待缓存数据的大小,如果数据大小超过设置的缓存大小,将会创建失败。创建数据缓存时,系统将自动创建一个 ECI 实例和一块 ESSD 云盘用于中转创建数据缓存。创建过程中请勿删除 ECI 实例和云盘,否则数据缓存将...

DescribeDataCaches-查询数据缓存

可能值:Loading:缓存数据中 Creating:创建中 Available:创建成功 Failed:创建失败 Updating:更新中 UpdateFailed:更新失败 当状态为 Ready 时,即可使用该数据缓存。Available Progress string 创建进度。100%LastMatchedTime ...

外部表概述

随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力,正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...

UpdateDataCache-更新数据缓存

更新一个数据缓存。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...

Dataphin中业务板块数据域和项目之间的关系

产品名称 Dataphin 产品模块 数据域 概述 本文描述Dataphin业务板块数据域和项目之间的关系。问题描述 Dataphin业务板块数据域和项目之间的关系是什么?问题原因 NA 解决方案 业务板块是逻辑空间的重要组成部分,是基于业务特征划分的...

产品架构

PolarDB-X 1.0 承担着OLTP在线核心数据库的职责与定位,可与数据集成、数据传输,缓存大数据生态配合使用。产品架构图 内核架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成,通过挂载多个MySQL进行分库分表水平拆分。如同...

创建数据板块

数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用,请升级当前版本。升级版本,请参见 升级。在开始...

步骤二:规划数仓

背景信息 数据板块数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例,作为数据板块的命名空间。计算源:为数据的处理提供计算及存储资源。项目:项目是Dataphin的基本组织单元,是进行...

创建主题域

主题域由数据域升级而来,用于存放同一数据板块内不同意义的指标,如商品域、交易域、会员域等。...后续步骤 完成数据板块的主题域创建后,即可为该数据板块创建业务实体(业务对象或业务活动),详情请参见 创建并管理业务实体。

管理动态脱敏白名单

数据板块:选择数据表的业务板块。选中 全部,即选中所有的业务板块。选中 枚举 后,需配置业务板块,支持多选。选中 自定义 后,请输入正则表达式匹配业务板块,例如:您需要匹配所有名称中带有test的业务板块,则正则表达式定义为.*test....

低成本RDS历史库

背景信息 在移动互联网高度发达的今天,每天都会有大量的业务数据产生,随着时间的积累和业务的发展数据量呈大幅增长,同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战:...

应用场景:低成本历史库

背景信息 在移动互联网高度发达的今天,每天都会有大量的业务数据产生,随着时间的积累和业务的发展数据量急剧增长,同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...

数仓规划权限列表

权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...

Fast Query Cache

实践指南 在缓存数据集大小明确的情况下,例如使用SQL_CACHE关键字对指定表开启Query Cache,可以参照前面的测试进行性能评估。接下来将对Fast Query Cache的使用作一些补充说明。适用场景指南 Fast Query Cache主要目的是提高读操作性能,...

创建标签项目

说明 若数据板块为Dev-Prod模式,归属Prod业务板块的Basic项目中不可以构建规范建模对象,仅可以构建基础层、应用层数据,以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下:包含字母、...

新零售:杭州数云信息技术有限公司

数云客户业务是天猫CRM系统提供商,客户数据库的部署模式是多租户部署,即每个实例上会部署一个或多个数云的客户的数据,因此数云使用的数据库实例数据量都比较,较的实例存储容量一般在2 TB~3 TB左右,约有上百个实例来满足该业务需求...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

云数据库RDS MySQL版

RDS MySQL基于阿里巴巴的MySQL源码分支,经过双十一高并发、大数据量的考验,拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据库管理、备份恢复、白名单、透明数据加密以及数据迁移等基本功能。RDS MySQL详情请参见 RDS MySQL云数据...

支持的云服务

基于MaxCompute的数据仓库能力,您可以与阿里云其他产品集成,实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力,构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...

Hive连接器

使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,阿里云OSS)中。存储着数据文件到Schema和...

增量导出发布包

例如需导出特定时间段内的变更或指定业务板块/项目下对象时,可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等,详情请参见 ...

查看Dataphin数据表校验记录

数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名,可进入查看校验详情页面,详情请参见 Dataphin数据表校验记录详情。单击 图标,可进入查看质量报告页面。在执行中的校验对象,您可单击停止 图标,终止...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

RDS搭配异构数据库实现数据多样化存储

缓存数据持久化相关案例请参见 缓存数据持久化。多结构数据存储 OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。RDS可以和OSS搭配使用,组成多类型数据存储解决方案。例如,当业务应用为论坛时,RDS搭配OSS使用,论坛用户...

查看并编辑表规范及管控研发流程

研发规范用于定义板块级别数据表的时间分区、业务日期、表命名规范及业务对象、业务活动的研发流程管控。本文为您介绍如何查看并编辑表规范及业务对象、业务活动的研发流程管控。前提条件 开始执行操作前,请确认您已完成数据板块的创建,...

请求CDN加速域名出现跨域问题并提示“The 'Access-...

问题描述 请求CDN加速域名出现跨域报错,具体信息如下:The 'Access-Control-Allow-Origin' header has a value 'xxx' that is ...且为了避免这种情况的发生,建议在CDN上配置Cache-Control为no-cache,强制浏览器不缓存数据。适用于 CDN DCDN

大数据安全治理的难点

通常,数据系统中的工作流涉及多部门、多责任人且跨系统的数据,如何才能协调好这些业务系统准时、保质保量地产出数据,避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据,关乎到企业数据业务的连续性问题甚至高层的信任问题...

新建虚拟维度逻辑表

虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象,例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建,具体操作请参见 创建并管理业务实体。步骤一:新建...

聚合支付:Ping+

PolarDB-X 专注解决海量数据存储、超高并发吞吐、表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型。本文介绍Ping+如何通过 PolarDB-X 应对业务挑战。所属行业...

资产全景

资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据,包括以下三种模式:全局模式:以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式:展示数据的流入、整合与输出过程,更直观的体现数据加工...

配置逻辑表基本信息

您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息,包括逻辑表的表类型、业务对象、数据板块,主题域、数据时效等基本信息,同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口,...

产品架构

业务背景 伴随着信息技术的飞速发展,各行各业在业务生产中产生的数据种类越来越多,有结构化的业务元数据、业务运行数据、设备或者系统的量测数据,也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案,为了满足多种类型...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用