OSS配置镜像回源后源和目标Object数据大小不一致
本文主要介绍OSS配置镜像回源后源和目标Object数据大小不一致的排查思路。问题描述 OSS上配置了镜像回源，回源到另外一个Bucket，但是目标Bucket上存储的Object大小和源上Object大小不一致。解决方案 OSS配置镜像回源后源和目标Object数据...
制品中心
阿里云容器镜像服务ACR推出的云原生制品中心为容器开发者提供了来源于阿里云官方和龙蜥社区的安全可信容器基础镜像，涵盖了应用容器化基础OS镜像、基础语言镜像以及AI/大数据相关镜像，支持多种系统架构，使得业务容器化过程更加便捷高效、...
创建任务工作负载Job
制品中心：包含应用容器化基础OS镜像、基础语言镜像、AI/大数据相关镜像，本示例以制品中心的Nginx镜像为例说明。关于制品中心的更多信息，请参见 制品中心。您还可以填写私有镜像。填写的格式为 domainname/namespace/imagename:tag。选择...
使用镜像创建无状态应用
制品中心：包含应用容器化基础OS镜像、基础语言镜像、AI/大数据相关镜像，本示例以制品中心的Nginx镜像为例说明。关于制品中心的更多信息，请参见 制品中心。说明 容器镜像服务ACR提供制品中心便于您的基础镜像使用，这些基础镜像由阿里云...
创建无状态工作负载Deployment
制品中心：包含应用容器化基础OS镜像、基础语言镜像、AI/大数据相关镜像，本示例以制品中心的Nginx镜像为例说明。关于制品中心的更多信息，请参见 制品中心。说明 容器镜像服务ACR提供制品中心便于您的基础镜像使用，这些基础镜像由阿里云...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
AI镜像构建及拉取加速方案
传统容器运行需要将全量镜像数据下载后再解包，然而容器启动可能仅使用其中部分的内容，导致容器启动耗时长。通过容器镜像服务企业版的按需加载功能，允许仅下载和解压容器启动所必需的部分，而不是整个镜像，从而大幅提高应用部署速度和...
使用数据镜像保护尚未写入完整的数据
云数据库MongoDB提供数据镜像能力，您可以对副本集实例或分片集群实例创建一个只读数据镜像。其中副本集最高支持3TB数据，集群版本最高支持96TB数据。使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取...
扩容数据盘分区
背景信息 基于自定义镜像创建自定义云电脑模板时，如果云电脑模板选择的数据盘容量超过镜像对应的数据盘容量，那么基于该云电脑模板创建的云电脑，其数据盘初始容量为镜像对应的数据盘容量，因此云电脑模板对应的数据盘超出的容量会处于未...
镜像使用说明
AI与大数据领域的镜像尺寸常见于GB级别，函数计算 一方面提高了镜像大小的限制，另一方面提供了镜像加速。本文介绍镜像大小限制、通用镜像加速方式以及官方基础镜像的说明和使用方式。未解压镜像大小限制 针对未解压镜像，镜像大小限制与您...
镜像使用说明
AI与大数据领域的镜像尺寸常见于GB级别，函数计算 一方面提高了镜像大小的限制，另一方面提供了镜像加速。本文介绍镜像大小限制、通用镜像加速方式以及官方基础镜像的说明和使用方式。未解压镜像大小限制 针对未解压镜像，镜像大小限制与您...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
ECS灾备解决方案
通过ECS镜像备份恢复数据 镜像可以为整个ECS实例的配置、操作系统、已安装的软件和数据进行全量备份。说明 使用ECS自定义镜像可能会产生快照费用以及镜像License费用。更多信息，请参见 镜像计费。通过云备份服务备份恢复与容灾 云备份...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
什么是容器镜像服务ACR
ACR企业版支持全球同步加速、大规模和大镜像分发加速、多代码源构建加速等全链路加速能力，与容器服务ACK无缝集成，帮助企业降低交付复杂度，打造云原生应用一站式解决方案。产品类型 容器镜像服务ACR企业版 容器镜像服务ACR企业版面向企业...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
变更云电脑或云电脑池的镜像
但如果选择的镜像数据盘容量大于云电脑当前数据盘容量，则禁止变更数据盘。变更 云电脑池 镜像或者池化云电脑镜像时，仅支持通过新镜像初始化系统盘，不支持替换原来的数据盘。效果 系统默认使用新的镜像来初始化云电脑的系统盘，原来云...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
使用容器镜像加签
加签类型：默认：加签范围有镜像Digest和镜像版本信息，默认模式适用于当前实例下镜像数据的验签。极简：加签范围仅有镜像Digest部分，不依赖镜像版本的信息。极简模式适用于跨实例镜像同步场景，镜像版本会变更对应镜像数据的验签。触发...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
使用Kafka客户端消费订阅数据
subscribe_example-master/javaimpl/src/main/java/recordgenerator/2、将获取的增量数据镜像执行反序列化，并从中获取 前镜像、后镜像 和其他属性。警告 如源实例为自建Oracle数据库，则为确保客户端成功消费订阅数据，并保证前后镜像完整...
访问VPC的服务关联角色
应用场景 ACR的镜像导入功能需要通过VPC迁移镜像数据。使用镜像导入功能将个人版实例镜像导入到企业版实例时，系统会自动创建服务关联角色AliyunServiceRoleForContainerRegistryConnectCustomerVPC，通过该角色获取访问VPC内资源权限。...
在Knative中使用镜像加速
背景信息 在创建ECI实例（Pod）时，大部分时间消耗在镜像下载阶段。为加速实例创建速度，ECI提供镜像缓存功能。您可以预先将需要使用的镜像制作成缓存快照，然后基于该快照来创建ECI实例（Pod），避免或者减少镜像层的下载，从而提升实例...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
镜像缓存概述
经实测，以使用Docker Hub的flink镜像（约386.26 MB）创建ECI实例为例，正常创建过程中，镜像准备阶段需要耗时50s，使用镜像缓存后，镜像准备阶段无需耗时，可以极大节约实例启动耗时。说明 具体提升速度由ECI实例中使用的镜像个数、镜像...
镜像缓存概述
经实测，以使用Docker Hub的flink镜像（约386.26 MB）创建ECI实例为例，正常创建过程中，镜像准备阶段需要耗时50s，使用镜像缓存后，镜像准备阶段无需耗时，可以极大节约实例启动耗时。说明 具体提升速度由ECI实例中使用的镜像个数、镜像...
镜像缓存概述
经实测，以使用Docker Hub的flink镜像（约386.26 MB）创建ECI实例为例，正常创建过程中，镜像准备阶段需要耗时50s，使用镜像缓存后，镜像准备阶段无需耗时，可以极大节约实例启动耗时。说明 具体提升速度由ECI实例中使用的镜像个数、镜像...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
- 产品推荐
- 这些文档可能帮助您