产品简介
主要包括：大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...
区域热力层（v4.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
区域热力层（v3.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
功能特性
例如：在部分场景中，数据加载耗时可占据训练整体时长60%以上，KSpeed能够实现内存级数据主动预加载，数据加载时长缩减到10%以内，相当于把单位时间内的计算性能提升了1倍。GPU容器虚拟化方案eGPU 针对AI作业规模庞大、GPU硬件资源昂贵、...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
伯俊软件
所属行业：互联网、软件 网站地址：上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
混合存储型（已停售）
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
规格及选型
多个实例间可实现数据共享，无需担心业务中台的发展和数据体系建设会造成数据孤岛；独立的实例可完全保证资源隔离；每个业务的使用情况也可以直接反映在账单上。案例八：构建数据开发平台 用户需要构建一个数据开发平台，期望减少开发过程...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
新零售：特步
业务架构 客户价值 基于 PolarDB-X+RDS的分布式数据库解决方案+业务中台提升客户数据链路的时效性以及客户业务系统的吞吐能力，使订单、库存、商品、销售的数据能实时从业务端到业务中台再到报表系统做销售业务决策。基于 PolarDB-X+RDS的...
规划工作空间
大型数仓，企业数仓公共层，数据中台。优点 工作空间成员与组织架构一致，人员组成最稳定，数据安全性最高。同时计算、存储成本归属清晰。工作空间内业务专一，人员可根据业务动态调整，数据链路清晰，易运维。数据架构清晰，共享便利，...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
加载样本数据集
单击页面右上方的 样本数据集>加载数据集。在 加载样本数据集 对话框中单击 确定加载。登录数据库并切换到 adb_sampledata_tpch 库，执行 SELECT count(*)FROM lineitem;语句查询样本数据的行数，完整的样本数据约为599万条。说明 样本数据...
管理数据库
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
管理数据库
创建RDS MySQL实例后，您需要在实例中创建与您业务相关的数据库。RDS MySQL支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库...
管理样本数据集
单击页面右上方的 样本数据集>加载数据集。在 加载样本数据集 对话框中单击 确定加载。释放样本数据集 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。找到目标实例，单击实例ID。单击页面右上方的...
管理内置数据集
加载内置数据集耗时约6~8分钟，加载数据集期间会占用user_default资源组中的计算预留资源，确保user_default资源组中至少预留16 ACU的计算资源用于数据初始化。请确保集群具有至少24 ACU的存储预留资源，否则加载内置数据集会失败。集群中...
划分数据域
数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、单击 交易域 下单、支付、发货、确认收货 服务域 商品收藏、拜访、培训、优惠券领用 采购域 商品采购、供应链管理
划分数据域
例如A公司电商营销业务板块可以划分为如下数据域，数据域中每一部分都是实际业务过程经过归纳抽象之后得出的。数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、点击 交易域 下...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算...
维度建模
以上示意图引用自阿里巴巴数据技术及产品部《大数据之路：阿里巴巴大数据实践》。实验预期：本文操作结果 预期的分层划域，下图中从下到上数仓分层，从左到右划分数据域。这里您仅需了解一下概貌，后面会一步一步配置，蓝色字体为本实验中...
添加业务实时监控服务ARMS数据源（已下线）
本文档为您介绍在DataV中添加实时监控服务ARMS数据源的方法，以及相关参数配置说明。业务实时监控服务（Application Real-Time Monitoring Service，简称ARMS）是一款APM类的监控产品。用户可基于ARMS的前端、应用和自定义监控功能，快速...
添加业务实时监控服务ARMS数据源（已下线）
本文档为您介绍在DataV中添加实时监控服务ARMS数据源的方法，以及相关参数配置说明。业务实时监控服务（Application Real-Time Monitoring Service，简称ARMS）是一款APM类的监控产品。用户可基于ARMS的前端、应用和自定义监控功能，快速...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
逻辑结构说明
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
新建补数据计划
在任务流中新建补数据计划 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 任务流。在 任务流列表 中，单击目标任务流 操作 列的...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
- 产品推荐
- 这些文档可能帮助您