入湖基础操作
可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务低谷期执行此类任务，...
数据治理
敏感数据保护 对于业务中对数据保护的需求，您可以将数据进行动态或静态脱敏，在当前实验中，会将表（retail_e_commerce_2.dim_ec_mbr_user_info）中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导，更多数据保护...
手动续费（2.0版）
包月套餐数据库有到期时间，如果到期未续费，将导致业务中断甚至数据丢失，详情请参见 欠费或到期对数据库的影响。在包月套餐数据库未到期或者到期后7天内，您可以手动给数据库续费，延长数据库的使用时间。按量付费数据库没有到期时间，不...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
Transaction Table2.0概述
更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案可解决的业务痛点和主要架构功能。现状分析 当前典型...
业务分类
如您所在的集团或公司业务复杂且较为庞大时，可创建业务分类，对数据进行业务区分，便于对业务数据进行更加方便的管理。本文为您介绍如何创建业务分类并关联数据域及管理数据集市。新建业务分类 进入智能数据建模页面。登录 DataWorks控制...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
T+1多库合并建仓
解决方案 T+1多库合并建仓是指通过DLA控制台上的多库合并建仓向导将RDS中的分库分表数据聚合到统一的表中，并以分区表形式存储数据。您可以全局分析所有数据，也可以选择某个分区对分区数据进行分析，进行数据分析时会非常的方便，并且也不...
案例介绍
业务中台系统覆盖整个零售体系的会员（人）与商品/库存（货），并且集中处理订单与营销内容。电商系统与门店系统分别对应线上零售与线下零售。ERP系统主要是用于供应链管理。规划数仓 规划业务板块。某公司实行的是事业部制，各事业部之间...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
什么是云数据库Redis版
云数据库Redis版（ApsaraDB for Redis）是兼容开源Redis协议标准的数据库服务，基于双机热备架构及集群架构，可满足高吞吐、低延迟及弹性变配等业务需求。为什么选择云数据库Redis版 硬件部署在云端，提供完善的基础设施规划、网络安全保障...
功能简介
洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
Spark FAQ
本文汇总了使用DLA Spark的常见问题及解决方案。常见问题 如何处理Spark作业报错：The VirtualCluster's name is invalid or the VirtualCluster's is not in running state？如何处理Spark作业报错：User%s do not have right permission...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
结束数据迁移任务
对于需要停止或迁移失败（不再需要）的任务，您可以结束数据迁移任务，避免源数据库的数据覆盖写入至目标数据库中。前提条件 数据迁移任务处于 迁移中、已暂停、迁移失败 状态。影响 结束数据迁移任务后，数据迁移任务将处于 已完成 状态，...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
PolarDB-X适用场景
分布式快速改造 场景描述 当业务体量即将突破单机数据库承载极限和单表过大导致性能、维护问题时，分布式改造是解决上述问题的高性价比方案。数据库作为分布式改造的重点难点，"和使用单机数据库一样使用分布式数据库"一直是广大用户的核心...
用自然语言实时查看BI报表
PolarDB构建了 NL2BI解决方案：NL2BI是指「BI服务+NL2SQL」，即结合PolarDB数据库NL2SQL能力以及PolarDB高效数据查询和分析能力，基于内置的样本数据集和提问示例进行场景化体验，并以可视化图表的形式返回业务洞察结果。NL2BI解决方案降低...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
NL2BI：用自然语言实时查看BI报表
PolarDB构建了 NL2BI解决方案：NL2BI是指「BI服务+NL2SQL」，即结合PolarDB数据库NL2SQL能力以及PolarDB高效数据查询和分析能力，基于内置的样本数据集和提问示例进行场景化体验，并以可视化图表的形式返回业务洞察结果。NL2BI解决方案降低...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
保险行业解决方案与案例
也是信创工作中的重点和难点，因此该公司以数据库替代作为信创工作的切入点和突破口，计划用一年时间完成所有系统的数据库信创替代，根据实际情况逐步分步实施，利用 PolarDB PostgreSQL版（兼容Oracle）充分发挥高度兼容原生产数据库的...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
创建业务流程
创建业务流程 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 ...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
导入MongoDB数据
DataWorks（大数据开发治理平台）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，支持多种计算和存储引擎服务。本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请...
快速上手可观测链路 OpenTelemetry 版
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
时序引擎应用开发简介
2.数据建模 针对业务场景进行数据建模，需要确定创建数据库和时序数据表，确定时序数据表的标签、时间戳和量测值，并根据数据特征确定PRIMARY KEY用于数据分片。关于数据模型，请参见 数据模型。时序引擎提供了三种Schema约束策略，分别为...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
UDF开发（Java）
您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化业务需求。本文为您介绍如何通过Java语言编写UDF。使用...
数据库管理
本文为您介绍如何创建和删除 PolarDB PostgreSQL版 数据库。创建数据库 登录 PolarDB控制台。在控制台左上角，选择地域。单击目标集群ID。在左侧导航栏中，选择 配置与管理>数据库管理。单击 创建数据库。在 创建数据库 对话框中，设置以下...
常见问题
如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...
- 产品推荐
- 这些文档可能帮助您