设置白名单规则
说明 数据库中被参数化后的SQL语句不支持在控制台修改，只能删除数据库表 proxy_auditing.sql_list 中的参数化SQL语句后重新添加。删除白名单规则 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在...
确定需求
举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（度量）以及汇总的范围多大（粒度）。例如，类目是维度，金额是度量，范围是全表。此外，还需要思考明细数据...
数据同步简介
数据同步源自蚂蚁集团内面向移动应用、从服务端到客户端进行海量数据推送的全链路解决方案—SYNC。该组件提供了一个安全的基于传输控制协议（Transmission Control Protocol，简称 TCP）和安全套接层（Secure Sockets Layer，简称 SSL）的...
业务切换流程
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
业务切换流程
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
确定需求
举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（度量）以及汇总的范围多大（粒度）。例如，类目是维度，金额是度量，范围是全表。此外，还需要思考明细数据...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
产品概述
系统化构建数据目录：基于规范化建模、高效自动化的元数据抽取，以标准的技术框架系统地构建规范的业务化数据目录，形成数据资产地图，方便业务查找及应用。高效的数据检索：基于元数据及业务数据构建数据图谱，实现快速、智能检索数据表及...
单元化介绍
数据库单点 紧接着数据库单点，解决起来就开始不那么容易了，典型的做法是先垂直拆分，再水平拆分，在这个过程中需要解决多数据源、数据分片、透明访问等问题。机房单点 当应用越来越多、服务器越来越多、数据库越来越多，单个机房的容量...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
我是管理员
解决方案 一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现...
步骤五：规范建模
在Dataphin中采用OneModel方法论将数据建模过程分为以下四层：主题域建模：在数据中台,主题对应一个宏观的分析领域，比如销售分析就是分析"销售"这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（10个左右...
步骤五：规范建模
在Dataphin中采用OneModel方法论将数据建模过程分为以下四层：主题域建模：在数据中台,主题对应一个宏观的分析领域，比如销售分析就是分析"销售"这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（10个左右...
标准版-双副本
Redis作为持久化数据存储使用的业务 标准版提供持久化机制及备份恢复机制，极大地保证数据可靠性。单个Redis性能压力可控的业务 由于Redis原生采用单线程机制，性能在10万QPS以下的业务建议使用。如果需要更高的性能要求，请选用集群版本。...
亿海蓝-航运大数据的可视化案例
解决方案 DLA Ganos 引擎对不同时空存储的存取进行了统一封装，降低编码难度。原始数据使用DLA Ganos进行高效预处理，降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中，Lindorm的低延迟、高性能、高吞吐查询能力...
通用
而如何保障“各个业务模块完美隔离，但仍能保持高并发协同开发”，落地一套适合海尔集团的“移动中台”技术选型迫在眉睫。解决方案 引入移动开发平台 mPaaS，各个业务模块实现独立开发、测试与发布。各业务模块的“资源、代码”等核心要素...
数据模型架构规范
主要从数据业务特性和访问特性两个角度来考虑：将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型；将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储。核心模型与扩展模型分离 建立核心模型与扩展模型体系...
【通知】控制台全新升级
为了提供更好的数据安全服务使用体验，从2022年07月29日起，阿里云数据安全中心控制台全新升级，基于感知、治理到防护的业务逻辑，助力企业建立标准化数据安全管理流程、提升数据安全治理效率。本文介绍本次控制台升级主要的功能变更和如何...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
发送业务数据
前提条件 控制台中已有一条推送配置并处于上线状态。操作步骤 在左侧导航栏点击 后台服务管理>数据同步，进入数据同步页面。在 配置管理 标签页下，点击配置列表中某条配置右侧的 操作 按钮，进入 新建同步 配置页面。填写对话框中的各个...
车辆数据分析和价值挖掘
分析洞察的结果可以配置为自定义服务API，也可以直接被用户业务系统集成调用，用户只需关注业务开发，无需关注设备数据的存储、备份、分析和API开放等技术细节，大大加快了业务中物联网数据应用的开发。前提条件 数据分析动洞察前需要进行...
概述
阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...
赛盒广告精细化管理方案
对数据库查询响应时长的需求 实际业务中要求数据库的查询相应时间小于20秒，经过测试，其他第三方OLTP（On-Line Transaction Processing）数据库中部分GROUP BY语句的响应时间超过40秒，难以满足业务需求。解决方案 针对以上问题，阿里云...
NL2BI：用自然语言实时查看BI报表
技术实现 技术架构 本解决方案背后的技术逻辑如下：用户通过控制台界面自定义资源的规格，通过ROS资源编排将对应的资源（包括ECS实例和PolarDB集群）快速拉起。将数据集数据导入到PolarDB中。在ECS上部署相关应用程序的服务，用于执行NL2...
NL2BI：用自然语言实时查看BI报表
技术实现 技术架构 本解决方案背后的技术逻辑如下：用户通过控制台界面自定义资源的规格，通过ROS资源编排将对应的资源（包括ECS实例和PolarDB集群）快速拉起。将数据集数据导入到PolarDB中。在ECS上部署相关应用程序的服务，用于执行NL2...
维度建模概述
DataWorks的数据建模产品遵循Kimball维度建模理论，使用DataWorks的维度建模功能进行数据仓库模型设计时，您可根据业务情况设计并创建维度表、明细表、汇总表、应用表，并可将模型快速发布到相应的研发引擎。同时，还可以使用逆向建模，将...
Tair助力厦门真有趣游戏业务从容应对流量洪峰
解决方案 为了解决这些业务挑战，真有趣选择了 云原生内存数据库 Tair，用于数据平台存储。Tair 作为高性能、高可靠的数据缓存服务，能够满足真有趣的需求。在游戏服场景下，使用 Tair 存储玩家数据，方便多业务共享数据。在游戏平台场景下...
Transaction Table2.0概述
更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案可解决的业务痛点和主要架构功能。现状分析 当前典型...
应用场景
金融领域中，个人和企业开卡、开户、登记、填写信息的过程中，地址信息存在行政区划缺、漏、错、假的现象，对于地址不全、错误、虚假等非标准化数据与风险，智能地址解析，可以快速识别此类型数据风险，有效提升数据质量，降低业务风险。...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
保险行业解决方案与案例
也是信创工作中的重点和难点，因此该公司以数据库替代作为信创工作的切入点和突破口，计划用一年时间完成所有系统的数据库信创替代，根据实际情况逐步分步实施，利用 PolarDB PostgreSQL版（兼容Oracle）充分发挥高度兼容原生产数据库的...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
T+1多库合并建仓
解决方案 T+1多库合并建仓是指通过DLA控制台上的多库合并建仓向导将RDS中的分库分表数据聚合到统一的表中，并以分区表形式存储数据。您可以全局分析所有数据，也可以选择某个分区对分区数据进行分析，进行数据分析时会非常的方便，并且也不...
数据集市
背景信息 数据集市是对某个业务分类制定细化的业务主题，并通过主题域，基于不同分析视角对目标集市中的数据进行主题划分，最终面向业务应用统计分析数据。例如，运营平台数据集市。创建数据集市 进入 数据集市。登录 DataWorks控制台，...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
数据字典
在数仓开发和数据分析过程中，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表时，您可以通过使用数据字典来替代维度表实现，避免使用Join语句，从而提升查询效率。注意事项 以下版本的 云数据库ClickHouse 集群不支持...
- 产品推荐
- 这些文档可能帮助您