保险行业解决方案与案例
需求背景 某保险公司（中国前三）核心及业务系统迁移是当前保险业机构最大规模的数据库国产化改造项目。该公司依托云计算技术和互联网技术构建了分层清晰的数字化平台，推动技术架构和技术标准的统一，实现系统间整合和内通外联，同时，...
创建可视化应用
本文为您介绍使用模板创建可视化应用的方法。...在 创建数据大屏 对话框中，输入可视化应用名称并选择一个分组。单击 创建。应用创建成功后跳转到画布编辑器页面，可以看到一款满足展示企业新零售业务相关数据且设计精良的模板。
PolarDB-X间的数据实时同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
创建并使用MaxCompute表
进入数据开发（DataStudio）登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建MaxCompute表 您可在DataWorks表管理目录中新建，也可在具体业务流程下，针对该业务...
创建并使用MaxCompute表
进入数据开发（DataStudio）登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建MaxCompute表 您可在DataWorks表管理目录中新建，也可在具体业务流程下，针对该业务...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
通过数据订阅实现缓存更新策略
同时，为保证数据的完整性，业务的更新数据持久化存储至RDS MySQL中。此时，业务需要实现缓存更新策略，保证业务数据更新后，缓存中的数据能够被同步更新。操作步骤 本文以IntelliJ IDEA软件为例，介绍如何运行SDK示例代码来消费订阅数据。...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），您可以将 ...
有数BI
AnalyticDB MySQL版 支持您将 AnalyticDB MySQL版 数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接 AnalyticDB MySQL版，并进行可视化数据分析。前提条件 在执行操作前，请确认您已满足...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
从PolarDB MySQL版同步至Elasticsearch
查看同步后的索引和数据 数据同步作业处于 同步中 状态后，您可以连接Elasticsearch实例（本案例使用 Head插件 进行连接），确认创建的索引和同步的数据是否符合业务的预期。说明 如果不符合业务预期，您可以删除该索引及对应的数据，然后...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），您可以将 ...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），您可以将 ...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
创建业务流程
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
生命周期管理介绍
适用场景说明 数据湖中存在大量数据库/表的历史数据，这些历史数据随着时间变化，不再被业务使用，期望转为成本更低的低频、归档，冷归档类型存储。例如：订单表（按pt分区，如pt=20220101），业务诉求为仅分析近3年数据，而历史分区数据...
从ECS上的自建MySQL同步至Elasticsearch
查看同步后的索引和数据 数据同步作业处于 同步中 状态后，您可以连接Elasticsearch实例（本案例使用 Head插件 进行连接），确认创建的索引和同步的数据是否符合业务的预期。说明 如果不符合业务预期，您可以删除该索引及对应的数据，然后...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
警告 由于此场景属于异构数据库间的数据同步，数据类型无法一一对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 结构初始化涉及的数据类型映射关系。选择同步对象时支持的粒度为表（不支持AO表），支持修改列的映射关系。若...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
警告 由于此场景属于异构数据库间的数据同步，数据类型无法一一对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 结构初始化涉及的数据类型映射关系。选择同步对象时支持的粒度为表（不支持AO表），支持修改列的映射关系。若...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数仓规划概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。详情请参见 数据域。业务过程...
DataV
DataV数据可视化是使用可视化大屏的方式来分析并展示庞杂数据的产品，您可以在DataV中新建 AnalyticDB MySQL 数据源，通过DataV对 AnalyticDB MySQL 数据进行可视化分析。在DataV中新建AnalyticDB MySQL数据源 登录 DataV控制台。选择 我的...
入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
创建数仓分层
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 数仓规划，默认进入 数仓分层 页面。创建分层。单击 新建分层，在 新建数仓...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
从PolarDB MySQL版同步至RDS MySQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
执行补数据并查看补数据实例（旧版）
代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码有关。本文为您介绍旧版补数据如何执行补数据操作并管理补数据实例。背景...
从RDS MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
图层配置项说明
您可以根据业务需求选择合适的图层数据配置方式，当不需要在可视化中多次修改数据时，可以选择在场景编辑器中直接配置图层的数据内容；当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
图层配置项说明
您可以根据业务需求选择合适的图层数据配置方式，当不需要在可视化中多次修改数据时，可以选择在场景编辑器中直接配置图层的数据内容；当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
- 产品推荐
- 这些文档可能帮助您