数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 升级数据库大版本：升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用...
2020年
从RDS PPAS迁移至PolarDB O引擎集群 2020年7月 发布SQL Server数据库多库增量迁移功能，可在一个数据迁移任务中增量迁移多个数据库，极大提升了提升迁移效率。从自建SQL Server增量迁移至RDS SQL Server 发布Kafka多Partition（分区）的...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
使用DataWorks连接
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...
热力线层
最大宽度：热力线的最大宽度，通过数据中的 value 值来调整线的宽度。渐变速度：热力线层渐隐渐显的速度，值越大则速度越快。最小值颜色：数据中 value 值最小的线的颜色。最大值颜色：数据中 value 值最大的线的颜色，请参见 颜色选择器...
热力线层
最大宽度：热力线的最大宽度，通过数据中的value值来调整线的宽度。渐变速度：热力线层渐隐渐显的速度，值越大则速度越快。最小值颜色：数据中value值最小的线的颜色。最大值颜色：数据中value值最大的线的颜色，请参见 颜色选择器说明 ...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
ETL工具支持概览
如果数据量较大，需要并发导入，则建议您先通过数据集成服务把数据从其他数据源导入到OSS，再通过OSS外部表导入 AnalyticDB PostgreSQL版。Pentaho Kettle 数据集成软件：开源的ETL工具。支持将数据先通过Kettle导入到本地磁盘，再通过COPY...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
数据标准
【数据标准】模块，主要用来对数据标准进行相关操作。添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准...删除数据标准 删除数据标准是将数据标准从平台中移除且无法恢复。
区域热力层
无值：系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会展示为无值的颜色。面透明度：区域面的透明度。边线颜色：区域边界线的颜色，请参见 颜色...
数据处理
说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。数据解析。数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、...
概述
然而，在目前的数据驱动的智能应用中，数据、特征和模型仍处于割裂状态。首先，数据工程师通过手工编写流程进行数据清洗和数据集成；然后，算法工程师通过自定义的特征工程流程、模型训练脚本以及定时任务脚本进行周期性的生产特征和模型；...
功能概述
在一般的应用场景中，数据的拥有者即为应用服务方。他们希望防止数据库服务及其运维人员接触到任何应用数据，同时保证数据库的正常运作。例如：业务将应用数据库迁移到云上，需要应对云平台以及运维人员越权访问数据的潜在威胁。数据应用...
产品概述
在一般的应用场景中，数据的拥有者即为应用服务方。他们希望防止数据库服务及其运维人员接触到任何应用数据，同时保证数据库的正常运作。例如：业务将应用数据库迁移到云上，需要应对云平台以及运维人员越权访问数据的潜在威胁。数据应用...
产品概述
在一般的应用场景中，数据的拥有者即为应用服务方。他们希望防止数据库服务及其运维人员接触到任何应用数据，同时保证数据库的正常运作。例如：业务将应用数据库迁移到云上，需要应对云平台以及运维人员越权访问数据的潜在威胁。数据应用...
产品概述
在一般的应用场景中，数据的拥有者即为应用服务方。他们希望防止数据库服务及其运维人员接触到任何应用数据，同时保证数据库的正常运作。例如：业务将应用数据库迁移到云上，需要应对云平台以及运维人员越权访问数据的潜在威胁。数据应用...
新建数据源
移除数据源 在数据源列表，单击目标数据源 操作 列的 更多，选择 移除，将数据源从列表中移除。测试连通数据源 在数据源列表，单击目标数据源 操作 列的 测试连通，可更新数据源连通性状态。如果连通失败，在 可连通 列查看失败原因。后续...
新建数据源
移除数据源 在数据源列表，单击目标数据源 操作 列的 更多，选择 移除，将数据源从列表中移除。测试连通数据源 在数据源列表，单击目标数据源 操作 列的 测试连通，可更新数据源连通性状态。如果连通失败，在 可连通 列查看失败原因。后续...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
离线同步并发和限流之间的关系
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
主备方案介绍
云数据库HBase存储海量大数据，在业务场景中往往承载着重要数据，为保障数据的高可用性和安全性，云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活：大数据量随机读响应...
技术发展趋势
IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值的时代已经来临，并逐渐取代了从模拟数据向数字化转变的时期；产生、使用和管理对生活产生...
轨迹层
数据分级：根据数据中的 value 字段值大小划分（自然分割）成2~7个数据大小级别，解决 value 值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。...
管理缓存
释放数据是指从Alluxio缓存中删除数据，而不是从底层UFS中删除数据。释放操作后，数据仍然可供用户使用，但对Alluxio释放文件后尝试访问该文件的客户端来讲性能可能会降低。语法 alluxio fs free示例：将 tmp 目录中的所有数据从缓存中释放...
轨迹层
数据分级：根据数据中的value字段值大小划分（自然分割）成2~7个数据大小级别，解决value值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。单击 ...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的...您可以在完成敏感数据规则配置的第二天，进入 导出行为 页签，查看访问人员从MaxCompute中导出数据至外部的情况。包括查询时间段内的数据导出的总量、每天导出的数据量和数据导出总量的前五名。
数据归档
云盘版本的RDS PostgreSQL实例数据表文件都存储在云盘（ESSD）中，在数据量较大时，可能会面临较高的存储成本。通常，RDS PostgreSQL实例的数据包含冷数据和热数据。通过数据归档功能，可以将对象存储（OSS）用作归档冷数据的存储介质，...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
矢量散点层（v2.x版本）
value（可选）散点数据映射，与配置面板中 散点配置 中 数据映射 的最大值、最小值和无数据置项配合使用，来设置散点的颜色和大小。info（可选）单击散点，出现的弹窗信息内容。映射数据接口 表 2.字段说明 字段 说明 type（可选）多系列...
双11消费屏柱图
说明 当数据中的value值比最大的value值小时，两者之差所占柱图的比例会使用该颜色填充。圆角 柱状图背景的圆角大小，单位为px。数值为0的时候没有圆角，柱状图背景为方形，设置值越大，圆角弧度值越大。数据面板 配置字段说明 字段 说明 ...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
数仓规划概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。详情请参见 数据域。业务过程...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
- 产品推荐
- 这些文档可能帮助您