集成与开发概览
功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够满足企业各类数据加工、集成、开发、服务需求。您可以通过流批一体的数据集成对在线数据进行入仓、...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
Quick BI
您可以使用如下两种方式进行数据的可视化分析：拖拽表对应列方式：使用界面化操作完成数据的可视化分析。单击目标表操作列的 图标，创建数据集。在 我的数据集 页面，您可以单击目标数据集 操作 列的如下图标，进行相应操作：单击，查看...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
实时消费Kafka数据
投递保证 流计算中的一致性语义，支持：ATLEAST：在Kafka中的数据至少有一次被写入 云原生数据仓库AnalyticDB PostgreSQL版。EXACTLY：在Kafka中的数据有且仅有一次被写入 云原生数据仓库AnalyticDB PostgreSQL版。目标端配置 目标库 需要...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
通过DTS实现数据库的垂直拆分
验证源和目标实例的数据库B中的数据是否一致。如果数据一致，则结束数据迁移的任务，详情请参见 结束数据迁移任务。警告 用于数据迁移的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除用于数据迁移的数据库账号或...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
数据集市
背景信息 数据集市是对某个业务分类制定细化的业务主题，并通过主题域，基于不同分析视角对目标集市中的数据进行主题划分，最终面向业务应用统计分析数据。例如，运营平台数据集市。创建数据集市 进入 数据集市。登录 DataWorks控制台，...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
创建数据板块
模式 描述 Dev-Prod模式 生成相互隔离的Dev和Prod数据板块，更强保障Prod数据板块中的数据安全。如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-...
功能特性
原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的数据）都...
创建数据板块
模式 描述 Dev-Prod模式 生成相互隔离的Dev和Prod数据板块，更强保障Prod数据板块中的数据安全。如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-...
数据导入方式介绍
使用限制 弹性导入仅支持通过 INSERT OVERWRITE INTO 语句将外表中的数据导入至 AnalyticDB MySQL 湖仓版（3.0）。弹性导入支持以下SQL操作：仅支持从单个表导入数据，不支持多个表Join。仅支持WHERE和LIMIT语法，不支持ORDER BY等其他语法...
从自建MySQL迁移至PolarDB-X
PolarDB-X 中待迁入数据的RDS实例的存储空间须大于自建MySQL数据库占用的存储空间。注意事项 DTS在迁移MySQL至 PolarDB-X 时，不支持结构迁移。说明 结构迁移是指将源数据库中的结构对象定义（如表结构定义）迁移至目标数据库。DTS在执行全...
DataV6.0数据集介绍
介绍 DataV数据集支持多种数据源的接入，如数据库、Excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分和地理信息处理等。创建 登录 DataV...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
地理围栏
回调ID 设置组件之间数据联动的变量，需要配置为数据中的某一个字段。注意 此功能已更新到 交互 面板中，配置 面板的该功能将弃用，请尽快升级。新版本的交互功能支持配置多个字段。显示顶面 开启 显示顶面 后，可以设置围栏顶面的颜色；...
查看数据同步项目的详情
结束中的数据同步项目不能进行任何操作。已结束：表示数据同步项目已经成功结束运行。您可以对处于 未启动、运行中、已暂停 和 失败 状态的项目进行修改项目名称操作，详情请参见 修改数据同步项目的名称。查看基本信息 基本信息 区域为您...
查询概述
SelectDB也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成SelectDB中的表，从而方便地对这些文件数据进行分析。有关SelectDB支持的完整外部数据源及其详细介绍，请参见 湖仓一体 章节...
热力线层
最大宽度：热力线的最大宽度，通过数据中的 value 值来调整线的宽度。渐变速度：热力线层渐隐渐显的速度，值越大则速度越快。最小值颜色：数据中 value 值最小的线的颜色。最大值颜色：数据中 value 值最大的线的颜色，请参见 颜色选择器...
从MaxCompute迁移至RDS MySQL
前提条件 确保您已完成以下操作：开通MaxCompute 创建项目空间 设置阿里云产品访问MaxCompute白名单 注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量...
功能特性
管理IP白名单 数据动态脱敏 当项目用户具备查询MaxCompute项目中的某些敏感数据的权限，但又不希望用户能看到完整的敏感数据信息时，可以对查询结果进行数据动态脱敏。数据动态脱敏 审计日志 MaxCompute完整地记录用户的各项操作行为，并...
区域热力层（v1.x版本）
说明 根据数据的 value 区间得出scale区间，从而计算从最大到最小的颜色渐变区间。info（可选）弹窗内容。表 2.配置项说明 配置项 说明 受控模式 打开开关，资产初始化状态下不请求数据，仅通过回调ID或蓝图编辑器配置的方法发起请求数据；...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
自建Oracle迁移至PolarDB-X
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下，...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
配置MySQL输入
重要 分库分表中的数据表的Schema请保持一致，以避免执行报错。输出字段 选择需要同步的字段，包括 管理字段 和 数据字段：管理字段：为方便进行数据管理、排序和去重等操作，会在同步的目标端自动添加附加字段。数据字段：显示要同步的...
日志服务通过数据集成投递数据
logstore":"logstore-ut2",/目标日志库的名字，LogStore是日志服务中日志数据的采集、存储和查询单元。beginDateTime":"${startTime}",/数据消费的开始时间位点，为时间范围（左闭右开）的左边界。endDateTime":"${endTime}",/数据消费...
数据保护机制
MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制以及开启数据保护机制后数据的流出策略。背景信息 部分公司对数据安全非常敏感，例如，只允许员工在公司...
常见问题
为什么迁移后存储在 DAS企业版 V3中的数据量比迁移前存储在 DAS企业版 V1 中的数据量少很多？DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对...
场景管理器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
数据迁移
迁移ECS上自建的MySQL数据库中的数据至MaxCompute，详情请参见 迁移ECS自建MySQL数据库至MaxCompute。迁移其它业务平台的日志数据至MaxCompute：通过Tunnel迁移日志数据至MaxCompute，详情请参见 通过Tunnel迁移日志数据至MaxCompute。通过...
飞线层
图表样式 飞线层是3D地球的子组件，支持独立的样式和数据配置，包括飞线的半径、弧度、类型以及起始点经纬度等，适用于OD数据的线型表达，通常表示两地之间的关联，如物流、交易等。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，...
区域热力层
无值 系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会显示为 无值 的颜色。边线配置 参数 说明 颜色 区域边界线的颜色。宽度 区域边界线的宽度。...
详细功能介绍
数据源和过滤器报错 数据源报错：在资产数据面板添加完数据过滤器后，如果将当前数据源切换成其他类型的数据源，会在数据面板展示下面两个错误，提示用户数据源配置有问题。重要 当数据源异常的时候，即使是有返回的数据内容，添加在数据...
使用DataWorks（离线与实时）
阿里云对象存储OSS，仅支持上传与当前MaxCompute同地域Bucket中的数据。操作入口 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标...
- 产品推荐
- 这些文档可能帮助您