数据重排
使用 DISTRIBUTE BY+SORT BY、CLUSTER BY 排序方法进行数据排序前请查看表中数值的分布情况，对列值占比大的列进行重排，存储优化效果会比较好。表数据越大，进行数据重排后，存储优化效果会更好。使用示例 本文将MaxCompute公共数据集TPC-...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？...若源库中存在ADB不支持的数据类型（例如地理位置数据等类型），ADB在进行结构初始化时会丢弃掉不支持数据类型的列，ADB常见数据类型请参见 数据类型。
调试实时任务
手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可...
地理围栏
数据 数据接口：通过配置地理围栏位置数据，可将提取到的地理位置GeoJSON数据应用到DataV中，要求数据类型为LineString。配置方法如下：选择 地理围栏>数据>数据接口。单击 配置数据源，选择 数据源类型 为 静态数据。获取地理围栏的位置...
调试实时任务
手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您...
时空分析
感知型：智能终端感知位置数据、激光点云等。时空模型分类 几何模型：遵循OpenGIS规范，分为2D（X，Y）、3D（X，Y，Z）、4D（X，Y，Z，M）等Geometry类型。栅格模型：栅格模型由按行和列（或格网）组织的像元（或像素）矩阵组成，每个像元...
概述
备份存放位置 数据备份：存放于阿里云提供的备份空间，不占用实例的存储空间，默认保留30天。日志备份：暂存于实例的存储空间，超过一定时间后（默认7小时）或者一定的空间后（实例存储空间的30%）会上传至阿里云提供的备份空间，默认保留7...
简介
典型案例&架构 航海船舶大数据平台 场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：监管区域实时地理围栏判断。轨迹区域回放（指定区域+指定时间段）。轨迹回放（指定时间段查询）。架构...
管理数据集
会基于各个字段的SQL数据类型和执行结果数据推测出合适的数据集模型，即区分字段是维度还是度量，因此在SQL执行成功后，您可以对数据类型和可视化类型进行验证和调整（如将字段数据类型调整为国家、省份、城市等地理位置数据类型），也可以...
表设计规范
数据集市的数据比较容易生成，所以无需保留久远的历史数据。按数据变更规划数据的保存方式：记录客户属性、产品属性的历史变化情况，以便追溯某个时点的值。在事实表里冗余维表的字段，即把事件发生时的各种维度属性值与该事件绑定起来。...
数据保护伞入门
您可根据数据位置、数据属性、用户信息、操作时间等条件配置识别规则。本文示例选择数据属性，配置 步骤二 中的 phone 类型敏感数据在10分钟内导出操作大于等于10次时，则认为触发规则。告警设置 告警方式 可选择邮件或webHook方式发送报警...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
新建 PolarDB-X 2.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB-X 2.0 数据源。背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的云原生分布式数据库，为您提供高吞吐、大...
新建 Oracle 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
新建 MySQL 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
新建 DataHub 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 DataHub 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
新建 PolarDB-X 1.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB 数据源。背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式版数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
资源组操作及网络连通
如果您使用VPC连接地址添加的数据源：请确认您已经为独享数据集成资源组绑定好数据库所在的VPC。已经将独享数据集成资源组绑定的交换机网段添加至数据库白名单。详情请参见：使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
元数据采集
当您需要采集已开启白名单访问控制的数据源的元数据时，则需要提前配置好数据库的白名单权限。详情请参见 元数据采集的数据源有白名单访问控制时需要配置的白名单。DataWorks目前不建议跨地域采集元数据，即DataWorks所在的地域需要与数据...
风险识别管理（新版）
DataWorks支持设置从 数据位置、数据属性、用户信息、操作时间 等维度识别风险数据，帮助您基于实际场景配置更精细的风险识别条件。说明 当前最多支持添加10个条件。单击所选维度中的+添加比较关系 即可添加多个识别条件，并且添加的多个...
入湖基础操作
数据湖存储位置：数据存储的OSS路径，入湖任务会自动创建此处填写的空文件夹来存储数据。分区信息：添加需要写入的分区信息。分区表达式：填写描述分区值的获取方式，比如 MySQL 中from_unixtime(gmt_create)。分区字段：填写分区字段名称...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
时间轴
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
时间轴
图表样式 时间轴支持自定义时间轴的节点标签样式、事件节点样式以及交互等配置，适用于在可视化应用中展示不同时间段的数据变化情况，比如使用时间轴组件实现数据轮播。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
地图组件
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
模型查看器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
概述
数据源 用户从数据源抽取数据到注册的数据湖位置，数据湖构建支持多种形式的数据源，目前RDS MySQL已对外开放。参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前支持RDS MySQL 用户名 连接MySQL数据库的用户名 密码 连接MySQL数据...
拓展组件
数据 输入含有地理信息的json代码。柱状图组件 柱状图以三维柱体表达点要素，通过柱体高度映射数量关系，颜色表征属性信息。该图元的主要特征：可在数据中指定单个柱体高度（height）、颜色（color）。柱体侧面有高亮动画。支持单个要素的...
公告
2023年06月20日-Dataphin新版本发布 Dataphin于2023年06月20日发布V3.10版本，本次升级相比较历史版本：新增数据下载设置功能，可以更好的管控数据下载范围，提升数据安全，支持数据下载时设置水印并可设置文件格式。新增数据权限审批策略...
- 产品推荐
- 这些文档可能帮助您