数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
数据订阅操作指导
4.消费订阅数据 新版 根据消费客户端和数据库的类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据 使用SDK示例代码消费PolarDB-X 1.0订阅数据 使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据 5.结束数据订阅 ...
新建 PolarDB-X 1.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB 数据源。背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式版数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生...
我的资产
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据...
系统管理
所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源与所选资源组网络连通。说明 购买独享资源组并配置资源组绑定的归属工作空间，请参见 新增和使用独享调度资源组、新增和使用独享数据集成资源...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护...
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
资源组操作及网络连通
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
功能简介
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、数据服务API资产。支持特定角色对数据表、数据服务API等数据资产进行管理。工作组管理...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
基础饼图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 组件数据源配置。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
功能特性
SSL在传输层对网络连接进行加密，可以提升通信数据的安全性和完整性。设置SSL加密 静态加密 静态加密使用的密钥由密钥管理服务（KMS）产生和管理，通过该密钥加密数据密钥，再通过数据密钥加密数据，保证数据传输中的安全性。静态加密 设置...
数据服务概述
数据安全和查询性能无法保障：在数据接口开发时往往只考虑数据的获取性，数据资源访问安全性和数据访问的稳定性考虑少。维护成本高：缺乏线上平台化管理，异常情况无法监控告警，线上业务问题暴露后再排查代码修复上线。数据服务价值 为了...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
自定义RDBMS数据库及同步数据
操作流程 自定义并应用MySQL数据库组件的流程如下：步骤 描述 步骤一：配置网络和创建数据表 在您开始自定义并应用RDBMS数据库组件前，需要配置RDS MySQL实例和Dataphin间的网络，及创建同步数据的源表和目标表。步骤二：创建自定义数据源 ...
自定义RDBMS数据库及同步数据
操作流程 自定义并应用MySQL数据库组件的流程如下：步骤 描述 步骤一：配置网络和创建数据表 在您开始自定义并应用RDBMS数据库组件前，需要配置RDS MySQL实例和Dataphin间的网络，及创建同步数据的源表和目标表。步骤二：创建自定义数据源 ...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
配置IBM DB2输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
创建RDS MySQL数据订阅通道
配置 说明 需要订阅的数据类型 数据更新 订阅已选择对象的增量数据更新，包含数据的INSERT、DELETE和UPDATE操作。结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。说明 如果选择整个库作为...
DLF+EMR之统一权限最佳实践
设置业务A数据开发人员的权限，使其具备db_a数据库数据的查询和修改权限。切换阿里云网站的登录用户为dlf_dba_admin子账号，使用该账户后续为其他用户进行数据授权。打开 数据构建控制台。依次打开菜单：数据权限-数据授权，点击新增授权。...
路况层
路况层是三维城市构建器的图层，支持独立的样式和数据配置，使用不同的颜色区分不同的路况。本文介绍路况层各配置项的含义。在场景编辑器左侧图层列表中，单击 路况层 图层，进入配置面板配置 路况层 图层的样式和数据。说明 如果图层列表...
管理数据源
查看数据源 创建数据源后，您可以在数据源列表查看所有已创建数据源的基本信息、详情和网络连接等信息，也可以根据数据源类型进行筛选、根据数据源的创建时间进行排序，以及模糊搜索指定数据源。登录 OceanBase 管理控制台。在左侧导航栏，...
路况层
路况层是三维城市构建器的图层，支持独立的样式和数据配置，使用不同的颜色区分不同的路况。本文介绍路况层各配置项的含义。在场景编辑器左侧图层列表中，单击 路况层 图层，进入配置面板配置 路况层 图层的样式和数据。说明 如果图层列表...
基本概念
DBGateway：DBGateway是部署在用户环境中的守护进程，负责数据库性能数据的采集和计算。但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 DBGateway简介。索引：索引是数据库管理系统对数据库表中一个或多...
S3M BIM
S3M BIM是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M BIM的通用配置和交互配置样式。本文介绍S3M BIM配置项的含义。在场景编辑器左侧图层列表中，单击 S3M BIM 图层，进入配置面板配置 S3M BIM 图层的样式和数据。说明 当前...
ArcGIS栅格瓦片
ArcGIS栅格瓦片是三维城市构建器的全局图层，支持独立的样式和数据配置，包括ArcGIS栅格瓦片的通用配置、图形配置和交互配置样式。本文介绍ArcGIS栅格瓦片配置项的含义。在场景编辑器左侧图层列表中，单击 ArcGIS栅格瓦片 图层，进入配置...
超图REST栅格瓦片
超图REST栅格瓦片是三维城市构建器的全局图层，支持独立的样式和数据配置，包括超图REST栅格瓦片的通用配置、图形配置和交互配置样式。本文介绍超图REST栅格瓦片配置项的含义。在场景编辑器左侧图层列表中，单击 超图REST栅格瓦片 图层，...
S3M管网
S3M管网是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M管网的通用配置和交互配置样式。本文介绍S3M管网配置项的含义。在场景编辑器左侧图层列表中，单击 S3M管网 图层，进入配置面板配置 S3M管网 图层的样式和数据。说明 当前...
S3M倾斜摄影
S3M倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M倾斜摄影的通用配置和交互配置样式。本文介绍S3M倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击 S3M倾斜摄影 图层，进入配置面板配置 S3M倾斜摄影 图层的...
Catalog概述
外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。当前StarRocks提供Internal Catalog和External ...
- 产品推荐
- 这些文档可能帮助您