在大数据平台中集成Tair
本文介绍如何在不同大数据分析平台中接入 云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下：大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，但...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
自动添加数据源
打开 自动接入 开关，并在 接入数据源 列表中，选中目标数据库类型。说明 如果之前已打开过自动接入开关，再次进入该页面时，开关会默认处于打开状态，无需再次手动打开。如果之前关闭过自动接入开关，再次进入该页面时，开关会默认处于...
应用场景
完成接入后，通过数据库传输服务DTS，在数据迁移、数据同步或数据订阅时，您可以直接将数据库网关中接入的数据库作为源库或目标库，架构图如下所示。云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的...
应用场景
完成接入后，通过数据库传输服务DTS，在数据迁移、数据同步或数据订阅时，您可以直接将数据库网关中接入的数据库作为源库或目标库，架构图如下所示。云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的...
添加宜搭数据源
使用宜搭数据源 以下为您介绍在组件中如何接入宜搭数据源。登录 DataV控制台。在 我的可视化 页面中，将鼠标移动至需要编辑的可视化应用上，单击 编辑。在画布编辑页面，单击画布中的某一组件。如果画布中还没有组件，请先添加组件，详情请...
添加宜搭数据源
使用宜搭数据源 以下为您介绍在组件中如何接入宜搭数据源。登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板，请参见 使用模板创建PC端看板，创建...
实时大盘
接入数据库实例的操作详情可参见 接入数据库实例。操作步骤 登录 DAS控制台。在左侧导航栏，单击 实时性能大盘 选择要查看的数据库引擎，查看该引擎下所有数据库实例主要指标的实时性能。单击 指标解释 查看各个指标的具体含义。说明 实时...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
流程简介
接入数据 配置模型编排中使用到的数据表、本地数据及API。接入算子 配置模型编排中使用到的算子。系统支持的脚本算子类型有：SQL。创建模型 模型为数据探索的核心部分，将数据及算子编排成模型，并对模型列表进行统一管理，包含模型版本...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
数据集成：全领域数据汇聚
核心技术与架构 引擎架构 采用星形引擎架构，数据源接入数据集成后，即可与其他各类型数据源组成同步链路进行数据同步。当前支持的数据源请参见 支持的数据源与读写插件、实时同步支持的数据源。数据集成资源组与网络连通 如上图所示，进行...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
【通知】数据库网关DG下线通知
DG下线后的计划 DG下线后，将作为数据传输服务DTS、数据库备份DBS、数据管理DMS 产品的基础组件，用于将他云或自建数据库接入至DTS、DBS、DMS 中。原DG控制台将会统一迁移至DMS中。影响与建议 场景 下线影响 建议 通过DG接入的数据库作为...
【通知】数据库网关DG下线通知
DG下线后的计划 DG下线后，将作为数据传输服务DTS、数据库备份DBS、数据管理DMS 产品的基础组件，用于将他云或自建数据库接入至DTS、DBS、DMS 中。原DG控制台将会统一迁移至DMS中。影响与建议 场景 下线影响 建议 通过DG接入的数据库作为...
使用流程
同时支持接入不同引擎的云数据库、自建数据库等，均可以在DBS控制台的 数据源 中进行管理。备份完成后，您可以按需恢复数据库。说明 DBS支持接入的数据源，请参见 数据源。大型企业级备份 操作简单 管理方便 批量创建多个备份计划 方式一：...
锁分析
详情请参见 接入数据库实例。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情页。在左侧导航栏中，单击 锁分析。在 锁分析 页面，查看或诊断数据库实例发生过的死锁。单击 立即诊断...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
配置VPC数据源
通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是专有网络。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，...
接入阿里云数据库实例
本文介绍如何在数据库自治服务DAS中接入阿里云数据库实例。前提条件 目标数据库实例为：RDS MySQL、PolarDB MySQL版、MyBase MySQL RDS PostgreSQL、PolarDB PostgreSQL版 RDS SQL Server、MyBase SQL Server Redis、MyBase Redis PolarDB ...
购买SAG设备
两台智能接入网关设备自动绑定到一个智能接入网关实例中，互为备份。智能接入网关设备的使用区域非中国内地时，请忽略该配置项。智能接入网关带宽 区域 智能接入网关设备使用的带宽区域。该区域类型和智能接入网关设备的 区域 保持一致，且...
使用DTS和DG迁移、同步或订阅本地或第三方云数据库
完成接入后，在创建数据传输服务DTS（Data Transmission Service）的数据迁移、同步或订阅任务时，您可以直接将数据库网关中接入的数据库作为源库或目标库。背景信息 在本地或第三方云的数据库接入阿里云时，有以下几种解决方案，但是均...
使用DTS和DG迁移、同步或订阅本地或第三方云数据库
完成接入后，在创建数据传输服务DTS（Data Transmission Service）的数据迁移、同步或订阅任务时，您可以直接将数据库网关中接入的数据库作为源库或目标库。背景信息 在本地或第三方云的数据库接入阿里云时，有以下几种解决方案，但是均...
Transaction Table2.0概述
支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量处理链路和大规模离线批量处理链路，而且由统一的元数据服务支持...
什么是数据库网关
完成接入后，通过数据库传输服务DTS，在数据迁移、数据同步或数据订阅时，您可以直接将数据库网关中接入的数据库作为源库或目标库。数据库备份DBS 数据库备份DBS（Database Backup）是阿里云提供的低成本、高可靠的一站式备份和恢复服务。...
查看基本信息
在您购买智能接入网关设备后，系统会创建一个智能接入网关实例帮您管理智能接入网关设备，您可以通过智能接入网关实例查看您智能接入网关设备的基本信息。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域。在 智能接入...
从备库备份MongoDB数据库
有公网IP:Port的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库(通过数据库网关DG接入)操作步骤 本示例的源库部署位置为 通过专线/VPN网关/智能网关接入的自建数据库。登录 DBS控制台。单击左侧导航栏中...
快速实现数据分类分级
如果您需要接入数据安全中心的资产已出现在资产列表中，请跳过该步骤。单击目标资产实例操作列的 授权。返回 授权管理 页面，单击目标资产实例操作列的 一键连接。如果需要进行敏感数据脱敏，您可以单击目标资产实例操作列的 账密连接，并...
性能异常检测
数据库实例已接入DAS，并且接入状态显示为 接入正常，接入方法详情请参见 接入阿里云数据库实例。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入目标实例详情页。在左侧导航树，单击 性能趋势>...
什么是数据库网关
完成接入后，通过数据库传输服务DTS，在数据迁移、数据同步或数据订阅时，您可以直接将数据库网关中接入的数据库作为源库或目标库。数据库备份DBS 数据库备份DBS（Database Backup）是阿里云提供的低成本、高可靠的一站式备份和恢复服务。...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
添加数据源概述
DataV支持以下数据源的接入。数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
手动添加数据源
自动接入数据源的更多信息，请参见 自动添加数据源。数据库类型 本示例中，选择 MySQL。数据库备份DBS 支持的数据库类型详情，请参见 支持的数据库引擎与功能。数据库地域 无需配置，系统将默认选择当前数据源所在的地域。RDS实例ID 选择待...
空间分析
接入方式为 账号直连 和 集中模式DBGateway 的 自建数据库 实例无法采集到空间数据，所以这些实例不会出现在 全局空间使用排行榜 列表中。说明 自建数据库的接入方式说明如下，具体的接入方式和步骤请参见 实例接入简介。账号直连：采用 直...
- 产品推荐
- 这些文档可能帮助您