根据标签筛选实例
在左侧导航栏，根据需要设置标签的实例类型选择 数据迁移、数据同步、数据订阅 或 数据集成。在页面顶部选择实例所属地域。在 实例列表 页，单击 标签。图 1.打开标签列表 选择目标标签键和标签值。说明 新建标签或更新现有标签后，需要先...
技术架构选型
其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心、监控报警、数据资产等在内...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS ...通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
同步数据
通过阿里云数据集成将ODPS/OSS/MySQL/Oracle/SqlServer中的数据导入分析型数据库MySQL版中。详细操作步骤请参见 使用数据集成迁移数据至分析型数据库MySQL版。通过Kettle将关系型数据库、Hbase等NoSQL数据源，以及Excel、Access中的数据...
产品架构
数据传输与加工：提供数据同步、数据迁移、数据订阅、数据集成、编排调度等低代码工具。数据应用：提供数据服务、数据分析和数据可视化。更多信息，请参见 功能概览。商业应用：数据化运维DataOps 容灾多活 T+1全量数据快照 数据集中处理 ...
通用数据开发
DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。数据分析与处理：完成数据的同步后，可以对MaxCompute中的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘（数据分析...
发布数据流
在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：试运行数据流。单击画布左上方的 试运行 按钮。在 提示 对话框，单击 确认。单击画布的空白区域，单击页面下方的 执行日志 页签，...
数据流运维
在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维页面进行查看或操作。在数据流运维页面上方，查看数据流的 创建时间、修改时间、调度配置 情况、...
语法
云数据库ClickHouse语法介绍的详细信息，请参见 语法。
创建Aliyun HBase数据源
本文为您介绍如何创建Aliyun HBase数据源。背景信息 Aliyun HBase即阿里云的云数据库HBase。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要先完成Aliyun HBase数据源的创建。更多信息，请参见 什么是云数据库HBase。...
云产品集成
本文介绍云数据库 OceanBase 相关的云产品，可通过这些云产品对数据进行进一步处理。背景信息 云数据库 OceanBase 对接了多个阿里云常用云产品，您可以通过这些产品进行数据可视化、数据分析、数据同步等操作。常见云产品如下：大数据开发...
MetaQ数据源
DataWorks数据集成支持使用MetaQ Reader读取消息队列Message Queue（简称MQ）的数据，本文为您介绍DataWorks的MetaQ数据读取能力。支持的版本 MetaQ Reader通过消息队列服务的Java SDK订阅MetaQ中的实时消息数据，使用的Java SDK版本如下所...
近实时增量导入
涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据集成以及其它数据导入工具，...
数据上云场景
RDS数据库数据实时同步时，可以选择DataWorks的数据集成，详情请参见 配置数据源（来源为MySQL）。日志采集 日志采集时，您可以选用Flume、Fluentd、Logstash等工具。具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志...
数据集成支持的数据源
数据集成支持离线集成、整库迁移集成方式。本文为您介绍离线集成、整库迁移支持的数据源类型。不同集成类型适用场景 集成类型 适用场景 离线集成 适用于数据上云、云上数据迁移到本地业务系统等场景。例如，将本地数据库MySQL的数据迁移至...
如何集成监控源
集成接入 说明：每个监控源的集成配置都有独立的集成接入步骤，需要单独接入，各监控源的详细步骤查看 集成接入 中各监控集成说明。接入步骤 登录 运维事件中心控制台；在首页 事件 的右侧点击 新增集成 按钮或者在左侧导航栏选择 集成中心...
数据集成支持的数据源
数据集成支持离线集成、实时集成、整库迁移集成方式。本文为您介绍离线集成、实时集成、整库迁移支持的数据源类型。不同集成类型适用场景 集成类型 适用场景 离线集成 适用于数据上云、云上数据迁移到本地业务系统等场景。例如，将本地数据...
metrics-server
关于社区开源监控组件的详细介绍，请参见 社区开源监控组件。使用说明 metrics-server提供容器基础资源监控能力。具体操作，请参见 基础资源监控。变更记录 2024年01月 版本号 镜像地址 变更时间 变更内容 变更影响 v0.3.9.7-85b3699-...
产品优势
特性 功能介绍 详细描述 架构灵活 支持单节点、单副本、多节点、多副本多种架构 节点数量：最低支持创建一个节点的集群，也支持创建若干个节点的集群。动态升降配：支持节点规格升降配，节点数可扩缩容，后台自动进行数据迁移，无需手动...
API 集成
运维事件中心（以下简称系统）具备API监控数据源集成对接能力。本文介绍如何集成API。简介 系统具备生成标准API接口，符合Restful API规范，支持外部数据源调用，并向运维事件中心推送监控指标数据。如何集成API 步骤1、打开集成配置中心 ...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
概述
介绍数据开发节点任务的总述以及操作流程。
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
概述
本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，将日志数据上传至MaxCompute。详情请参见 通过Tunnel迁移日志数据至MaxCompute。...
数据去重
本文介绍数据去重算子的使用方法和注意事项。用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
基本概念
本文将为您介绍数据服务的Dataphin数据源服务、API服务、分组、服务单元和应用等基本概念。基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin...
系统流程
本文介绍数据资产中心主要系统流程。流程图及说明 任务项 说明 概览 展示数据资产的全局及增量指标信息。更多信息，请参见 概览信息。资产目录 展示在运营工作台资产对象管理中公开的数据资产，包括指标、数据表、标签和API资产。以表资产...
aliyun-acr-credential-helper
本文介绍aliyun-acr-credential-helper组件的功能介绍、使用说明和变更记录。组件介绍 aliyun-acr-credential-helper通过读取ACK集群内的kube-system命名空间中的 acr-configuration 的配置，进行私有镜像拉取。支持以下功能：支持拉取容器...
应用场景
本文为您介绍数据资源平台的应用场景。构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据...
什么是业务监控
本文主要介绍什么是业务监控。...详细步骤参见文档：【集成配置-API集成】业务监控配置 业务监控的配置过程，参见文档：【怎么配置业务监控】业务监控详情 业务监控的详情数据，通过点击列表页的监控项名称，跳转并展示。
集成概览
本文为您介绍 数据安全中心 支持的集成方案。OpenAPI集成 数据安全中心 提供敏感数据识别、异常事件脱敏等功能的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 版本号 说明 2019-01-03 ...
集成概述
集成方案 虚商伙伴想要建设完整的云平台，需要将自有平台（包括客户管理、账单结算等模块）与阿里云产品相关的云账号管理，安全访问，云资源购买、开通及管理，账单，计量数据，备案，消息通知，工单升级等服务进行集成。该云平台支持虚商...
SDK包裁剪说明
base-xxx.aar')implementation files('libs/aliyun-facade-xxx.aar')implementation files('libs/aliyun-face-xxx.aar')implementation files('libs/aliyun-photinus-xxx.aar')implementation files('libs/aliyun-ocr-xxx.aar')...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
集成概览
本文为您介绍数据库文件存储DBFS支持的集成方案。OpenAPI集成 数据库文件存储DBFS提供实例、快照、标签等功能的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 版本说明 说明 2020-04-18 ...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
集成概览
本文为您介绍 云数据库 MongoDB 版 支持的集成方案。OpenAPI集成 云数据库 MongoDB 版 提供实例、资源、连接等的OpenAPI，您可在业务系统中集成。关于如何使用阿里云OpenAPI，请参见 使用阿里云OpenAPI。API版本 版本号 说明 2015-12-01 ...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
- 产品推荐
- 这些文档可能帮助您