统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
逻辑结构说明
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
数据流管理
当正在写数据的后备索引关闭写入托管能力，待触发下次Rollover，最新创建的后备索引将处于写入托管中，可以在控制台数据流下查看最新的后备索引。业务上建议配置索引生命周期管理（ILM）滚动策略，实现云端托管空间最优化。如果不配置，...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
回收站列表
您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复，请您谨慎操作。在 回收站列表 页面，单击需要删除表所在行的 操作 列下 图标。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
通过弹性伸缩管理阿里云实例和托管实例
场景二：伸缩组中仅含3台托管实例且托管实例CPU使用率维持在90%左右 通过压测工具（例如lookbusy工具）对伸缩组中的托管实例进行压测时，如果伸缩组中当前3个托管实例的CPU使用率维持在90%左右，即伸缩组中实例的CPU平均使用率大于60%，...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
网站从弹性Web托管迁移到云虚拟主机
步骤三：（可选）备份弹性Web托管中的数据库数据 如果弹性Web托管中使用到数据库，请您 提交工单 获取弹性Web托管中数据库的备份数据。说明 如果弹性Web托管中未使用到数据库，可跳过此步骤。步骤四：迁移网站数据到云虚拟主机 通过...
客户案例
新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，大润发计划两年内将IT系统全面迁移到阿里云上，不再自建IDC。同时与阿里云合作启动数据中台项目，可以帮助大润发降低TCO的同时，更好的依托云...
日志实时入仓快速入门
本文为您介绍如何在Flink全托管控制台上快速构建一个从Kafka到Hologres的数据同步作业。背景信息 假设消息队列Kafka实例中有一个名称为users的Topic，其中有100条JSON数据，代表通过日志文件采集工具或者应用写入Kafka的日志数据，其数据...
基于Indexing Service实现数据流管理
参数 说明 仅查看托管中的索引 系统默认展示集群中的所有索引（不包括系统索引），选择 仅查看托管中的索引 后，系统仅展示托管中的索引，帮助您快速获取处于托管的数据。云端托管索引总大小 当前时刻，正处于云端写入托管中的索引总大小。...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
搭建基础环境
步骤一：使用云速搭CADT创建资源 步骤二：在RDS中，创建数据库账号和测试数据库 步骤三：在Kafka中，准备测试数据 步骤四：创建Flink SQL作业并上线后测试数据生产 步骤五：在Kafka控制台查看测试数据 步骤一：使用云速搭CADT创建资源 登录...
创建元数据
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
手动配置伸缩组实例
您可以将已购买的ECS实例、ECI实例或托管实例手动添加至伸缩组，也可以手动移出或删除伸缩组内不再需要的ECS实例、ECI实例或托管实例，根据业务需求及时调整资源，低成本地利用计算资源。本文为您介绍添加、查看、移出或删除伸缩组实例的...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
将云消息队列 Kafka 版的数据迁移至MaxCompute
步骤四：同步数据 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，右键单击 业务名称，选择 新建节点>数据集成>离线同步。在 新建节点 对话框，输入...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
名词解释
阿里云AIoT能力中心 阿里云AIoT能力中心基于阿里云卓越的物联网与AI技术，面向行业客户、生态伙伴及开发者丰富的AIoT能力，并提供拥有强大的应用开发、托管、集成的控制台工具，全面助力物联网应用的创新和发展。AIoT开放能力 对行业垂直...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
SQL可视化图表
饼图 饼图适用于展示数据中各项的大小与各项总和的比例。图例 数据要素 扇区标签 扇区角度 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。扇区标签和扇区角度同时配置了排序时，以扇区标签排序为准。单击 图标，可选择数据聚合...
数据表-数据概况
指标说明 指标名称 指标说明 指标来源说明 表存储大小 当前表中存储的所有数据大小 如托管Location给DLF，来源于对OSS数据的统计；否则来源于E-MapReduce引擎stats数据；表文件总数 当前表中存储的所有文件数量总和 如托管Location给DLF，...
从Flink SQL导入
本文介绍如何使用Flink SQL方式将Flink中的数据写入 云数据库ClickHouse。使用限制 只有Flink计算引擎VVR 3.0.2及以上版本支持使用Flink SQL写入 云数据库ClickHouse。前提条件 已在 云数据库ClickHouse 中创建表。更多信息，请参见 创建表...
OAuth2.0对接
本章主要介绍应用托管中托管型应用免登及用户信息获取相关流程 页面流程 用户输入三方应用域名 应用跳转IoT oauth验证地址，同时携带认证后跳转的callback地址 IoT认证后，携带授权码oauthcode跳转第2步callback的地址 应用获取到oauthcode...
创建索引模板
如果源数据中没有@timestamp 字段数据，可使用 ingest pipeline 指定_ingest.timestamp 获取元数据值，从而引入@timestamp 字段数据。建议在索引模板中为@timestamp 字段指定映射。如果不指定，该字段会映射为Elasticsearch中的 date 或者 ...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
集群
Databricks数据洞察是全托管的服务。用户在创建集群后，不能登录集群的ECS。用户不需要承担对集群环境的运维。Q：Spark库、表可以在多集群之间共享么？可以。Databricks数据洞察中的元数据是账号维度的，可以在同一个阿里云账号下的多集群...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
DBS
进入运维页面 登录 IoT控制台，单击 应用托管>应用管理，并选择需要运维的应用实例，进入该应用的运维界面。目前支持DBS开放的中间件节点有：MySQL、SQL Server。打开入口 在运维界面中，打开DBS开启的入口，如下所示。访问入口 单击 打开...
DMS
进入运维页面 登录 IoT控制台，单击 应用托管>应用管理，并选择需要运维的应用实例，进入该应用的运维界面：目前支持数据入口开放的中间件节点有：MySQL、SQL Server、MongoDB、Redis、PostgreSQL、RDS for MySQL、RDS for SQL Server、...
- 产品推荐
- 这些文档可能帮助您