数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
使用标签控制云助手的命令执行
{"Effect":"Allow","Action":["ecs:InvokeCommand","ecs:RunCommand","ecs:StopInvocation","ecs:SendFile"],"Resource":"acs:ecs:*:*:command/*"}]} 权限策略示例2：查询标签、查询ECS实例以及管理云助手命令 本示例中，仅允许RAM用户查询...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
消息渠道概述
在成员管理中配置好成员的钉钉群机器人的webhook（如何配置钉钉群机器人的webhook，请参见 配置成员和超级管理员的联系方式）。当任务运行、质量规则、服务监控等系统触发了配置好的监控规则，系统就根据配置的接受方式发送钉钉群消息。...
会话操作记录投递
您可以使用云助手的会话操作记录投递功能，将会话管理（Session Manager）操作记录投递到您的对象存储OSS或日志服务SLS中，进行持久化存储。本文介绍如何配置会话操作记录投递和查看已投递的会话操作记录。背景信息 如果您需要对会话管理...
运维与监控FAQ
云助手支持的具体操作系统版本如下所示：Alibaba Cloud Linux CentOS 6/7/8及更高版本 CoreOS Debian 8/9/10及更高版本 OpenSUSE RedHat 5/6/7及更高版本 RedHat中需要您自行下载rpm包安装云助手Agent，具体操作，请参见 安装云助手Agent。...
在云助手命令中使用OOS参数仓库
您可以在云助手命令中结合OOS的参数仓库功能，更为方便和安全地管理自定义参数。前提条件 目标ECS实例必须满足以下条件：实例处于 运行中（Running）状态。实例已安装 云助手Agent。具体操作，请参见 安装云助手Agent。已开通 系统运维管理...
什么是Dataphin
管理中心 全局规划 基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义业务板块、数据域、项目、数据源、计算源和统计周期。数仓规划 数据引入 基于...
应用场景
图片社交分析场景 在图片社交、电商网站、图库等应用中，使用智能媒体管理提供的图片标准型项目，可以快速实现如下场景：图片内容审核 使用内容识别功能，有效识别图片中的低俗和违禁内容，例如色情、暴力恐怖、违法违规等，满足监管部门对...
使用云助手插件
使用限制 下述版本的 云助手Agent 中已默认支持云助手插件，如果您需要使用云助手插件，请确保您的 云助手Agent 版本符合或高于以下版本。具体操作，请参见 升级或禁止升级云助手Agent。Windows：1.0.0.137 Linux：1.0.2.510 运行方式 云...
管理数据源标签
Dataphin数据源管理标签以标签的形式能够更好的帮助您管理业务中常用的数据源。您可以在管理标签列表中查看数据源被引用的信息。权限说明 Dataphin仅支持 超级管理员、数据源管理员 新建及管理数据源标签。新建数据源管理标签 在Dataphin...
管理数据源标签
Dataphin数据源管理标签以标签的形式能够更好的帮助您管理业务中常用的数据源。您可以在管理标签列表中查看数据源被引用的信息。权限说明 Dataphin仅支持 超级管理员、数据源管理员 新建及管理数据源标签。新建数据源管理标签 在Dataphin...
逻辑结构说明
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
核心概念
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。一个数据板块可以包含多个项目，Dataphin成员可以加入到多个不同的项目。一个数据板块可以有多个项目，但是一个项目只能属于一个数据...
安装ECS云助手后仍无法使用Cloud Toolkit怎么处理？
aliyun-service-v 说明 对于高于1.0.1.308版本的云助手客户端，不再使用Agentwatch管理云助手客户端服务。因此，您需要根据返回的云助手客户端版本号决定如何停止或者启动云助手客户端。根据返回的云助手客户端版本选择操作方式。对于1.0.1...
治理项管理流程
Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范，并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和...
治理项管理流程
Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范，并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和...
启动、停止或者卸载云助手Agent
启动或停止Windows实例的 云助手Agent：警告 Aliyun Assist Service 是 云助手Agent 服务的显示名称，停止 Aliyun Assist Service 相当于停止 云助手Agent，这可能会导致ECS实例异常，并无法在ECS管理控制台停止运行中的ECS实例。...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
云助手概述
功能特性 在实例处于 运行中（Running）状态，并安装 云助手Agent 后，您可以通过ECS管理控制台或者API，使用云助手对该实例进行下列操作。批量运维 同一脚本命令可在多台安装了 云助手Agent 的实例上执行，实例间互不影响。上传文件 可以...
阿里云托管实例
将非阿里云服务器注册为阿里云托管实例，该服务器即可使用阿里云提供的多种在线服务（例如云助手、系统运维管理 和云效）来管理或使用该服务器。例如，您可以通过云助手免登录管理此服务器。使用限制 第三方服务器限制 操作系统限制：...
标签概述
随着云资源增加，管理难度也会相应增加，例如您可能无法批量对某一用途、某类应用或某组织下的云资源进行成本统计、运维监控，以确保资源的合理利用和高效管理等。为了细致、精确地管理您的资源，您可以使用标签对资源进行分类标记。标签是...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
准备RAM用户
例如，在使用Dataphin过程中，某企业规划不同的员工负责数据开发、数据运维、数据分析阶段的工作，并且企业管理者对员工间的权限控制和数据安全有要求。因此，您可以创建3个RAM用户，将RAM用户同步至Dataphin后，添加为项目空间的成员并...
安全白皮书概述
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
数据服务权限列表
数据服务总览、个人工作台、运维管理和平台管理模块中四种角色的具体权限说明：数据服务总览 个人工作台 运维管理 平台管理 数据服务总览 权限点 服务项目管理员 开发用户 业务应用用户 运维用户 查看API服务列表 Y Y Y Y 查看API文档 Y Y ...
管理访问控制权限
数据管理DMS提供了全方位细粒度的数据安全管理功能，您可以对实例、数据库、表、行、敏感列等进行权限管理。本文介绍不同的用户角色进行权限管理的方法。注意事项 未开启安全托管的实例，仅支持申请或授予登录实例权限。已开启安全托管的...
任务执行记录投递
您可以使用云助手任务执行记录投递功能，将任务执行记录投递到对象存储OSS和日志服务SLS中，进行持久化存储。本文介绍如何通过云助手进行投递配置和查看已投递的执行记录文件。背景信息 云助手支持保留执行记录，但保留时长和条数均存在...
操作功能权限
在 权限管理 页面，单击左侧导航栏中 我管理的 下的 功能权限。在 功能权限 页面，单击需要授权功能权限所在行 操作 列下的 图标。根据功能权限授权对话框提示，配置参数。参数 描述 授权用户 选择需要授权的用户。有效期至 选择权限的有效...
资源治理权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 我负责的 资源管理&治理概览 查看资源分析页面-Y Y 查看治理分析页面-Y Y 查看治理效果页面-Y Y 治理工作台 查看我的治理列表-Y Y 删除我的治理 Y N...
资源治理权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 我负责的 资源管理&治理概览 查看资源分析页面-Y Y 查看治理分析页面-Y Y 查看治理效果页面-Y Y 治理工作台 查看我的治理列表-Y Y 删除我的治理 Y N...
注册调度集群
在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 注册调度集群 对话框。在 注册调度集群 对话框，配置参数。参数 描述 集群名称 填写集群名称，128字符以内。负责人 选择调度集群的负责人。说明 支持当前租户下所有 ...
查看执行结果及修复常见问题
在ECS管理控制台执行云助手命令与您登录实例后运行命令一样，只有满足所需条件后，命令才会运行成功。建议您在执行命令后查看命令执行结果与状态，确保目标操作已完成。如果执行失败，可以根据常见错误信息定位并修复问题。背景信息 当出现...
操作功能权限
在 权限管理 页面，单击左侧导航栏中 我管理的 下的 功能权限。在 功能权限 页面，单击需要授权功能权限所在行 操作 列下的 图标。根据功能权限授权对话框提示，配置参数。参数 描述 授权用户 选择需要授权的用户。有效期至 选择权限的有效...
续费
在 用户中心 页面，单击左侧导航栏中 订单管理 下的 续费管理。在 续费管理 页面，系统默认进入 手动续费 页签。单击Dataphin实例 操作 列下的 续费。在Dataphin 续费 页面，续费时长 支持选择 1个月、3个月、6个月、9个月 和 1年。请您...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算...计算设置入口 在Dataphin首页，单击顶部菜单栏中的 管理中心，进入管理中心页面。在 管理中心 页面，按照下图操作进入 计算设置 页面。
运维助手
管理命令 您可在当前资源组的运维助手页面，对已创建的命令执行如下操作：说明 您也可 单击查看环境配置详情，查看当前资源组的整体环境配置情况。例如，已安装的第三方包、第三方包的版本及状态。查看命令：查看命令的执行状态、执行ID、...
创建命令
云助手命令可以在ECS实例中快速完成运行自动化运维脚本、轮询进程、重置用户密码、安装或卸载软件、更新应用以及安装补丁等一些日常任务。命令类型可以是Windows PowerShell脚本、Bat批处理命令和Linux Shell脚本，命令中支持自定义参数，...
- 产品推荐
- 这些文档可能帮助您