数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
设备风险标签在决策引擎中的应用实践
创建策略 一次请求返回的设备风险标签可能包含多个，您可以根据不同场景下设备风险标签对应的风险大小，针对性的防控。本示例中，如设备风险标签中包含“is_emulator”（模拟器风险），则策略命中。进入“策略管理”进行策略创建。配置策略...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
工作空间概述
后续：开始数据开发 创建工作空间并分配空间成员角色权限后，您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作，数据开发模块的入门教程详情请参见：数据开发：开发者。相关文档 在阅读工作空间的概述后，若您想创建...
OpenEvent概述
通过OpenEvent订阅任务变更，实现定制化开发实时任务大屏的数据监控。本文为您介绍OpenEvent支持订阅的事件类型与配置流程。权限说明 开放平台管理员 和 租户管理员 拥有 开发者后台 的读写权限，其他租户级角色、空间级角色仅拥有开发者...
为工作空间添加空间成员
如果您需要其他RAM用户基于工作空间进行协同开发操作，可以将其添加为工作空间成员并授予相应的角色权限。本文将介绍如何将RAM用户添加至工作空间并授予相关的角色权限。前提条件 已创建工作空间，详情请参见 创建并管理DataWorks工作空间...
为什么会空跑
场景二：实时生成的过期实例 当使用 发布后及时生成实例 方式生成周期实例时，只有任务定时时间在任务发布时间点十分钟后的实例会真实跑数据，发布时间点十分钟前的实例会生成一个空跑实例，不会真实跑数据，该实例状态为 实时生成的过期...
阶段三：数据安全持续运营
场景二：数据违规流转准实时告警 开发者在开发环境中使用数仓数据构建应用时，可能存在 将ODS层数据同步至分析层项目空间、将分析层数据同步至数据仓库之外的存储介质（业务数据库或对象存储）等情况，此类行为极易造成数仓分析层数据可用...
创建RocketMQ数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint RocketMQ实例的...
数据服务概述
数据服务产品价值能力，概括为以下两点：数据服务创建能力：支持将单个物理表或多个物理表进行关联形成一张逻辑表，后续开发可以基于该逻辑表创建API。支持向导模式和脚本模式创建：简单的查询可以通过向导模式创建API；联表、查询条件复杂...
发布任务
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布>创建发布包 界面将操作发布至生产环境，有以下两种发布方式可选：单个...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据开发常见问题
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...
HTTP触发器节点
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点>通用>HTTP触发器。您也可以打开相应的业务流程，右键单击 通用，...
透视分析：按研发链路
支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并...
开发参考：扩展事件编码
事件编码与事件类型 应用范围 系统模块 事件名称 事件编码 事件分类 事件类型 空间级 数据开发 提交文件 commit-file 扩展点事件 file-change 发布文件 deploy-file 扩展点事件 运行文件 run-file 扩展点事件 删除文件 delete-file 扩展点...
独享资源组模式
在数据集成任务的编辑页面，通过调度运行及界面测试，选择运行时执行数据集成离线同步任务的资源组：单击左上角的 图标，选择 全部产品>数据开发与运维>DataStudio（数据开发），并切换至修改的归属工作空间。在 数据开发 面板，双击打开...
空间管理员职责
数据开发：仅开发角色和空间管理员角色可以在数据开发进行具体的开发工作。在设置工作空间的级别时，您需要首先选择设置调度引擎执行任务时，使用 阿里云主账号 还是 阿里云子账号 执行任务。如果设置有误，权限体系会被破坏。阿里云主账号...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
创建数据脱敏规则
背景信息 DataWorks的脱敏场景分为静态脱敏和动态脱敏：动态脱敏：包括 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等场景。静态脱敏：指数据集成静态脱敏场景。各场景的详细介绍，请参见 ...
UpdateIDEEventResult
用于在数据开发过程中触发扩展点时，通过调用UpdateIDEEventResult接口，将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
调度周期：周调度
周调度是指调度任务在每周的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每周一、周二零点执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，周调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
管理中心功能概览
例如，在配置数据集成任务前，可先在DataWorks数据源管理页面，配置好需同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过数据源名称来控制读取和写入的数据库或数据仓库。开源集群 在 开源集群 处，可管理已绑定至...
调度周期：月调度
月调度是指调度任务在每月的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每月一号、二号执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，月调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回运行...
任务冻结与解冻
您可以手动针对当前周期任务触发补数据和测试操作，并根据当前实例快照信息生成补数据实例与测试实例，根据以上说明的周期任务与周期实例，测试实例和补数据实例的关系，您需要先查看以下几点。请确认您冻结的任务是周期任务。周期任务的...
应用场景
只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，极大地节省了成本，降低了技术风险。同时，OceanBase 数据库的分区表方案也可以使得用户...
运行及排错
测试运行 单击当前页面左上角的 图标，选择 全部产品>数据开发与运维>运维中心（工作流），进入 运维中心 页面。在左侧导航栏，单击 周期任务运维>周期任务。在弹出的页面中，找到目标节点，在 操作 列中单击 测试。在 冒烟测试 对话框中，...
系统配置
您可在数据保护伞的系统配置页面，设置数据保护伞的识别内容、识别范围，水印文件保存时间，是否展示风险识别的数据安全等级，以及告警信息的接收邮件及WebHook地址，以便及时发现并处理潜在安全风险。进入系统配置页面 进入数据开发页面。...
资源组操作及网络连通
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
电商网站智能推荐
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
集成与开发概览
DMS的数据集成与开发功能模块，针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
查看数据风险（新版）
数据风险从多维度呈现了通过配置的风险识别规则命中的风险数据，方便您了解不同维度的风险分布、指定时间的风险趋势及风险项目空间排名，获取风险高发的时间及项目空间，也可以查看产生风险的用户、时间、操作等详情，及时定位并处理风险。...
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
- 产品推荐
- 这些文档可能帮助您