功能发布记录（2022年）
2022.6.14 华东1（杭州），华东2（上海）所有DataWorks用户 查看敏感数据血缘（公测）数据保护伞新增异常血缘关系分析功能 新增异常血缘关系分析，功能如下：系统根据敏感字段的血缘关系，自动分析字段之间的异常关联关系，避免通过字符...
绑定交互式分析实例
Hologres实例名称 下拉框可选 无 数据库名 需要绑定的DB名 当前建议绑定开发环境的DB 服务器 Hologres实例的网络地址 实例选择后自动生成 端口 Hologres实例的网络地址 实例选择后自动生成 连通性测试 测试是否连通 无 进入HoloStudio开发 ...
概述
开发一个超温与低温的报警通知服务，实现24小时自动检测报警。例如机房中空调坏了、温度升高时能及时发出警告。节点 描述 定时触发 设置时间，使服务在指定时间执行。设备（树莓派计算机）获取上报的机房温度，用于条件判断的源数据。条件...
功能特性
OSS数据湖加速 通过创建外部表加速查询MaxCompute数据 开发工具和分析工具 HoloWeb Holoweb是基于Hologres引擎的可视化数据库管理和开发一站式平台，灵活适用于数据库管理、数据库接入、数据开发、数据分析、性能分析和诊断等用户场景。...
项目
项目是物联网应用开发（IoT Studio）中多个应用、服务和物联网平台资源（产品、设备、数据资产等）的集合。同一个项目内的不同应用或服务共享资源。不同项目之间的应用、服务和资源都相互隔离，互不影响。重要 阿里云物联网平台新用户不...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
创建业务流程
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
配置同周期调度依赖
代码开发：自动解析会将节点的产出表作为节点输出。若同一个工作空间中，两个调度节点往同一张表插入数据，自动解析场景下将导致其中一个节点产生报错，详情请参见 多个节点往同一张表写数据，自动解析报错节点输出名相同。依赖配置：对于...
配置URL来源时，URL参数 与key一致，页面运行时，链接内容 会自动获取页面中对应URL参数的值。URL参数 可选配置。单击 URL参数 可添加URL参数键值对。单击 值 输入框右侧的 参数来源，选择并设置相关数据来源类型（登录账号、页面变量、...
产品优势
车厂自主研发，需要端侧与云端工程师联合开发，工作量巨大、且效率低，不建议使用。场景灵活 作为针对智联车的基础管理平台，IoV CC可应用到不同的智联车使用场景中，例如：私人用车、商用车队、共享出行等。厂商可根据自己的使用需求，...
风险识别规则响应案例
通常情况下，只有企业数据开发人员和分析人员可以在数据平台上浏览和使用数据，而不允许将详细数据下载到本地进行分析。一旦数据导出到本地，就无法对其使用行为进行审计。同时，如果数据被不当使用或者受到别有用心者的攻击，就可能导致...
功能特性
锁分析 自动SQL限流 自动提取SQL特征，通过关键词对问题SQL进行限流。自动SQL限流 自动SQL优化 自动识别问题SQL，生成索引优化建议，并在不引发锁表的情况下自动创建索引。自动SQL优化 智能压测 确认数据库实例规格是否需要扩容，并验证在...
加工数据
重要 建议实际开发时严格遵守以下节点开发规范更有利于调度依赖自动解析，避免非预期报错产生。更多关于调度依赖的原理，请参见 调度依赖配置指引。节点和产出表一对一关系。节点名命名与产出表名保持一致。进入数据开发 登录 DataWorks...
数据开发与运行
您需要在数据开发界面将该jar作为资源上传到DataWorks，节点使用该jar资源时，您需要先右键目标资源节点>引用资源（会在节点最上方自动多出一条注释），然后直接使用资源名执行。例如：在Shell节点内#resource_reference{"test.jar"} java-...
iOS 客户端开发
本文将引导您完成 iOS 客户端开发，包括：接入移动分析组件 记录事件日志 1.接入移动分析组件 参考 iOS 接入文档 接入移动分析组件。2.记录事件日志 下文将以 10.1.68 版本 SDK 为例，引导您记录事件日志。示例代码#import...
可视化看板
[2.4制作报表]行为分析-行为洞察-分析，根据业务指标分析，可选择不同行为分析，选择不同行为分析之后可以选择数据指标和相应的筛选条件。以事件分析为例：选择好对应的指标和条件后，点击「开始分析」按钮，下面就会展示出对应的数据报表...
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
Quick BI v4.1.0版本说明
发布日期 2021年09月28日 重点升级概览 开发&访问入口页升级，提升查找和编辑效率。为更好的拟真数据协作工作体验，全新推出 我的看板、工作台 模式：我的看板 业务目录让数据内容导航清晰明了，快速定位所需数据内容，提升访问用户查找...
DataWorks On Hologres使用说明
创建Hologres数据源 数据开发、数据分析环境准备 基于DataWorks进行Hologres调度任务前，您需先将Hologres实例创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性调度...
周期任务基本运维操作
使用说明 仅生产环境运维中心支持自动调度生成周期实例，开发环境运维中心不支持自动调度，且不会生成自动调度的周期实例。对生产环境的任务代码、调度配置、资源、函数进行新增、修改、下线等操作，均可通过提交和发布流程来实现。任务的...
DataWorks On MaxCompute使用说明
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
DataWorks On CDP/CDH使用说明
支持的数据源及同步方案 数据开发、数据分析 环境准备 基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册CDH或CDP集群至...
X-Pack高级特性
X-Pack高级特性（开源Elasticsearch白金版）是基于开源Elasticsearch原X-Pack商业版插件开发的，包含了安全、SQL、机器学习、告警、监控等多个高级特性，从应用开发和运维管理等方面增强了Elasticsearch的服务能力。阿里云Elasticsearch...
数据开发常见问题
典型配置场景 提交节点报错：当前节点依赖的父节点输出名不存在 提交节点时提示：输入输出和代码血缘分析不匹配 为什么自动解析的父节点名会报依赖的父节点输出（表）不存在？为什么有些节点的本节点的输出中，下游节点名称、下游节点ID有...
应用管理
4.去集成：点击此按钮会进入到应用基础集成的引导界面，里面按照SDK引入、基础配置和初始化SDK三个步骤去引导用户做开发，并且在每一步骤里面会有相应的demo，用户完成这三步操作之后，可以通过集成校验去验证基础集成是否已完成。
数据过滤器
通过数据过滤器可以将接口（数据分析服务、自定义接口或服务开发工作台）返回的数据转换成您所需要的内容，并展示在Web可视化组件上。本文介绍数据过滤器的使用方法。过滤方法 过滤方法支持数据过滤脚本和数据表配置两种过滤方法：数据过滤...
DataWorks On EMR使用说明
数据建模与开发 5 DataWorks数据分析提供EMR数据分析与服务共享能力。数据分析 6 DataWorks提供EMR元数据管理与数据治理能力。数据治理 7 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。数据服务 8 DataWorks支持开放...
HoloStudio快速入门
DataWorks-HoloStudio作为基于交互式分析（Hologres）引擎的一站式开发平台，在为您提供SQL界面开发的同时，也支持使用可视化UI界面完成Hologres开发，同时也与DataWorks深度集成，方便您完成数据的周期性调度。本小节主要为您介绍使用...
初始化 mPaaS 配置
从 10.1.68.18 版本起，智能投放组件在进程启动时默认不会初始化拉取展位和活动，您必须在 AndroidManifest 文件中手动添加如下配置以开启自动初始化：从较低基线版本升级到 10.1.68.18 版本后，您必须在 AndroidManifest 文件中手动添加...
添加飞书账号为组织用户
背景信息 Quick BI中的组织用户类型及角色如下：用户类型 在组织层面，有三种用户类型：开发者：企业IT人员、数据分析师和数据运营人员等。分析师：需要进行业务分析、且对技术能力要求不高的业务人员。分析师通过创建仪表板、电子表格等...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
基本概念
本文为您介绍DataWorks中，工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间...
配置检查项
在进行数据开发前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
创建Hologres外部表
该结构将用于创建最终的Hologres外部表，会自动读取MaxCompute源表数据，不可编辑。说明 基于MaxCompute创建Hologres外部表时存在字段类型映射，外部表字段类型必须与MaxCompute源表字段类型一一对应。MaxCompute与Hologres的数据类型映射...
发布模型至引擎
代码方式建模 导入方式建模 发布模型 维度表、明细表、汇总表、应用表可直接发布物化至绑定的DataWorks引擎中，用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。您...
WordPress建站
说明：云开发平台生成的是一个临时域名，有效期只有30分钟，由于WordPress建站成功后会在wp_options中保持临时域名，因此如果30分钟后，临时域名变更成其他域名后，再访问会出现WordPress页面错乱的问题。需要把MySQL所有表删除，或者重启...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
设置全局Spark参数
您可参考 Spark官方文档 自定义全局Spark参数，并配置全局Spark参数的优先级是否高于指定模块内（数据开发、数据分析、运维中心）的SPARK参数。本文为您介绍如何设置全局Spark参数。背景信息 Apache Spark是用于进行大规模数据分析的引擎。...
创建MaxCompute数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买MaxCompute，详情请参见 开通MaxCompute。说明 建议购买MaxCompute的 地域 与创建MaxCompute数据源...
- 产品推荐
- 这些文档可能帮助您