整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
区域热力层
无值：系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会展示为无值的颜色。面透明度：区域面的透明度。边线颜色：区域边界线的颜色，请参见 颜色...
区域热力层
无值：系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会展示为无值的颜色，请参见 颜色选择器说明 进行修改。仅在关闭只显示边界开关时展示。面...
区域热力层（v1.x版本）
标注 标注字段：区域的标注字段，需要与地理数据中字段名称匹配。颜色：标注的颜色，请参见 颜色选择器说明 进行修改。阴影色：标注的阴影色。字体：标注的字体系列。说明 请选择系统中的字体，如果您的系统中没有所选的字体，标注会使用...
区域热力层（v2.x版本）
参数 说明 填充颜色 数据中最大、最小及为空的value值对应区域的颜色。边线样式 区域热力层各区域边线的颜色、粗细和线类型。标注：设置区域热力层的区域的标注显示字段、文本样式参数。单击 标注 左侧的 图标，可控制 标注 的显隐。参数 ...
区域热力层
填充颜色：设置数据中最大、最小及为空的 value 值对应区域的填充颜色。边线样式：区域热力层各区域边线的颜色。文本样式：区域热力层各区域文本标注的字体系列、文本粗细、字号、颜色、文本描边粗细和描边颜色，请参见 颜色选择器说明 ...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
区域热力层
无值 系统在获取区域热力边界数据时，如果缺少了某个区域的数据（当区域热力图数据中没有对应的地理边界数据中的adcode值时），这个区域的颜色就会显示为 无值 的颜色。边线配置 参数 说明 颜色 区域边界线的颜色。宽度 区域边界线的宽度。...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
功能特性
安全管控 功能集 功能 功能描述 参考文档 实例管理 数据库配置 在DMS中创建或删除数据库，调整数据库的Owner、字符集或校验规则。资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时，DMS会...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
维度建模
真实场景中建议使用 ads_业务大类英文缩写_数据集市英文缩写_主题域英文缩写_自定义。e.g:ads_ec_ec360_gmv_kpi_overview 电商360KPI概览。应用表_电商业务<业务分类>_电商360<主题域>_xxx 数据引入层ODS 通常ODS层不需要做数据建模，所以...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
写入数据
返回的响应内容和指定 details 时相同，只是此时通过 errors 字段返回的将是该一批次数据中所有的失败数据，未被返回的数据可以认为写入成功。名称 数据类型 描述 success Integer 写入成功的数据点数。failed Integer 未写入的数据点数。...
多值数据写入
返回时，会将该批次数据中写入失败的数据全部返回，返回的响应内容和指定 details 时相同，只是此时通过 errors 字段返回的将是该一批次数据中所有的失败数据，未被返回的数据可以认为写入成功。名称 数据类型 描述 success Integer 写入...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
轮播页面
图表样式 轮播页面是基础交互组件的一种，仅支持在数据中配置页面的属性，包括ID、页面名称和链接，适用于在数据看板中轮播展示多个网页。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的...
轮播页面
图表样式 轮播页面是基础交互组件的一种，仅支持在数据中配置页面的属性，包括ID、页面名称和链接，适用于在可视化应用中轮播展示多个网页。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的...
异构数据源访问
参数 说明 数据源名称 可包含英文大小写字母、数字、中划线（-）、下划线（_）。以数字或者英文字母开始和结尾。长度不超过50字符。数据源描述 数据源描述。数据源类型 当目标数据源为E-MapReduce集群，选择 阿里云E-MapReduce。当目标数据...
热力线层
最大宽度：热力线的最大宽度，通过数据中的 value 值来调整线的宽度。渐变速度：热力线层渐隐渐显的速度，值越大则速度越快。最小值颜色：数据中 value 值最小的线的颜色。最大值颜色：数据中 value 值最大的线的颜色，请参见 颜色选择器...
热力线层
最大宽度：热力线的最大宽度，通过数据中的value值来调整线的宽度。渐变速度：热力线层渐隐渐显的速度，值越大则速度越快。最小值颜色：数据中value值最小的线的颜色。最大值颜色：数据中value值最大的线的颜色，请参见 颜色选择器说明 ...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
路网轨迹层
最大宽度：路网轨迹层线的最大宽度，通过数据中的 value 字段来控制轨迹线的粗细。轨迹长度：运动轨迹线的长度。速度：轨迹线的运动速度。最大值颜色：数据中 value 值最大的线的颜色，请参见 颜色选择器说明 进行修改。最小值颜色：数据中...
路网轨迹层
最大宽度：路网轨迹层线的最大宽度，通过数据中的value字段来控制轨迹线的粗细。轨迹长度：运动轨迹线的长度。速度：轨迹线的运动速度。最大值颜色：数据中value值最大的线的颜色，请参见 颜色选择器说明 进行修改。最小值颜色：数据中...
数据质量评估标准
准确性 准确性是指数据中记录的信息和数据是否准确、是否存在异常或者错误的信息。例如，成绩单中分数出现负数或订单中出现错误的买家信息等，这些都是准确性不好的数据。确保记录的准确性也是保证数据质量必不可少的一部分。一致性 一致性...
智能文创解决方案
步骤二：构建文本摘要模型 在 Designer 可视化建模平台，使用文本摘要训练组件，基于海量大数据语料预训练获得的NLP预训练模型，构建文本摘要模型。步骤三：离线批量预测 在 Designer 可视化建模平台，使用文本摘要预测组件，基于海量文本...
业务过程
业务过程是企业在指定的数据域中所执行的业务活动，是数据建模所需要分析的逻辑主体。例如，交易域中可以有加入购物车、下单、支付等业务过程。本文为您介绍如何创建并使用业务过程。前提条件 已根据规划准备好对应数据域，系统已默认提供...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
目标库对象名称大小写策略
在配置任务时，DTS支持配置任务到目标库对象的名称大小写策略，来设置目标实例中任务对象的库名、表名和列名的英文大小写规则。注意事项 如果您指定目标库对象名称大小写策略，则任务对象具有如下限制：不支持配置任务中视图、函数、存储...
目标库对象名称大小写策略
在配置任务时，DTS支持配置任务到目标库对象的名称大小写策略，来设置目标实例中任务对象的库名、表名和列名的英文大小写规则。注意事项 如果您指定目标库对象名称大小写策略，则任务对象具有如下限制：不支持配置任务中视图、函数、存储...
目标库对象名称大小写策略
在配置任务时，DTS支持配置任务到目标库对象的名称大小写策略，来设置目标实例中任务对象的库名、表名和列名的英文大小写规则。注意事项 如果您指定目标库对象名称大小写策略，则任务对象具有如下限制：不支持配置任务中视图、函数、存储...
数据域
背景信息 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。由上图所示，数据域规划...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
文本摘要预测
您可以使用文本摘要预测组件，对已训练好的文本摘要模型进行测试，并根据预测结果评估模型的推理效果。本文为您介绍文本摘要预测组件的配置方法。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：Designer。...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
文本摘要训练
文本摘要（Text Summarization）旨在从详尽的文本内容中抽取关键信息，制作成简明的概要。通过文本摘要训练组件，您可以训练出专业的模型，来自动执行诸如文本摘要和新闻标题生成等文本生成任务。本文为您介绍文本摘要训练组件的配置方法。...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
- 产品推荐
- 这些文档可能帮助您