创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
SQL 条件过滤数据
本文为您介绍创建数据迁移或数据同步项目时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
公开数据集概述
在使用过程中，您需要注意：公开数据集的数据均存储在 BIGDATA_PUBLIC_DATASET 项目中，但所有用户并未被加入到该项目中，即非项目空间成员。因此需要跨项目访问数据，在编写SQL脚本时，必须在表名前指定项目名称及Schema名称。同时未开启...
产品更新动态
2023年9月 发布时间：2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块，用户可以在数据中心连接和管理数据库，并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...
类目导航管理：配置管理
项目管理配置 您可以通过 项目管理配置 来控制在数据地图中，项目、表级别元数据的呈现策略。说明 仅支持对MaxCompute引擎进行相关操作，其他引擎的权限管控可通过其他引擎的元数据采集配置来实现，操作详情请参见 元数据采集。单击左侧...
配置SAP HANA输入组件
同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建SAP HANA...
快速入门
在 选择空间数据项目 对话框中，单击选中一个已有的空间项目，并单击右下角的 下一步，完成空间项目的的添加。说明 如果在 选择空间数据项目 对话框内，没有任何已创建的空间数据项目，您可以单击对话框右上角的 前往空间构建平台创建项目...
运维中心
查看审计日志 您可以通过以下步骤查看项目成员在项目中的操作历史。进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。在 项目列表 ...
数据服务权限列表
数据服务中的角色有服务项目管理员、开发用户、业务应用用户和运维用户四种角色。本文为您介绍在数据服务中用户可以被授予的角色及角色权限范围和具体角色的权限点。在数据服务中，用户可以被授予的角色及角色权限范围，请参见下表。用户 ...
同步 OceanBase 数据库的数据至 Kafka
注意事项 在源端为 OceanBase 数据库并开启同步 DDL 的数据同步项目中，如果源端库表发生重命名（RENAME）操作，建议您重新启动项目，避免增量同步丢失数据。当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则...
使用DataV可视化应用展示数据返回结果
模板中的组件自带了静态数据，本案例以模板中的 基本折线图 组件为例，将组件数据配置为 查询成交金额增长趋势的API。单击模板中的 基本折线图 组件，在右侧的 数据 配置面板中，单击 配置数据源。在 设置数据源 页面中，选择 数据源类型 ...
配置OpenGauss输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 ...
API概览
查询项目中可用的集群列表 调用ListFlowCluster接口，查询项目中可用的集群列表。查询数据开发中可用的集群列表 调用ListFlowClusterAll接口，查询数据开发可用的集群列表。查询工作流列表 调用ListFlow接口，查询工作流列表。查询项目用户...
同步 OceanBase 数据库的数据至 RocketMQ
是否允许消息追踪 如果允许消息追踪，则可以追踪到一条消息从生产者发送到消息队列 RocketMQ 版服务端，再到消费者消费处理，整个过程中的各个相关节点的时间、状态等数据汇聚而成的完整项目信息。该消息轨迹可以作为生产环境中排查问题强...
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
术语表
非MaxCompute项目所有者（Project Owner）的用户必须被加入MaxCompute项目中，且被授予相应的权限，才能操作MaxCompute项目中的数据、作业、资源及函数。更多用户管理信息，请参见 用户规划与管理。V View（视图）视图是在表之上建立的虚拟...
元数据仓库共享模型标准访问方式
元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存储在Dataphin元仓租户下的元仓项目中，产出时效为T+1。若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型...
同步 OceanBase 数据库的数据至 DataHub
注意事项 在源端为 OceanBase 数据库并开启同步 DDL 的数据同步项目中，如果源端库表发生重命名（RENAME）操作，建议您重新启动项目，避免增量同步丢失数据。当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，...
应用场景
适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的作用。背景 HBase的设计之初是为了满足互联网的大...
识别任务说明
识别任务用来扫描资产中的敏感数据，对数据进行分类分级。数据安全中心提供两种识别任务模式：系统默认任务和自定义识别任务。完成资产授权后，数据安全中心会为每一个数据库或Bucket自动创建敏感数据识别任务，即系统默认任务；您可以根据...
数据保护机制
MaxCompute已提供数据保护机制能力，如果项目中的数据敏感度很高，则需要项目所有者自行设置数据保护机制。MaxCompute项目的数据保护机制默认为关闭状态。项目所有者可以在项目中执行 set projectProtection=true;命令开启数据保护机制，...
安全操作
您只能在项目中访问数据。数据只能在项目内流动，不允许流出到项目之外，以提高数据的安全性。命令格式如下：set ProjectProtection={True|False};添加可信项目 在当前项目中添加可信的项目，通过项目互信的方式确保数据顺利流转。命令格式...
API概览
StopProjectsByLabel 暂停指定标签下所有运行中的项目 本接口用于暂停指定标签下，所有处于运行中状态的数据迁移或数据同步项目。GetUploadOssUrl 获取上传 OSS URL 本接口用于公有云上传 OSS，获取一个临时上传 URL。ListWorkerInstances ...
管理项目
如果没有添加数据库，则默认租户下所有的数据库都可在该项目中被使用。项目描述 填写项目描述便于后期管理。新建迭代 迭代内可以逐阶段推进研发流程，每个阶段内都可以直接进行相应类型的工单变更，使得开发过程更高效。在项目详情页，单击...
规划工作空间
资源倾斜：中晚期（例如5点~7点）的调度资源组、引擎计算资源、存储空间（应对数据膨胀）应用数据层（ADS）：按业务划分，针对各专项业务，建立独立工作空间。任务节点：SQL任务、数据集成任务。数据表：以满足业务场景为优先。空间成员：...
需求阶段
完成产品需求文档的初稿：得到充分信息后，按照 数据仓库需求模板 中的常规需求申请单，将需求转化为产品需求文档的初稿。分析需求 可行性分析：数据产品经理主导，邀请设计、数据安全与合规人员，对需求进行评估。需求合理性：评估该需求...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
基本概念
本文为您介绍DataV可视分析地图文档中涉及的一些基本名词概念。项目 项目是可视化分析地图的主要产物。用户可以在 我的项目 模块...地图底图 项目中的最底层瓦片地图由第三方提供，用户可以选择使用高德地图或者自定义连接其他公开地图服务。
数据迁移流程
数据传输提供数据迁移功能，帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据...
SETPROJECT
部分UDF在内存计算、排序的数据量比较大时，会报内存溢出错误，这时候可以调大该参数，但该方法只能暂时缓解，您需要从业务上去优化UDF代码。取值范围：256 MiB~12288 MiB。默认值为1024 MiB。UDF SQL Session odps.sql.udf.timeout 设置...
Flag参数列表
部分UDF在内存计算、排序的数据量比较大时，会报内存溢出错误，这时候可以调大该参数，但该方法只能暂时缓解，您需要从业务上去优化UDF代码。取值范围：256 MiB~12288 MiB。默认值为1024 MiB。UDF SQL Session odps.sql.udf.timeout 设置...
2023年
Sugar BI连接MaxCompute 2023年9月更新记录 时间 特性 类别 描述 产品文档 2023-09-27 新增TPC-DS性能测试 新说明 MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据...
引入预制模型
导入模型时将在您创建的MaxCompute项目中自动创建模型所需的数据板块、项目及计算源，因此需要您提供计算源的连接信息。由于模板导入将在计算源（MaxCompute项目）中创建表，可能造成冲突及覆盖已有表，建议使用空白的MaxCompute项目。...
数据库分组
结构设计 当结构设计项目中选择某数据库分组中的任意一个数据库为基准库，当您单击 执行变更到基准库 时，DMS将会提示您选择的库处于多套发布的分组绑定中，工单变更的内容将同步发布到分组的其它库中。创建数据库分组 登录 数据管理DMS 5....
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
地理围栏
回调ID 设置组件之间数据联动的变量，需要配置为数据中的某一个字段。注意 此功能已更新到 交互 面板中，配置 面板的该功能将弃用，请尽快升级。新版本的交互功能支持配置多个字段。显示顶面 开启 显示顶面 后，可以设置围栏顶面的颜色；...
入门概述
5 项目中添加数据库 从 ODC 已创建的数据源中选择数据库添加到项目中。6 SQL 编辑和执行 在 ODC SQL 窗口中编辑和执行 SQL 语句。7 新建数据库变更 对数据库中的数据进行变更。 完成上述步骤后，即可开始通过 Web 版 ODC 开发和管理...
- 产品推荐
- 这些文档可能帮助您