方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的...在加入关系表、用户表后，系统架构如下图所示：
Quick BI如何查看数据集引用的物理表
问题描述 用户在使用过程中，需要了解数据集使用的物理表关系。解决方案 可以查看血缘关系，点击右上角齿轮，然后左侧菜单-报表血缘关系。适用于 Quick BI
功能简介
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层次管理：支持对逻辑表...
功能简介
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层次管理：支持对逻辑表...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
创建多表join
只能配置一张主表 主辅表关系 关联逻辑 是否支持 表A（主表）、表B 表A（主表）->表B 支持 表A（主表）、表B、表C 表A（主表）->表B->表C 支持 表A（主表）、表B、表C、表D 表A（主表）->表B 表A（主表）->表C 表A（主表）->表D join层级不...
概述
维表 关系型数据存储，必须显式定义数据变化周期，常用来做数据连接（Join）。边缘端支持的类型如下所示。RDS：会把关系型数据库（MySQL）的数据当成维表输入。icmsDocProps={'productMethod':'created','language':'zh-CN',};
新建MaxCompute计算源
不支持从MaxCompute元数据获取外部项目表的存储量。资源不支持存储健康分及存储量。计算项目 填写作为计算资源的MaxCompute外部项目名称。计算源名称 填写计算源的名称。命名规则如下：包含中文、数字、字母及下划线（_）或中划线（-）。不...
认识MaxCompute Studio
项目浏览器（Project Explorer)：连接MaxCompute项目，浏览项目表结构、自定义函数、资源文件。作业浏览器（Job Explorer）：浏览、搜索MaxCompute的活动作业和历史作业。MaxCompute控制台（MaxCompute Console）：集成了MaxCompute客户端...
新建MaxCompute计算源
不支持从MaxCompute元数据获取外部项目表的存储量。资源不支持存储健康分及存储量。计算项目 填写作为计算资源的MaxCompute外部项目名称。计算源名称 填写计算源的名称。命名规则如下：包含中文、数字、字母及下划线（_）或中划线（-）。不...
创建项目
由于开发和生产项目Owner都是同一个账号，请谨防通过发布任务到生产项目时，将生产项目表读写到开发项目再通过开发项目获取生产数据。业务场景二：创建仅实现查询、下载业务数据的项目 场景需求 业务单一，成员角色基本一致，后续业务不会...
权限管控与隔离
项目数据资产：包括是否可以通过角色获取当前项目内数据资产（如物理表、逻辑表）的各种权限（查表数据、改表数据、删除表等）；数据资产权限通常是需要自定义项目角色的关键点，建议按照最小需求范围配置。发布运维：包括是否可以查看、...
权限管控与隔离
项目数据资产：包括是否可以通过角色获取当前项目内数据资产（如物理表、逻辑表）的各种权限（查表数据、改表数据、删除表等）；数据资产权限通常是需要自定义项目角色的关键点，建议按照最小需求范围配置。发布运维：包括是否可以查看、...
RDS PostgreSQL权限管理最佳实践
然后使用 \du 命令查看：从上述查询结果示例中可以看出：employee_readwrite账号的 Member of 列中，内容为 rdspg_role_readonly,employee_role_readwrite，因此，此账号对employee项目表具有DQL和DML权限，对rdspg项目表具有DQL权限。...
MaxCompute加速概述
Hologres支持使用创建外部表的方式实现MaxCompute数据加速查询，当数据规模较大时（超过200 GB），您也可以将MaxCompute数据导入Hologres进行查询以获得更好的查询性能。背景信息 大数据计算服务（MaxCompute）是一种快速、完全托管的EB级...
规范建模任务提交说明
变更内容信息包括 基本信息、对象信息、表结构信息、物理信息、表关系信息、计算逻辑、调度配置、调度依赖、运行配置、字段约束。前置检查 提交维度/事实逻辑表任务时，将进行以下前置校验，未正确配置所有校验项将不支持提交。下图以 维度...
规范建模任务提交说明
变更内容信息包括 基本信息、对象信息、表结构信息、物理信息、表关系信息、计算逻辑、调度配置、调度依赖、运行配置、字段约束。前置检查 提交维度/事实逻辑表任务时，将进行以下前置校验，未正确配置所有校验项将不支持提交。下图以 维度...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
审批负责人治理（Beta）
项目 表所属的MaxCompute项目名称。如果表在不同的环境，会有相关的后缀。例如，_dev 表示开发环境。环境 表所属DataWorks工作空间的环境，DataWorks工作空间可分为 开发 环境和 生产 环境。异常负责人 审批负责人：表权限申请流程的审批人...
一键MaxCompute表结构同步节点
DataWorks支持一键导入表结构功能，帮助您使用DataStudio快速批量创建与目标MaxCompute表结构相同的Hologres外部表，后续您可使用Hologres外部表加速查询MaxCompute表的数据。本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。...
黄牛账号识别之GraphCompute解决方案
工业界比较知名的基于半监督关系网络图上的风险实体挖掘方法有亚马逊在2018年提出的GraphRAD方法和蚂蚁集团在2021年提出的Risk-alike方法，这两种方法都是基于黑种子节点的输入在图上挖掘风险。也可以使用 链接分析 的方法，如PageRank，从...
MaxCompute权限
表（Table）：MaxCompute项目中的表或视图。在MaxCompute项目中，视图（View）是虚拟表，权限操作与表相同（若视图Owner缺失视图引用表的SELECT权限，则视图不可用）。函数（Function）：MaxCompute项目中用户自定义的函数（MaxCompute UDF...
StarRocks Connector
StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。本文为您介绍如何通过StarRocks Connector访问MaxCompute。...
CREATE PARTITION TABLE
参数 说明 if not exists 如果已经存在相同名称的表，不会抛出一个错误，而会发出一个通知，告知表关系已存在。schema_name 表所在的schema名称，若是在同一个schema创建父表和子表，可以不需要指定schema名称。若是需要跨schema创建父表和...
通过控制台使用宽表模型
通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作。前提条件 已获取用于操作表格存储的阿里云账号或者RAM用户的登录信息。如果未注册...
MySQL分库分表同步至Hologres（方案2.0）
步骤四：目标表映射 在上一步骤选择完需要同步的表后，将自动在此界面展示当前待同步的表，但目标表的相关属性默认为待映射状态，需要您定义并确认源表与目标表映射关系，即数据的读取与写入关系，然后单击 刷新映射 后才可进入下一步操作...
新建视图
设置关联关系 表操作区中存在两个或两个以上的表时可通过下拉框选择表与表之间的关联关系，默认值为 JOIN，最后一张表无需设置关联关系。单击别名标签后的下拉列表标签 进行选择，可选 JOIN、INNER JOIN、LEFT JOIN、RIGHT JOIN、CROSS ...
共享集群（MaxCompute BI加速版）
本次实验以在HoloWeb中新建外部表查询MaxCompute公共数据集中public_data项目的表数据为例，步骤如下：说明 获取表的方法请参见 公开数据集。新建外部表。单击 元数据管理>MaxCompute加速>创建外部表，使用可视化的方式创建外部表。在 新建...
创建关系表
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，CREATE TABLE DDL 创建关系表的支持转换范围。总览 relational_table:[(relational_properties)][immutable_table_clauses][blockchain_table_clauses][DEFAULT ...
请求判断相关
server_addr 使用server_addr返回接收了当前请求的服务器地址，函数的详细信息见下表。项目 描述 语法 server_addr()参数 无 示例 s_addr=server_addr()say(concat('s_addr:',s_addr))返回值 返回服务器地址，返回值为字符串类型。server_...
MySQL一键实时同步至MaxCompute
最终的表对应关系如下所示：源端数据库 源端待同步表 写入的目标表 目标表新增字段 doc_demo1 doc_tb1 ods_tb1 execute_time doc_tb2_nopk ods_tb2_nopk 操作流程 创建同步任务 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置...
MySQL一键实时同步至MaxCompute
最终的表对应关系如下所示：源端数据库 源端待同步表 写入的目标表 目标表新增字段 doc_demo1 doc_tb1 ods_tb1 execute_time doc_tb2_nopk ods_tb2_nopk 操作流程 创建同步任务 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置...
添加项目成员
Dev项目角色 对应Prod项目角色 项目管理员 项目管理员 开发者 运维 分析师 数据访问者 普通访客 普通访客 系统支持修改项目中的项目管理员、开发者、运维、分析师和访客角色成员的角色，及支持从项目空间中移除项目管理员、开发者、运维、...
添加项目成员
Dev项目角色 对应Prod项目角色 项目管理员 项目管理员 开发者 运维 分析师 数据访问者 普通访客 普通访客 系统支持修改项目中的项目管理员、开发者、运维、分析师和访客角色成员的角色，及支持从项目空间中移除项目管理员、开发者、运维、...
专属集群任务规格说明
本文介绍专属集群任务的DU数与性能的关系。注意事项 该性能规格参考的是测试数据，不作为产品SLA的评判标准。受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS专属集群任务可能会出现延迟增大的...
DQL操作常见问题
对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的物理存储量是表A的10倍，是什么原因造成的？使用GROUP BY分组查询100亿条数据会不会影响性能？GROUP BY对数据量有没有限制？ORDER BY MaxCompute查询得到的数据是根据什么排序的？...
关系表列定义
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，CREATE TABLE DDL 关系表列定义的支持转换范围。总览 relational_properties:{ column_definition|virtual_column_definition|period_definition|{ out_of_line_...
创建外部表
本文为您介绍如何使用HoloWeb新建、编辑或删除外部表，以及预览外部表数据和DDL语句。前提条件 存在已登录实例，请参见 登录实例。新建外部表 登录 Hologres管理控制台。在顶部菜单栏左侧，选择相应的地域。单击 前往HoloWeb，进入HoloWeb...
创建节点
关于项目类型和节点引擎类型的关系请参见下表。项目类型 引擎类型 联邦建模 联邦学习 多方安全建模 训练和预测 多方安全分析 分析 隐私求交 分析 说明 同时选择预测和训练引擎，或者同时选择预测和分析引擎时，分析或训练任务可能会抢占...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
- 产品推荐
- 这些文档可能帮助您