算子功能详解
Filter过滤 过滤类型：表达式/数据表，其中数据表过滤仅支持KKV类型表。差级表：如果过滤时需要额外排出部分数据，可以设置差级表，存在差级表中的数据可不被过滤。举例 说明：过滤表为曝光数据，差级表可设置点击数据，可过滤掉没有被点击...
Bucket Shuffle Join
在SQL语句中，A表与B表进行了Join操作，并且Join的等值表达式与A表的数据分布列相吻合。Bucket Shuffle Join会根据A表的数据分布信息，将B表的数据发送到对应的A表的数据存储计算节点。Bucket Shuffle Join开销如下：网络开销：B表数据量。...
配置并管理实时同步任务
勾选后可以在源端库表的 库过滤 搜索框和 表过滤 搜索框中填写正则表达式，实时同步运行过程中会自动识别源端数据库binlog中数据库名和表名符合正则表达式的变更，识别到这类变更后按照下面设置的 表名到Topic的映射规则 计算源端变更应该...
HBase Shell使用介绍
创建一个名称为test，列族名为cf的表 create 'test','cf' 查询所有表的信息 使用 list 命令来查询HBase数据库中所有表的信息，也可以使用正则表达式来过滤表。list list 'abc.*' list 'test' 插入数据 使用 put 命令为新创建的表插入数据。...
约束
我们说在这种情况下，订单表是引用表而产品表是被引用表。相应地，也有引用和被引用列的说法。我们也可以把上述命令简写为：CREATE TABLE orders(order_id integer PRIMARY KEY,product_no integer REFERENCES products,quantity integer);...
数据转发到表格存储（Tablestore）
表格存储（Tablestore）的宽表引擎是一个分布式的数据表，可用于设备元数据的存储与更新。本文介绍使用云产品流转功能将设备数据转发到表格存储（Tablestore）宽表模型中的完整流程。工作原理 云产品流转将设备的Topic消息转发到表格存储...
数据库
如果您希望区块链上的数据能导出到关系型数据库，您可以将区块链数据和数据库表做映射配置。云服务集成会根据配置，将区块中的指定数据导出至目标数据库的表中，您可以使用SQL语句或其他数据库工具对这些信息做进一步处理。配置数据库触发...
Qlik
它使您能够快速开发和交付交互式指导分析应用程序和仪表板。本文为您介绍Qlik Sense Desktop如何连接 Hologres并可视化分析数据。使用限制 已知限制 Qlik Sense暂不支持同步PostgreSQL中外部表的表结构，因此无法在如下页面中查询到外部表...
MMA概述
说明 校验⽅式：在Hive端和MaxCompute端对同⼀个表（或多个分区）执⾏ SELECT COUNT(*)命令，通过对⽐两端的⾏数验证数据是否迁移成功。通过OSS迁移Hive数据到MaxCompute。该场景会先将数据迁移到OSS,然后通过MaxCompute读取OSS数据。数据...
分布式链路概述
分布式链路核心概念 下表介绍分布式链路核心概念，方便查看和索引。名词 说明 应用拓扑 拓扑是对应用间调用关系和依赖关系的可视化展示。链路拓扑图中，每个图标元素代表一个节点，具体图标说明可参考 拓扑图元素说明。Trace ID 代表唯一一...
通过PrestoDB使用Tablestore
PrestoDB是基于MPP架构的开源大数据分布式SQL查询引擎，支持对接MySQL、Elasticsearch、Tablestore等多种数据源。使用PrestoDB对接表格存储Tablestore后，基于PrestoDB on Tablestore您可以使用SQL查询与分析Tablestore中的数据、写入数据...
PyODPS概述
提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到MaxCompute分布式执行而不是在PyODPS客户端节点下载处理，这是正确使用PyODPS的关键。推荐使用PyODPS DataFrame接口来完成数据处理...
FMT 模式参与者
本文将介绍如何：配置数据源 创建数据表 针对 SOFARPC 或 Dubbo 进行 发布服务 FMT 模式参与者只需要替换数据源，即可将对该数据源的访问纳入到分布式事务中。一个数据源就是一个参与者。配置数据源 您可以选择以下任一数据源配置方案：...
FineReport
本文为您介绍交互式分析Hologres如何连接FineReport并可视化分析数据。前提条件 开通Hologres实例，详情请参见 购买Hologres。进入 帆软官网，根据项目需求选择 解决方案 并下载客户端工具。本次示例采用 FineReport报表。背景信息 ...
列存索引
分区表达式包括普通分区表达式和bucket分区表达式，且普通分区表达式和bucket分区表达式中的字段均为宽表主键字段。普通分区表达式 可以指定0个或多个普通分区表达式，多个表达式用英文逗号（,）分隔。普通分区表达式为宽表主键字段（例如...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
使用ClickHouse-Local迁移上云
clickhouse local 示例1：使用集成引擎从MySQL迁移到云数据库ClickHouse企业版 您可以使用集成表引擎（通过MySQL表函数动态创建）从源MySQL数据库读取数据，并使用remoteSecure表函数将数据写入云数据库ClickHouse企业版集群上的目标表。...
2023年
修复列存辅助表找不到对应的分布式提交日志clog文件的问题。修复扩缩容时，数据库内有分区外表导致扩缩容失败的问题。修复扩缩容时，数据库内有无数据的物化视图导致扩缩容失败的问题。修复扩缩容进度显示不准确的问题。修复查询复制表时，...
Join优化
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
功能更新动态（2023年）
新增表名校验功能，可校验并展示目标库中已存在的同名目标表，若存在同名表，可配置表名置换或勾选自动删除数据源同名表。同步方式优化，选择每日同步，则生成每日调度的周期任务；选择单次同步，则生成手动任务；选择每日同步和单次同步，...
文档更新动态（2023年）
新增表名校验功能，可校验并展示目标库中已存在的同名目标表，若存在同名表，可配置表名置换或勾选自动删除数据源同名表。同步方式优化，选择每日同步，则生成每日调度的周期任务；选择单次同步，则生成手动任务；选择每日同步和单次同步，...
附录：SOFAStack 产品目录
SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证，为金融交易技术保证风险安全的同时，...
编写Graph
在IntelliJ IDEA中，通过MaxCompute Studio完成一键式打包。操作详情，请参见 打包、上传及注册。说明 本示例将部署到MaxCompute项目的JAR包命名为odps-graph-example-sssp.jar。在MaxCompute客户端，执行如下命令运行SSSP。jar-libjars ...
DELETE
任何使用被删除表列或者 USING 中提到的其他表的列的表达式都可以被计算。RETURNING 列表的语法和 SELECT 的输出列表语法相同。要从表中删除行，你必须具有其上的 DELETE 权限，以及 USING 子句中任何表以及其值在 condition 中被读取的表...
分布式序列问题
分布式序列是否全局唯一 单库单表的分布式序列可以保证生成的序列 ID 全局唯一。分库分表的分布式序列仅保证单个分片的序列 ID 唯一，如果需要确保分库分表的分布式序列全局唯一，可以在序列 ID 中拼接分库分表位，以此保证全局唯一。分布...
实现原理
数据采集：通过安装在机器上的 Agent 采集监控数据，这部分可以是日志，也可以是通过各种方式获取到的指标。数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的...
FineBI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...
系统管理函数
这一节描述的函数被用来控制和监视一个本数据库安装。配置设定函数 下表展示了那些可以用于查询以及修改运行时配置参数的函数。配置设定函数 current_setting(setting_name text[,missing_ok boolean])→text 返回设置的 setting_name 的...
ALTER TABLE
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明，将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时，获得的锁将是子...
Power BI
注意事项 Power BI默认不同步Hologres中的外部表，您需要在连接Hologres后，在数据库中执行如下SQL命令，才可以在Power BI中同步Hologres的外部表信息。CREATE EXTENSION foreign_table_exposer;Power BI Desktop连接Hologres 安装Power BI...
ADD TO PACKAGE
说明 添加资源时，支持使用正则表达式星号（*）。例如 add table*to package package_name;表示将所有表添加至Package。添加资源时，资源名称不能加项目名前缀。例如，项目为A，需要添加A中的表table到某个Package中，则执行添加操作时，...
HBase外部表（HBase标准版或增强版）
在MaxCompute与阿里云HBase服务间的网络处于连通状态时，MaxCompute支持您通过创建HBase外部表来关联HBase标准版或增强版集群中的表。使用HBase外部表，可以将HBase中的数据同步到MaxCompute进行后续ETL处理，也可以关联HBase外部表进行...
配置ClickHouse输入组件
在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致配置Oracle输入组件失败。切分键 您可以将源数据表中字段类型为整型的某...
配置PolarDB输入组件
在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须具有 相同结构的表，否则会导致配置PolarDB输入组件失败。切分键 您可以将源数据表中某一列作为切分键...
配置PolarDB输入组件
在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须具有 相同结构的表，否则会导致配置PolarDB输入组件失败。切分键 您可以将源数据表中某一列作为切分键...
合并小文件
分布式文件系统按块（Block）存放数据，文件大小比块大小（64MB）小的文件称为小文件。分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在...
Lindorm外部表（云原生多模数据库）
在MaxCompute与阿里云Lindorm服务间的网络处于连通状态时，MaxCompute支持您通过创建外部表来关联Lindorm表。使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将...
配置Oracle输入组件
在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致配置Oracle输入组件失败。切分键 您可以将源数据表中字段类型为整型的某...
CREATE POLICY
现有的表行会按照 USING 中指定的表达式进行检查，而将要通过 INSERT 或 UPDATE 创建的新行会按照 WITH CHECK 中指定的表达式进行检查。当 USING 表达式对于一个给定行返回真时，该行对用户可见，而返回假或空时该行不可见。当一个 WITH ...
配置Oracle输入组件
在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致配置Oracle输入组件失败。切分键 您可以将源数据表中字段类型为整型的某...
- 产品推荐
- 这些文档可能帮助您