HBase外部表（HBase标准版或增强版）
使用HBase外部表，可以将HBase中的数据同步到MaxCompute进行后续ETL处理，也可以关联HBase外部表进行联邦计算，或将MaxCompute数据输出到HBase的表中。本文为您介绍如何创建HBase外部表。背景信息 HBase 是兼容标准HBase访问协议的分布式...
创建和管理VPC NAT网关实例
VPC NAT网关可以实现私网IP地址转换功能。通过使用VPC NAT网关，使您VPC内的ECS实例能够访问外部私网和为外部私网提供服务。前提条件 您已经创建了专有网络VPC。具体操作，请参见 创建和管理专有网络。您已经创建了交换机。具体操作，请...
数据分层存储
非分区表 指定非分区表的存储策略 如果是非分区表，可以通过 SET_TABLE_PROPERTY 来设置表的存储策略。支持的选项有：hot（热存储）。cold（冷存储）。例如将tbl1设置为使用冷存存储，代码如下：建表时指定存储策略为冷存储 BEGIN;CREATE ...
普通表快速转换为RANGE分区表
PolarDB 支持在不做数据重分布的情况下，可以使用该语法快速的将普通表转为RANGE分区表。本文将介绍 PolarDB 普通表快速转RANGE分区表的操作步骤。背景信息 PolarDB 普通表快速转RANGE分区表时，普通表的数据不经校验直接作为分区表的第一...
基于C#的应用开发
namespace connectLindorm { class Program { static void Main(string[]args){/server为Lindorm宽表引擎的MySQL兼容地址/user为Lindorm宽表引擎的用户名/database为需要连接的数据库名称/password为Lindorm宽表引擎的密码/port为Lindorm宽...
基于Rust的应用开发
本文介绍基于Rust连接并使用宽表引擎的方法。前提条件 已开通MySQL协议兼容功能。如何开通，请参见 开通MySQL协议兼容功能。已将客户端IP添加至白名单，具体操作请参见 设置白名单。操作步骤 安装Rust。如何安装，请参见 Rust。在 Cargo....
外部表
本文将为您介绍如何通过DataWorks创建、配置外部表，以及外部表支持的字段类型。外部表概述 使用外部表前，您需要了解下表中的定义。名称 描述 对象存储OSS 提供标准、低频、归档存储类型，能够覆盖不同的存储场景。同时，OSS能够与Hadoop...
将时空数据写入宽表引擎
本文介绍将流引擎中的时空数据写入宽表的具体方法。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。如果客户端没有部署在ECS，需要将客户端IP地址添加至Lindorm实例的白名单中，具体操作请参见 设置白名单。如果应用部署在ECS，您...
数据输入输出
MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算结果存储到另一张MaxCompute表中。从非分区表 test_odps_table 中获取数据，通过MaxFrame进行转换并将其存储到另一张分区表 test_processed_odps_table 中，代码...
数据集填报
配置效果 如下图保险数据录入表所示，职业类别、性别、时间、险类1名称、保费、年达成率、保单数 均为数据集字段加载的数据，通过配置填报的形式，可以将数据集表格和填报结合，针对数据集中需要修改的数据，可以快速填报录入，如 保费、年...
SSB性能测试说明
它模拟了一个典型的星型模式（Star Schema）数据模型，包含了Date（日期表）、Customer（客户表）、Supplier（供应商表）、Part（产品表）和Lineorder（订单事实表）这五个表格。此外，SSB允许您根据具体需求对数据模型进行自定义，例如将...
通过Flink SQL模式配置ETL任务
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
数据类型转换
MaxCompute SQL允许数据类型之间的转换，类型转换方式包括显式类型转换和隐式类型转换。显式类型转换 显式类型转换是通过 CAST 函数将一种数据类型的值转换为另一种类型的值，在MaxCompute SQL中支持的显式类型转换，如下表所示。关于CAST...
ANALYZE
如果表的包装器不支持 ANALYZE，该命令会打印一个警告并且什么也不做。在默认的配置中，自动清理守护进程会在表第一次载入数据或者用常规操作改变时负责表的自动分析。当启用自动清理时，定期运行 ANALYZE 是个好主意，或者可以在表内容做...
表分区
分区可以使用表继承来实现，这能够带来一些声明式分区不支持的特性，例如：对声明式分区来说，分区必须具有和分区表正好相同的列集合，而在表继承中，子表可以有父表中没有出现过的额外列。表继承允许多继承。声明式分区仅支持范围、列表...
虚拟列
新的虚拟列类型可以不同于表中的原始列类型，以便支持用户在不修改表结构和数据的情况下新建一列，新的列可以用于查询加速或者采用不同的分词器。一个Text字段支持不同的分词器 单个字符串列可以映射到多元索引多个Text列，不同Text列采用...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型...
配置公网带宽最佳实践
公网带宽配置方式 根据不同的业务场景，公网带宽涉及的配置方式如下表所示：业务场景 配置方式 操作方法 当您需要通过公网IP地址访问公网时，您可以配置公网及公网带宽。配置公网及公网带宽 您可以直接在创建ECS实例时，配置公网IP地址和...
网络地址函数和操作符
IP 网络地址类型，cidr 和 inet，支持比较操作符表所示的常用比较操作符，以及 IP 地址操作符表和 IP 地址的函数表所示的专用操作符和函数。任何 cidr 值都可以隐式地转换到 inet；因此，下面在 inet 上操作的操作符和函数也可以在 cidr 值...
MySQL分库分表同步至Hologres（方案1.0）
单击 刷新源表和Hologres表映射，将根据您在步骤三配置的目标表映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
VPC NAT网关发布公告
阿里云发布VPC NAT网关，VPC NAT网关通过自定义SNAT、DNAT规则转换私网地址到特定的私网地址，适用于混合云使用指定地址互访、VPC互访地址冲突等场景。VPC NAT网关简介 VPC NAT网关能够为VPC内的ECS实例提供网络地址转换服务，使多个ECS...
HttpDns iOS：IPv6相关问题与解答
兼容苹果审核时所使用的IPv6-Only环境，并能够通过审核，并非真实的IPv6环境，关于IPv6-Only相关的资料可以参考：https://developer.apple.com/support/ipv6/ 问题：IPv6-Only环境下，在使用HttpDns的业务侧需要做什么适配动作吗？...
配置并管理实时同步任务
单击 刷新源表和 AnalyticDB for MySQL 3.0表映射 将根据您在步骤3配置的目标表名映射规则来生成目标表，若步骤3未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标...
参数化视图
对于表变量，如果表a的Schema可以被用于插入到表b中，则意味着表a可以用来匹配和表b的Schema相同的表类型参数。您可以明确地声明返回类型，以提升代码的可读性。create view if not exists pv3(@a table(k string,v bigint),@b string)...
库表同步
库表同步支持结构同步、影子表同步、空库初始化、表一致性修复功能，安全规则可以分别对这三个功能进行控制。基础配置项 在库表同步的基础配置项中，您可以配置默认审批模板、开启执行能力、设置分析阶段脚本过期时间。开启执行能力：若...
基于PostgreSQL标准权限模型授权
可以删除表的角色如下：表的Owner（即建表者）。表所在Schema的Owner。Superuser 在PostgreSQL中，系统会默认创建表的用户为表的Owner，拥有该表的所有权限，包括删除表的权限。修改表Owner，示例如下语句。alter table<tablename>owner to...
一键实时同步至AnalyticDB for MySQL 3.0
单击 刷新源表和 AnalyticDB for MySQL 3.0表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为...
Kubernetes集群网络规划
如下表所示，VPC 1使用地址段192.168.0.0/16，VPC 2使用地址段172.16.0.0/12，您可以通过路由表，指定在VPC 1里把目的地址为172.16.0.0/12的报文都发送到VPC 2。表 3.VPC互联场景 类别 地址段 目的端 转发到 VPC 1 192.168.0.0/16 172.16.0...
什么是地址标准化
该地址算法服务能解决一地多名，地址识别，地址真伪辨别等多种问题，为企业，政府机关以及开发者提供地址数据清洗，地址标准化能力，使地址数据更好的为业务提供支持。产品优势 准确率高：持续优化迭代，算法准确率高 超强性能：稳定承载...
修改表
简介 当我们已经创建了一个表并意识到犯了一个错误或者应用需求发生改变时，我们可以移除表并重新创建它。但如果表中已经被填充数据或者被其他数据库对象引用（例如有一个外键约束），这种做法就显得很不方便。因此，本数据库提供了一族...
基于C API的应用开发
开通方式：在控制台选择 数据库连接>宽表引擎，在 宽表引擎 页签单击 开通公网地址。通过专有网络访问Lindorm实例，lindorm_addr 请填写MySQL兼容地址对应的 专有网络 地址。通过公网访问Lindorm实例，lindorm_addr 请填写MySQL兼容地址...
ALTER TABLE
即在一张曾经做过聚簇属性设置的表上，关闭了聚簇属性，再增加聚簇设置，可以在新分区设置不同于之前的聚簇列、排序列及分桶数。由于 alter table 只影响新分区，所以该语句不可以再指定分区。参数说明 详情请参见 CREATE TABLE。使用示例-...
使用ETL分析实时订单
流表：实时发生变化的表，可以关联一个维表，用于数据关联查询。维表：更新不频繁（非实时更新）的表，一般用于结合实时数据拼装成宽表进行数据分析。转换格式 ETL在处理数据时会将流转换为动态表，在该动态表上进行持续查询（即动态表会被...
通过HBase Java API连接并使用宽表引擎
Lindorm宽表引擎支持通过HBase Java API读写数据。本文介绍如何通过HBase Java API访问Lindorm宽表引擎。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已将客户端IP地址添加至Lindorm白名单。添加方法请参见 设置白名单。已完成...
HDFS与ClickHouse间的数据导入与导出
您可以通过HDFS表引擎或表函数读写数据。本文为您介绍如何将HDFS中的数据导入至ClickHouse集群以及如何从ClickHouse集群导出数据到HDFS。前提条件 已创建Hadoop集群，详情请参见 创建集群。已创建ClickHouse集群，详情请参见 创建...
Join优化
表S和表R需要做Join，并且Join列是表S的分桶列，那么表S的数据其实可以不需要移动，通过移动分发表R的数据就可以完成Join的计算。它的网络开销是 T(R)，相当于只Shuffle表R的数据就可以完成Join。有关Bucket Shuffle Join使用的更多细节，...
DataX Writer
DataX Writer插件实现了写入数据到StarRocks目的表的功能。在底层实现上，DataX Writer通过Stream Load以CSV或JSON格式导入数据至StarRocks。内部将Reader读取的数据进行缓存后批量导入至StarRocks，以提高写入性能。阿里云DataWorks已经...
基于PHP的应用开发
开通方式：在控制台选择 数据库连接>宽表引擎，在 宽表引擎 页签单击 开通公网地址。通过专有网络访问Lindorm实例，$lindorm_addr 请填写MySQL兼容地址对应的 专有网络 地址。通过公网访问Lindorm实例，$lindorm_addr 请填写MySQL兼容地址...
分区和列操作
MaxCompute支持对已有表的分区和列执行变更操作，如添加分区、添加列、删除列、更改列数据类型等，您可以根据实际业务场景执行相应操作。MaxCompute SQL的分区和列操作命令如下。类型 操作 功能 角色 操作入口 分区操作 添加分区 为已存在...
- 产品推荐
- 这些文档可能帮助您