采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
CREATE TABLE
column_name 列的名称会在新表中被建立.data_type 列的数据类型.这可以包括数组规格。COLLATE collation COLLATE 子句为该列（必须是一种可排序数据类型）赋予一个排序规则。如果没有指定，将使用该列数据类型的默认排序规则。INHERITS...
使用批量更新
table set c2=t.c2 from(values(1,1),(2,2),(3,3),…(2000,2000))as t(c1,c2)where target_table.c1=t.c1 delete from target_table using(values(1,1),(2,2),(3,3),…(2000,2000))as t(c1,c2)where target_table.c1=t.c1 注意 使用 set ...
通过DataWorks使用PyODPS
import os#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为 Access Key Secret，#不建议直接使用 Access Key ID/Access Key Secret 字符串 new_odps=o.as_account(os....
初始化OTSClient
OTSClient是 表格存储 服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。如果要使用宽表模型的操作数据表、读写单行数据、读写多行数据等功能，您需要初始化一个OTSClient实例，并可以根据需要...
在本地环境上使用PyODPS
PyODPS是阿里云开发的Python SDK，用于在本地环境上使用MaxCompute服务。...python test-pyodps-local.py 运行结果：111 aaa 222 bbb 333 ccc 444 中文 使用open_reader方式读取pyodps_iris表数据：4.9 3.0 4.7 3.2 4.6 3.1
如何把AB test系统接入到自有系统中
4.调用SDK 以及数据埋点 4.1.Python 调用 4.1.1.环境准备 用户需要配置 Python 环境，安装 pycharm 软件工具。可参考以下文档：Pycharm及python安装详细教程 打开 cmd 命令提示窗口，安装所需的模块包，使用以下命令。pip install ...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
使用说明
说明 1.9及之前版本的MaxCompute JDBC驱动对每个查询都会创建临时表，并通过Tunnel从临时表获取结果。您使用这些版本的JDBC需要具备CreateTable权限。2.2及之后版本的MaxCompute JDBC驱动不再创建临时表，直接通过Instance Tunnel获取查询...
JDBC
使用PostgreSQL驱动，请至 官网 下载PostgreSQL JDBC Driver，需要使用42.3.2以上版本的JDBC驱动，建议您使用最新版本的JDBC。下载成功后需要至Maven仓库配置示例如下。dependency><groupId>org.postgresql</groupId>...
SimRank+相似度计算算法
SimRank+算法在SimRank算法的基础上引入一个新的函数 表示二部图中节点间的转移概率：从而，新的算法迭代公式如下：其中，和 表示任意两个查询，和 表示任意两个广告，因子 和 的定义如下：对SimRank算法进行上述两个方面的扩展，即通过...
保持客户端源IP
关于适配说明，请参见下表：后端服务部署地 后端服务类型 是否支持获取客户端源IP 是否需要后端服务器适配 说明 阿里云 阿里云公网IP 与所绑定实例是否支持获取客户端源IP有关：绑定专有网络类型ECS实例：支持 绑定NLB实例：支持 绑定ALB...
清理表空间（pg_repack）
wget https://github.com/reorg/pg_repack/archive/refs/tags/ver_1.4.6.tar.gz tar zxvf ver_1.4.6.tar.gz cd pg_repack-ver_1.4.6 make && make install使用示例-检查但不执行：dry-run pg_repack-dry-run-no-superuser-check-echo-no-order-h ...
子账号授权
step2 下载配置客户端 MaxCompute的客户端详细介绍见：MaxCompute官方文档 1.下载，解压，进入目录，会有4个文件。2.进入conf目录，修改odps_config.ini文件(1)阿里云文档中也有介绍，主要填充以下几个字段。project_name：项目名称，在...
pg_repack
安装客户端 pg_repack插件需要配合客户端CLI工具使用，pg_repack客户端工具的版本需要不高于pg_repack插件的版本（1.4.7），才能够保证没有兼容性问题。pg_repack客户端的安装方式如下：说明 安装时请务必关注安装信息中的客户端工具版本号...
一键更新镜像和执行脚本
您可以利用弹性伸缩的滚动升级功能，一键为伸缩组内的ECS实例更新镜像和执行脚本，提高管理伸缩组内ECS实例的效率。...操作步骤 假设一个伸缩组现状如下：位于华东1（杭州）地域。...相关文档 使用向导创建实例 使用实例创建自定义镜像 滚动升级
MySQL协议开发说明
Lindorm宽表引擎支持MySQL协议接入，您可以通过MySQL生态客户端来连接并使用Lindorm宽表引擎。本文介绍MySQL协议使用说明及相关注意事项。使用说明 宽表引擎为2.6.0及以上版本时支持MySQL协议。如何查看或升级当前版本，请参见 宽表引擎...
QueryPublicModelEngine
取值如下：0：事实表 1：维度表 3：汇总表 4：应用表 5：贴源表 6：维度 detailType String normal 表具体类型。可取值如下：普通维度 枚举维度 事务事实 businessProcessUuid String bp-123456 业务过程UUID businessUnitUuid String bu-...
使用MaxCompute访问表格存储
您只需通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联，提供各种数据的接入和输出能力。MaxCompute表是结构化的数据，而外部表可以不限于结构化数据。表格存储与MaxCompute都有其自身的...
Hash Join的并行加速
其中 t1 表会执行Parallel Scan，即由4个Worker分扫这个表，每个Worker使用 t1 的一部分数据建立各自的Hash表，再和整个 t2 表执行JOIN操作，最后收集（Gather）在Leader，得到整个查询的结果。并行Hash Join 前提条件 集群版本需为 ...
重组分区
同一个表组的所有逻辑表同时进行增加分区的操作，即上述两个表同时执行分区变更：#基于表组名字进行表组级的分区变更操作,假设r_t1与r_t2的表组名字是tg1 ALTER TABLEGROUP tg1/*表组名*/REORGANIZE PARTITION p1,p2,p3 INTO(PARTITION p4 ...
加速服务
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
使用须知
使用创建索引语句（CREATE INDEX）时，如果指定async参数，则为异步构建，语句完成时，会在SYSTEM.CATALOG表中建立索引表的元信息，并建立跟主表的关系，但是状态是building，索引表中没有数据，也不可查，需要后续用 REBUILD语句。...
专家权限模型
创建新表时，Hologres会使用当前用户和模式去匹配系统表 pg_catalog.pg_default_acl。如果检查到匹配项 ALTER DEFAULT PRIVILEGES，则为用户添加匹配项规则。当前用户说明如下：如果当前用户是User，则创建表时使用User进行匹配。如果用户...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
设置列存数据压缩算法
若要修改，需要删除原来的数据，再使用新的建表语句，指定列的新压缩算法。修改单列数据的压缩方式将在后续版本中推出。示例：CREATE TABLE t14(col1 INT COMMENT 'COLUMNAR=1 codec_opt={ZSTD}',col2 DATETIME COMMENT 'COLUMNAR=1 codec_...
Native应用登录阿里云
code_challenge 选择方式计算示例：如果应用采用方式为S256，生成 code_verifier 的值为 dBjftJeZ4CVP-mB92K27uhbUJU1p1r_wW1gFWFOEjXk，那么 code_challenge 为 E9Melhoa2OwvFrEMTJguCHaoeK1t8URWbuGJSstw-cM。应用获取授权码后，在使用...
数据膨胀诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据膨胀功能，可以定期自动诊断数据库内的所有表，并生成诊断信息表。您可以通过诊断信息表，查看表的膨胀情况并获得相应的处理建议（如执行VACUUM或VACUUM FULL操作）。注意事项 智能诊断数据膨胀...
Web应用登录阿里云
表 4.请求参数 参数名称 是否必选 描述 refresh_token 是 用授权码换取访问令牌时获得的刷新令牌。client_id 是 应用ID。grant_type 是 根据OAuth 2.0协议，取值为 refresh_token。client_secret 否 应用密钥，用作换取访问令牌时鉴定应用...
分区表简介
分区表特性 分区表相比于普通表的内部实现更加复杂，但是这一切对于用户而言是不需要感知的，分区表的管理与使用时与普通表相比也有些区别，更加清楚地了解分区表的特性，有利于用户可以正确高效地使用分区表。案例1：CREATE TABLE ...
ALTER TABLE
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明，将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时，获得的锁将是子...
分区表简介
分区表特性 分区表相比于普通表的内部实现更加复杂，但是这一切对于用户而言是不需要感知的，分区表的管理与使用时与普通表相比也有些区别，更加清楚地了解分区表的特性，有利于用户可以正确高效地使用分区表。案例1：CREATE TABLE ...
GetDataServiceApi
1001,"ErrorSolution":"retry"},"RegistrationRequestParameters":{"ColumnName":"column1","ParameterName":"name1","ParameterPosition":0,"ParameterDescription":"description1","DefaultValue":"default1","ParameterOperator":0,...
优化MaxCompute外部表的查询性能
导入数据至Hologres进行加速查询 当需要大量分析计算外部表数据并建立与内部表的连接时，您可以在Hologres中新建内部表并导入外部表数据。根据业务需求，为内部表指定合适的Distribute Key索引属性，加快查询速度。导入外部表数据相比新建...
PyODPS节点实现结巴中文分词
本文为您介绍如何使用DataWorks的PyODPS类型节点，结合开源结巴中文分词库，对数据表中的中文字段进行分词处理并写入新的数据表，以及如何通过闭包函数使用自定义词典进行分词。前提条件 已创建DataWorks工作空间并绑定了MaxCompute计算...
ListDataServiceApis
EFG*</RequestId><ErrorMessage>The connection does not exist.</ErrorMessage><Success>true</Success><ErrorCode>Invalid.Tenant.ConnectionNotExists</ErrorCode><Data><PageNumber>1</PageNumber><PageSize>10</PageSize><TotalCount>...
分区表常见问题
使用 步骤3~步骤4 的方法将 t1 表历史分区 p1 中的数据迁移至 t2 的 p1 分区中。全部迁移完成后，删除表 temp。若后续 t1 表中还有其他的分区需要迁移至 t2 中，您可以在 t2 表中使用 ADD PARTITION 添加新的空分区，再按照上述步骤进行...
Hash Clustering
哈希聚簇（Hash Clustering）表通过设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。背景信息 在MaxCompute查询中，连接...
- 产品推荐
- 这些文档可能帮助您