基于Paimon的数据库实时入湖快速入门
在 实时计算控制台 SQL开发 页面的 查询脚本 页签，将如下代码拷贝到查询脚本后，选中目标片段后单击左侧代码行上的 运行。select custkey,sum(total_price)from `test`.`default`.`orders` group by custkey;结果浏览完成后，单击左侧的 ...
Oracle数据源
附录：Oracle脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式...
MaxCompute数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
基于Flink+Paimon搭建流式湖仓
构建DWD层：主题宽表 创建DWD层Paimon宽表dwd_orders 在 实时计算控制台 SQL开发 页面的 查询脚本 页签，将如下代码拷贝到查询脚本后，选中目标片段后单击左侧代码行上的 运行。CREATE TABLE dw.order_dw.dwd_orders(order_id BIGINT,...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
Hive数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
PyODPS常见问题
本文为您介绍使用PyODPS时的常见问题。问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not installed，如何解决？安装PyODPS时，提示Project Not Found，如何解决？安装PyODPS时，报错Syntax Error，如何解决？在Mac上安装...
Python SDK常见问题
本文为您介绍Python SDK常见问题，即PyODPS。问题类别 常见问题 安装PyODPS 安装PyODPS时，提示Warning:XXX not ...table_names=['table1',.,'tableN']dfs=[o.get_table(tn).to_df()for tn in table_names]reduce(lambda x,y:x.union(y),...
【停售/下线】TokuDB引擎转换为InnoDB引擎
说明 请忽略显示的error（错误），实际已经切换完成。检查表并验证数据。说明 验证数据没有问题后删除_del表即可。方案三 此方案使用阿里云的数据传输服务DTS（Data Transmission Service）实时同步原表数据到临时表，在业务低峰期锁原表并...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到...
Shell节点
节点中引用资源 您可通过引用资源的方式在节点内使用资源时，节点成功引用资源后在节点代码最上方会显示@resource_reference{"资源名称"} 注释代码。引用步骤如下：打开新建的Shell节点，进入节点编辑页面。在数据开发左侧目录树下找到已...
通过控制台使用EdgeScript
在 全站加速 控制台上，您可以根据边缘脚本定义的代码规则，创建边缘脚本规则，并发布到生产环境，实现对 全站加速 产品的定制化管理。本文为您介绍在控制台上，如何配置使用边缘脚本。配置流程 登录 全站加速控制台。在左侧导航栏，单击 ...
管理Hive Catalog
配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
使用SSMS和BCP迁移SQL Server数据库
迁移SQL Server数据库建议您使用阿里云数据传输服务DTS，详情请参见 DTS数据迁移方案概览。除了DTS，您也可以使用其他工具迁移数据库，本文以本地SQL Server数据库到阿里云云数据库SQL Server 2012的数据全量迁移为例，介绍了如何通过使用...
实时算法编排
本文为您介绍如何使用智能制造平台AICS实时算法编排模块。实时算法编排流程 新建画布。算法流程搭建。算法试运行与调试。算法发布与周期运行。参数趋势查看。新建画布 登录 工业大脑智能制造平台AICS。左侧导航栏单击 实时控制优化>实时...
在推荐系统中应用FeatureStore管理特征
同步用户表：rec_sln_demo_user_table_preprocess_all_feature_v1（单击查看详情）CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_preprocess_all_feature_v1 like pai_online_project.rec_sln_demo_user_table_preprocess_all_...
开发ODPS SQL任务
编辑代码：简单示例 SQL命令 MaxCompute的SQL命令使用类似标准SQL语法，支持DDL、DML、DQL语句，及MaxCompute的特定语法等命令，各SQL命令的详细语法要求及使用示例请参见 SQL概述。下面以一个简单示例为您介绍SQL命令的开发及运行。说明 ...
开发ODPS SQL任务
编辑代码：简单示例 SQL命令 MaxCompute的SQL命令使用类似标准SQL语法，支持DDL、DML、DQL语句，及MaxCompute的特定语法等命令，各SQL命令的详细语法要求及使用示例请参见 SQL概述。下面以一个简单示例为您介绍SQL命令的开发及运行。说明 ...
使用FeatureStore Python SDK搭建推荐系统
本文主要介绍使用FeatureStore Python SDK完成特征平台在推荐场景中全流程的创建以及上线的过程。前提条件 在开始执行操作前，请确认您已完成以下准备工作。依赖产品 具体操作 人工智能平台 PAI 已开通PAI服务并创建PAI工作空间，操作详情...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell...运行日志显示的读写失败总数为0时，表示DataX任务在生产环境同步数据成功，即可保障生产环境业务数据正常产出。
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell...运行日志显示的读写失败总数为0时，表示DataX任务在生产环境同步数据成功，即可保障生产环境业务数据正常产出。
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 使用SSH连接主节点。执行以下命令，获取帮助信息。jindo ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 使用SSH连接主节点。执行以下命令，获取帮助信息。jindo ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 使用SSH连接主节点。执行以下命令，获取帮助信息。jindo ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 使用SSH连接主节点。执行以下命令，获取帮助信息。jindo ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.28.0或后续版本的集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 使用SSH连接主节点。执行以下命令，...
使用float2类型压缩存储向量
在进行数据插入的时候，用户可以显示的定义出float2的数组，将相关的数据插入到表中（参见下述代码中的sql1）；或者用户采用隐示的类型转换，系统会在内部将float4类型的数组，转换成float2类型的数组，存储到对应的表中（参见下述代码中的...
ODPS-0130071
错误码：ODPS-0130071:Semantic analysis exception 错误1：the number of input partition columns(n)doesn't equal to table's partition columns(m)错误信息示例 FAILED:ODPS-0130071:[m,n]Semantic analysis exception-the number of ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 使用SSH连接主节点。执行以下命令，获取帮助信息。jindo ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，获取帮助信息。jindo distcp-help ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，获取帮助信息。jindo distcp-help ...
Jindo DistCp使用说明
本文介绍JindoFS的数据迁移工具Jindo DistCp的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。使用Jindo Distcp 通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，获取帮助信息。jindo distcp-help ...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
通过命令行工具创建排序脚本
排序脚本生命周期简介 排序脚本在opensearch中的生命周期描述如下：创建排序脚本，创建脚本时需要指定应用名称、对应的版本ID和脚本名称，为了区分脚本名称不要和在opensearch控制台上创建的表达式名称相同。上传脚本代码，脚本是使用...
通过命令行工具创建排序脚本
排序脚本生命周期简介 排序脚本在opensearch中的生命周期描述如下：创建排序脚本，创建脚本时需要指定应用名称、对应的版本ID和脚本名称，为了区分脚本名称不要和在opensearch控制台上创建的表达式名称相同。上传脚本代码，脚本是使用...
脚本模式：高级SQL（Mybatis语法）示例
数据服务支持通过脚本模式来生成API，脚本模式可使用基础SQL或高级SQL语法编写查询逻辑。其中，高级SQL涵盖了Mybatis语法的常见标签类型（例如，if、choose、when、otherwise、trim、foreach、where），您可以借助标签语法来灵活实现空值...
本文为您介绍如何使用Print连接器。背景信息 Print是用于调试的连接器，允许接收并打印一定数量的输入记录。如果您想观察SQL的中间结果，或者观察最终输出结果，可以给SQL语句添加Print结果表，即将WITH参数修改为 'connector'='print' 后...
编辑器代码提效
DataWorks提供的权限校验、自动补全代码、内置代码模板等功能，帮助您快速校验当前账号对于目标表的操作权限并引导授权，同时根据输入的关键词，智能推荐相关代码或内置代码模板，快速创建代码任务，提升代码开发效率。本文为您介绍编辑器...
查询脚本
查询脚本支持Call和DDL、DQL、DML语法。您可以通过查询脚本创建管理Catalog、表、数据查询，可以使用explain语法查看执行计划定位问题，也可以实现对Paimon的管理。功能 对SQL语法进行校验，校验失败无法运行。支持脚本全部语句运行和选中...
- 产品推荐
- 这些文档可能帮助您