自建SQL Server通过物理网关迁移上云
本文介绍如何通过DTS控制台的物理网关迁移上云功能将ECS、IDC或其他云服务器中的自建SQL Server数据库迁移到RDS SQL Server。该功能采用物理网关协议的接入方式，具有速度快、操作简单、稳定性好、场景覆盖全等特点，能够有效提高迁移效率...
赋值节点
在代码编辑页面，选择赋值语言为ODPS_SQL，写入赋值代码。示例如下。select*from xc_dpe_e2.xc_rpt_user_info_d where dt='20191008' limit 10;单击页面右侧的 调度配置，查看 节点上下文 中的 本节点输出参数。赋值节点将代码的查询结果...
写入
Timestream提供了数据点和元数据的写入接口。数据点写入 Timestream提供了同步和异步两种数据点写入方式。其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 ...
引擎功能
数据写入 支持以下方式进行数据写入：使用SQL的INSERT语句（推荐使用JDBC）。兼容InfluxDB的写入Line Protocol。兼容OpenTSDB协议的写入API。支持 Prometheus 以 Remote Storage 的形式将监控数据写入。数据查询 支持通过SQL进行数据查询，...
步骤一：创建SQL分析任务
本文介绍创建SQL分析任务的操作流程，以及SQL分析工作台的查询对象、SQL语句编写区域和操作栏的功能。前提条件 已购买物联网平台的企业版实例，具体操作，请参见 购买企业版实例。背景信息 您可以使用SQL分析工作台，配置SQL分析任务。更多...
RDS MySQL I/O高问题
RDS MySQL的I/O性能受硬件层存储介质、软件层数据库内核架构和具体SQL语句（扫描或修改数据量）的影响。本文介绍实例I/O高的原因和解决方案。高吞吐导致实例I/O高 现象 如果表上有很多索引或大字段，频繁地更新、删除、插入，读取数据和...
写入或更新调优指南
离线写入如MaxCompute写入Hologres时是表锁，实时写入大多数是Fixed Plan写入为行锁（例如Flink实时写入或者DataWorks数据集成实时写入），如果对同一个表并发执行离线写入和实时写入，那么离线写入就会拿表锁，实时写入会因为等锁而导致...
如何使用参数面板和数据视图
本文通过案例介绍了参数面板以及...',html).group(1)#数据视图新建一行 row=Datatable.add_row()#将数据写入数据视图 Datatable[row]["标题"]=title Datatable[row]["链接"]=href 这样，一个简单的关于参数面板，数据视图的案例就实现了。
SQL备份与回滚（公测中）
输入更新、删除或写入的变更SQL语句，单击 执行。开启备份。在 变更确认 面板下方的 变更建议 区域，打开备份开关，选择是否需要定时执行变更SQL，再单击 直接执行 或 后台异步执行。后台异步执行是通过提交工单的方式进行表数据或表结构...
日志服务数据同步至Hologres
存在多种方式可以将日志服务SLS的数据写入至Hologres，本文以Flink、DataWorks数据集成为例，为您介绍如何将SLS数据实时写入至Hologres。前提条件 开通SLS服务并创建Project和Logstore，详情请参见 快速入门。开通Hologres服务并连接至开发...
INSERT INTO语句
本文为您介绍如何使用INSERT INTO语句在一个作业中写入一个Sink或多个Sink。背景信息 INSERT语句支持使用Hints使用OPTIONS选项给结果表传递参数，详情请参见 SQL Hints。写入一个Sink示例-源表 CREATE TEMPORARY TABLE datagen_source(name...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
本文介绍了在程序中通过 AnalyticDB MySQL版 Client高效写入数据到2.0集群的方法。背景信息 AnalyticDB MySQL版 Client旨在为用户提供一个高效、简单地插入数据到AnalyticDB MySQL 2.0集群的方法。您只需要通过接口将数据提交给 AnalyticDB...
创建数据流
前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL...
使用INSERT ON CONFLICT覆盖写入数据
本文介绍在AnalyticDB PostgreSQL版数据库中，如何使用INSERT ON CONFLICT语法覆盖写入数据。针对数据写入时有主键冲突的情况，INSERT ON CONFLICT语法可以将冲突主键的INSERT行为转换为UPDATE行为，从而实现冲突主键的覆盖写入。该特性又...
从Amazon RDS SQL Server全量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon RDS SQL Server全量迁移至阿里云RDS SQL Server。前提条件 为保障DTS能够通过公网连接至Amazon RDS SQL Server，需要将Amazon SQL Server的 公开可用性 设置为 是...
MySQL一键实时同步至MaxCompute
查看全量数据写入情况 在数据开发界面找到ODPS SQL节点，通过命令查询表数据，查询数据前请先在 数据集成>任务运维 界面确认执行步骤中，启动全量数据初始化同步任务运行步骤已执行成功。创建ODPS SQL临时查询节点，详情请参见 创建临时...
MySQL一键实时同步至MaxCompute
查看全量数据写入情况 在数据开发界面找到ODPS SQL节点，通过命令查询表数据，查询数据前请先在 数据集成>任务运维 界面确认执行步骤中，启动全量数据初始化同步任务运行步骤已执行成功。创建ODPS SQL临时查询节点，详情请参见 创建临时...
Table/SQL JAR迁移至SQL
本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...
Windows下IIS+.net framework+Sqlserver接入实践
2、准备数据库初始化文件 创建用于数据库初始化的sql文件，在文件中写入数据库表的创建等相关初始化脚本，可以从现有的数据库中直接导出初始化sql脚本文件来使用。脚本示例如下：/*/*创建usertest数据表，并插入三条初始化数据*/*/create ...
Windows下IIS+.net framework+Mysql接入实践
2、准备数据库初始化文件 创建用于数据库初始化的sql文件，在文件中写入数据库表的创建等相关初始化脚本，可以从现有的数据库中直接导出初始化sql脚本文件来使用。脚本示例如下：/*/*创建user数据表，并插入两条初始化数据*/*/CREATE TABLE...
整体架构
支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。计算引擎 主要包含MaxCompute自研的SQL引擎，负责Time travel和增量场景下的SQL DDL/DML/DQL的语法解析、优化和执行链路。数据...
并行INSERT
当查询并行度较低时，逐步提升写入并行度，SQL执行时间将会逐渐下降并趋于平缓，趋于平缓的原因是查询速度跟不上写入速度而成为瓶颈。当查询并行度较高时，逐步提升写入并行度，SQL执行时间将会逐渐下降并趋于平缓；趋于平缓的原因是并行...
并行INSERT
当查询并行度较低时，逐步提升写入并行度，SQL执行时间将会逐渐下降并趋于平缓，趋于平缓的原因是查询速度跟不上写入速度而成为瓶颈。当查询并行度较高时，逐步提升写入并行度，SQL执行时间将会逐渐下降并趋于平缓；趋于平缓的原因是并行...
案例一：搭建以图搜图系统
离线将图片向量化 离线将图片向量化并写入向量表的SQL语句如下：/*polar4ai*/SELECT*FROM predict(model_polar4ai_image2vec,SELECT id,image_address,type FROM image)with(primary_key='id',x_cols='image_address',mode='async',vec_col...
小版本升级
Lindorm SQL支持读取多版本和自定义时间戳写入功能。修复其他性能问题。2.2.19 2022年02月09日 新功能 Lindorm SQL支持动态列功能，支持SQL层监控功能。功能优化 修复Lindorm SQL表属性修改后元数据更新滞后的问题。修复稳定性问题。2.2.18...
管理定时SQL任务
您可以在定时SQL的管理页面进行查看定时SQL任务基础信息、查看执行实例、重试、修改或删除定时SQL任务等操作。前提条件 已创建定时SQL任务。具体操作，请参见 从Logstore到Logstore、从Logstore到MetricStore 或 从MetricStore到...
自增序列Serial（Beta）
同时如果SQL符合Fixed Plan特征，可以开启如下GUC参数，使Serial字段可以走Fixed Plan实现更高的写入性能，详情请参见 Fixed Plan加速SQL执行。数据库级别开启GUC,支持含有Serial类型列的Fixed Plan写入 alter database<user_db>set hg_...
宽表引擎版本说明
Lindorm SQL支持读取多版本和自定义时间戳写入功能。修复其他性能问题。2.2.19 2022年02月09日 新功能 Lindorm SQL支持动态列功能，支持SQL层监控功能。功能优化 修复Lindorm SQL表属性修改后元数据更新滞后的问题。修复稳定性问题。2.2.18...
如何解决增量迁移延迟或同步延迟
解法7：检查目标库实例的锁状态、慢SQL以及表结构，然后调整目标库写入或者目标库表结构来解决目标库写入锁以及慢SQL问题。本案例以MySQL数据库为例，介绍锁状态和慢SQL、库表结构的查询方式，以及对应解决方式。锁状态和慢SQL：使用命令 ...
Paimon与Hive集成
spark-sql-conf spark.sql.catalog.paimon=org.apache.paimon.spark.SparkCatalog-conf spark.sql.catalog.paimon.metastore=hive-conf spark.sql.catalog.paimon.uri=thrift:/master-1-1:9083-conf spark.sql.catalog.paimon.warehouse=...
Flink Table Store与Hive集成
conf spark.sql.catalog.tablestore.uri=thrift:/master-1-1:9083-conf spark.sql.catalog.tablestore.warehouse=oss:/oss-bucket/warehouse 执行以下Spark SQL语句，在Catalog中创建一张表，并写入数据。在之前创建的Catalog中，创建并...
接口说明
写入接口 Lindom TSDB SDK的写入接口为多个相同名称但参数不同的write方法，但根据处理写入结果方式，可以分成两类，分别为使用CompletableFuture处理写入结果的接口和使用回调函数Callback处理异步写入结果的接口。默认情况下，...
Fixed Plan加速SQL执行
说明 不保证原子性，即一次性写入多条的时候，如果没报错就是全部正常写入了，如果报错了只会报一条的错误，有可能全部没写入也有可能部分写入了部分没写入，没有写入的部分会将错误反馈给上层应用端，由应用端进行重试。on Hologres从 V1....
Spark的数据写入至Hologres
目前通过sql创建的hologres view不支持写入部分列（如insert into hologresTable(c_custkey)select c_custkey from csvTable），写入时需要写入DDL中声明的所有字段。如果希望写入部分列，可以建表时仅声明需要写入的字段。INSERT INTO ...
数据转发到时序数据库（TSDB）
规则引擎根据SQL处理数据和写入数据到TSDB如下。根据该SQL，规则引擎从Topic/alprodu*/myDevice/user/update 的消息中，筛选出 time、city、power、和 distance 字段内容，作为转发的消息内容。通过以上SQL处理后的转发消息内容示例如下：{...
将OSS数据写入AnalyticDB for MySQL 3.0
您可以通过MySQL客户端、MySQL命令行工具连接DLA，或者直接在DMS for Data Lake Analytics中执行INSERT SELECT语句将OSS中的数据写入AnalyticDB for MySQL。注意事项 INSERT FROM SELECT通常为长时运行任务，建议通过异步执行方式。使用...
SQL脚本
SQL脚本是自定义SQL组件，您可以通过SQL脚本编辑器编写SQL语句，并提交至MaxCompute执行。本文为您介绍SQL脚本的组件配置和使用场景。组件配置 Designer 仅支持通过可视化方式，配置SQL脚本组件的参数，组件参数配置如下所示。参数 描述 ...
使用SQL管理外部项目
通过OSS分片上传功能将数据写入OSS set odps.sql.unstructured.oss.commit.mode=true;支持通过如下语句全project 默认打开该功能 setproject odps.sql.unstructured.oss.commit.mode=true;常规MaxCompute SQL语法，请参见 表操作 和 插入或...
使用Flink写入数据（Transaction Table2.0）
当前MaxCompute为您提供了新版的Flink Connector插件，新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表，提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持...
从MetricStore到MetricStore
定时SQL功能用于定时分析数据、存储聚合数据、投影与过滤数据。日志服务支持源MetricStore中的数据通过定时SQL处理后存储到目标MetricStore中。前提条件 已采集数据到源MetricStore。具体操作，请参见 接入时序数据。已创建目标MetricStore...
- 产品推荐
- 这些文档可能帮助您