查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
从RDS PPAS迁移至PolarDB PostgreSQL版（兼容Oracle）...
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS 迁移或 同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页下方的 下一步保存任务并预检查。说明 在迁移任务正式启动之前，会先进行预检查。只有预检查通过...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service），支持将在数据管理（Data Management，简称DMS）配置的逻辑库同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已在数据管理...
使用DTS迁移实例
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：do ...
RDS PostgreSQL间的单向同步
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：do ...
数据加工快速入门
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。前提条件 已创建名为web-project的Project。具体操作，请参见 创建Project。在Project（web-project）中创建名为website_log的源Logstore。具体...
RDS PostgreSQL间的数据迁移
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：do ...
RDS SQL Server迁移至RDS MySQL
查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查...
PolarDB PostgreSQL版间的迁移
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮...
PolarDB MySQL版迁移至RDS MySQL
查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查...
RDS SQL Server实例间的迁移
数据传输服务DTS（Data Transmission Service）支持RDS SQL Server实例间的迁移。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。创建方式，请参见 创建RDS SQL Server实例。重要 若源RDS SQL Server为...
RDS MySQL实例间的同步
查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查...
自建MySQL迁移至RDS MySQL
查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查...
自建MySQL同步至RDS MySQL
查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查...
RDS MySQL迁移至AnalyticDB MySQL 3.0
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 快速...
RDS MySQL同步至AnalyticDB MySQL 3.0
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 RDS MySQL 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
从自建MySQL迁移至RDS MySQL实例
查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查...
跨云账号单向同步云数据库Redis实例
前提条件 源云数据库Redis的引擎版本为4.0（社区版）或5.0（社区版、企业版）。说明 目标云数据库Redis支持的版本为4.0或5.0版本，如需跨版本同步（仅支持从低版本同步到高版本）请提前确认兼容性。例如创建按量付费的云数据库Redis来测试...
使用DTS将自建PostgreSQL迁移至RDS PostgreSQL
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：do ...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查...
自建PostgreSQL迁移至PolarDB PostgreSQL版（兼容...
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：do ...
自建PostgreSQL同步至PolarDB PostgreSQL版（兼容...
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：do ...
PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步
本文介绍如何使用数据传输服务DTS（Data Transmission Service）实现 PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步。前提条件 已创建源和目标 PolarDB PostgreSQL版（兼容Oracle）集群，详情请参见 创建PolarDB PostgreSQL版（兼容...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
云安全中心的审计事件
DescribeDomainSecureRiskList 查询网络安全报告中的存在风险的网站。DescribeDomainSecureScore 查询网络安全报告的安全分。DescribeDomainSecureStatistics 查询网络安全报告中的统计值。DescribeDomainSecureSuggests 查询网络安全报告...
聚合函数
148*6461-cn-chengdu" logstore:"internal-etl-log" consumer_group:"etl-83*4d1965"consumer:"etl-b2d40ed*c8d6-291294"shard_id:"0"} 查询和分析语句*|SELECT map_union(try_cast(json_parse(etl_context)AS map(varchar,varchar)))查询和...
典型场景
具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
电子合同：深圳法大大网络科技有限公司
所属行业：电子合同 网站地址：法大大网络科技有限公司 公司介绍 深圳法大大网络科技有限公司成立于2014年，是国内领先的第三方电子合同平台，主要为金融、保险、第三方支付、旅游、房地产、汽车、医疗、物流、供应链、B2B、B2C线上交易...
互联网教育：尚学博志（上海）教育科技有限公司
所属行业：互联网/教育 网站地址：尚学博志 公司介绍 尚学博志（上海）教育科技有限公司是一家致力于打造智慧教育云平台服务的教育软件和高新技术企业，集数字化教学研究、软件产品研发、大数据挖掘、人工智能应用研究、教育培训和技术服务...
工作原理
例如网站访问流量时序数据可以按照不同的维度进行划分。如果按照访问用户的城市划分，可以分为来自上海的访问流量和来自北京的访问流量等；如果按照访问渠道划分，可以分为来自移动端的流量和来自PC端的流量等。网络流量异常可能是由于某个...
产品优势
优势总结 对比类目 自建Hadoop系统 阿里云 DLA+OSS方案 产品体系 复杂、组件较多 一体化、端到端（入湖=>管理=>ETL=>分析查询），产品体验好；组件精耕细作Presto、Spark；弹性 无 云原生、弹性强、一分钟可弹300节点参与计算 性价比 开源...
计算资源组管理
资源组类型 描述 OLAP 面向查询分析场景，适用于100 GB以下低时延查询场景，具备高并发查询响应能力。ETL 面向数据湖或数据仓库生产场景，提供大规模数据集高吞吐计算能力，弹性计算资源池按需伸缩。属性 参数规则。说明 属性 参数类型为...
Trino概述
应用场景 Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Trino是一个数仓类产品，因为其对事务支持有限，所以不适合在线业务...
DescribeDBClusterPerformance-查看集群性能数据
query_avg_wait_time：查询(包括 SELECT 和 ETL)平均等待时间。query_max_wait_time：查询(包括 SELECT 和 ETL)最大等待时间。AnalyticDB_QueryFailedRatio：查询失败率。query_failed_ratio：查询(包括 SELECT 和 ETL)失败率。磁盘 ...
定期调度Zeppelin中的作业
task=ZeppelinOperator(task_id='raw_data_task',conn_id='zeppelin_default',note_id='2FZWJTTPS',parameters={'dt':'2021-01-01'})spark_etl_task=ZeppelinOperator(task_id='spark_etl_task',conn_id='zeppelin_default',note_id='2FX3...
Presto概述
应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Presto是一个数仓类产品，因为其对事务支持有限，所以不适合在线...
XIHE BSP SQL开发
应用场景 XIHE BSP SQL作业由XIHE BSP引擎执行，适用于ETL场景、大查询、突发低优先级查询。关于XIHE BSP引擎的更多内容，请参见 计算引擎。ETL场景 典型的ETL流程如下图。从数据源到ADS层的数据清洗、数据转换等操作通常数据量较大，耗时...
Serverless存储层
具备一份数据与一套自研存储格式同时支持实时更新、交互式查询、离线ETL及明细点查多场景一体化能力。离线查询与在线查询资源隔离。湖仓一体 对外开放存储，不锁定用户数据，提供统一存储接口层及数据访问格式，支持使用开源计算引擎（如...
Kyuubi计算引擎管理
共享级别 语义 适用场景 隔离程度 共享程度 CONNECTION 每个Session启动一个引擎 大规模ETL Ad-hoc查询 高 低 USER 每个用户一个引擎 中 中 GROUP 每个资源组一个引擎 低 高 SERVER 每个集群一个引擎 管理员 高安全集群程度最高，非高安全...
- 产品推荐
- 这些文档可能帮助您