Dataphin 即席sql报错Could not initialize class org...
问题描述 Dataphin 即席sql报错Could not initialize class org.apache.hadoop.hive.common.type.HiveDate。问题原因 插入数据后，查询表报错，表结构有date字段，输入类型有问题。解决方案 把表字段改成string类型，然后重新插入数据查询...
Hudi
API种类 Datastream和SQL 是否支持更新或删除结果表数据 是 特色功能 类别 详情 Hudi的核心特性 支持ACID：支持ACID语义，默认提供SNAPSHOT ISOLATION隔离级别。支持UPSERT语义：UPSERT语义是INSERT和UPDATE两种语义的合并。在UPSERT语义时...
测试工具
HammerDB目前支持的数据库种类很多，主流的数据库都已经覆盖，例如Oracle、SQL Server、DB2、TimesTen、MySQL、MariaDB、PostgreSQL、Greenplum、Postgres Plus Advanced Server、Redis和Trafodion SQL on Hadoop。HammerDB包含一个内嵌的...
测试结果
1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时（min）DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用，自建Hadoop集群在高峰期需要...
SQL诊断功能介绍
更多 查询监控 和 SQL列表 的详情，请参见 查询监控图和SQL列表介绍。说明 默认展示 最近5分钟 内 耗时最长的100个 SQL查询（不包含正在执行中的查询）。AnalyticDB MySQL版 支持自定义检索最近2周内的SQL查询详情。自定义检索的结束时间需...
SQL 路由
拆分键是数据访问代理中数据分布和 SQL 路由的凭证。SQL 路由 当用户发起执行 SQL 语句的请求时，数据访问代理会理解 SQL 语句的含义，然后按照拆分键的值和执行策略将 SQL 语句路由到对应分区进行执行，如下图所示：数据合并 如果一个 SQL...
支持的连接器
MySQL√流模式 SQL和DataStream 是 云数据库RDS MySQL版×流模式和批模式 SQL 是 大数据计算服务MaxCompute√流模式和批模式 SQL和DataStream 不支持更新和删除结果表数据，只支持插入数据。数据总线DataHub√流模式和批模式 SQL和...
自动SQL优化
单击 详情，在 慢SQL诊断（诊断优化）的 根因分析和建议 页签里查看 问题SQL 和 SQL优化，以及 SQL优化 的 索引推荐 和 语句优化 的详细信息。相关文档 如果您需要手动优化目标SQL时，请参见 SQL优化。相关API API 描述 ...
SQL 诊断概述
本文介绍 SQL 诊断页面的信息，包括 SQL 统计、性能监控、租户级请求分析、性能监控和 SQL 列表。统计信息 在统计信息区域，您可以根据时间进行筛选，查看当前实例内可疑 SQL、SlowSQL、高危 SQL 和 新增 SQL 的数量，以及各租户下的对应...
TOP SQL
自治服务提供实时TOP SQL 和历史TOP SQL 查询功能，挖掘出SQL语句级别的详细性能开销。前提条件 实例不能是RDS SQL Server 2008 R2云盘版。操作步骤 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中，选择 自治服务...
自动SQL限流
自动限流：当发现实例存在根因分析中描述的资源消耗型SQL和流量型SQL时，会自动提取SQL特征，对异常SQL进行限流（用户授权的情况下触发）。这里面最难的问题是怎么选取SQL的特征，进行精确限流，而不会出现由于特征选取错误而导致业务全面...
性能与 SQL 监控详情
在租户性能与 SQL 监控详情页面，您可查看租户的基本信息和 SQL 执行情况等监控数据信息。查看租户性能与 SQL 监控数据 性能与 SQL 页签中默认展示了近 1 小时常用 SQL 的执行频率，响应时间和租户会话等信息。您可以自定义筛选时间查看...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
Windows Server 安装SQL Server
在 服务器配置 中，配置服务账号和启动类型，选择默认即可，若有其它需要可以相应的开启SQL Server Browser 和 SQL Server Agent 服务，并配置自动启动。点击 下一步。在 数据库引擎配置 中，使用默认Windows身份验证，安装完之后再改成...
慢日志分析
在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志...
使用Flink访问
tar-zxvf flink-1.9.0-bin-scala_2.11.tgz-C/usr/local/说明 在使用Apache Flink之前必须在您的集群环境变量中配置 HADOOP_HOME，HADOOP_CLASSPATH 和 HADOOP_CONF_DIR，详情请参见 Apache Hadoop 配置 步骤7配置环境变量。如果您需要对...
构建模型
您可以选择数据表关联数据表、数据表关联SQL代码创建表、SQL代码创建表关联数据表和SQL代码创建表关联SQL代码创建表。说明 SQL代码的编辑操作请参见 自定义SQL。数据表关联数据表 在数据集编辑页面，按照下图步骤，拖拽数据表至画布中。...
SQL Pattern
在 SQL Pattern 页签的SQL Pattern列表中，单击 查看详情，进入 查询详情 页面，您可以查看SQL Pattern多个指标的时序变化和SQL列表。相关API DescribeSQLPatterns-查询SQL模式列表 DescribePatternPerformance-查询模式性能
在文件存储 HDFS 版上使用Apache Flink
tar-zxf flink-1.12.5-bin-scala_2.11.tgz-C/usr/local/重要 在使用Flink前，必须在您的集群环境变量中配置HADOOP_HOME，HADOOP_CLASSPATH和HADOOP_CONF_DIR。具体操作，请参见 配置环境变量。如果您需要对Flink进行额外的配置，请参见 ...
慢日志
在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志...
搭建Hadoop环境
c"echo 'export PATH=\$PATH:/opt/hadoop/bin'>>/etc/profile"sudo sh-c"echo 'export PATH=\$PATH:/opt/hadoop/sbin'>>/etc/profile"source/etc/profile 执行以下命令，修改配置文件 yarn-env.sh 和 hadoop-env.sh。sudo sh-c 'echo...
慢日志
在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志...
文件存储 HDFS 版和数据库MySQL双向数据迁移
背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL、Oracle、Postgres等）中的数据导入 文件存储 HDFS 版 中，也可以将 文件存储 HDFS 版 的...
SQL闪回
填写误操作SQL的基本信息，数据库和时间范围为必填参数，表名、TRACE_ID和SQL类型可以按需要填写。参数说明：SQL执行时间范围：误操作SQL执行的大致时间范围，开始时间早于误操作SQL开始执行时间，结束时间晚于误操作SQL执行结束时间。为了...
开启SQL独享版
SQL独享版和SQL普通版的能力对比，请参见 分析概述。计费信息 按照查询和分析时所使用的CPU时间计算。单位为核×小时，即1核计算资源独享使用1小时的费用。更多信息，请参见 SQL独享版计费案例。按量付费：SQL独享版费用=CPU时间（小时）×...
TOP SQL
数据库自治服务DAS 为 RDS SQL Server 提供实时TOP SQL和历史TOP SQL查询功能，查看SQL语句级别的性能开销。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，...
慢日志分析
在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。查看全局慢日志 若您有多个数据库实例，您可以在 全局慢日志趋势 页面，查看所选数据库引擎整体的慢日志趋势以及TOP10实例的慢日志...
开启权限认证
设置ACL相关命令有 hadoop fs-getfacl[-R]和 hadoop fs-setfacl[-R][-b|-k-m|-x<acl_spec><path>]|[-set<acl_spec><path>]。dfs.permissions.superusergroup 默认值为hadoop。超级用户组的名称。属于该组的用户都具有超级用户的权限。保存...
查询管理SQL
通过云数据库ClickHouse控制台您可以轻松实现慢SQL和运行中SQL的监控和管理。背景信息 原始QueryLog表使用过程繁琐，需要进行客户端安装，编写SQL，结果排序等，无法进行直接的趋势展现，整体使用成本高，易用性和效率低。云数据库...
polar_sql_mapping
在如下示例中，即含有 test_table 的SQL都会被抓取（匹配逻辑和SQL中的LIKE操作符一致）。设置匹配模式。set polar_sql_mapping.error_pattern to '%test_table%';开启匹配模式。set polar_sql_mapping.record_error_sql to true;创建被...
polar_sql_mapping
在如下示例中，即含有 test_table 的SQL都会被抓取（匹配逻辑和SQL中的LIKE操作符一致）。设置匹配模式。set polar_sql_mapping.error_pattern to '%test_table%';开启匹配模式。set polar_sql_mapping.record_error_sql to true;创建被...
polar_sql_mapping
在如下示例中，即含有 test_table 的SQL都会被抓取（匹配逻辑和SQL中的LIKE操作符一致）。设置匹配模式。set polar_sql_mapping.error_pattern to '%test_table%';开启匹配模式。set polar_sql_mapping.record_error_sql to true;创建被...
polar_sql_mapping
在如下示例中，即含有 test_table 的SQL都会被抓取（匹配逻辑和SQL中的LIKE操作符一致）。设置匹配模式。set polar_sql_mapping.error_pattern to '%test_table%';开启匹配模式。set polar_sql_mapping.record_error_sql to true;创建被...
在文件存储 HDFS 版上使用Apache Tez
tez-dist/target/tez-0.9.2-minimal.tar.gz/最小压缩包，仅包含Tez依赖 tez-dist/target/tez-0.9.2.tar.gz/完整压缩包，包含Tez和Hadoop依赖 背景信息 Apache Tez是构建在Hadoop YARN之上支持分布式DAG（Directed Acyclic Graph）的计算...
查询治理
最佳实践 使用标签区分是否需要优化SQL：治理核心逻辑是将 总体慢SQL 分为 无需优化 的慢SQL和 推荐优化SQL 两类，您可根据如下SQL标签，快速筛选并按优先级治理。ID 标签名称 级别 推荐重点关注 描述 NEW_SQL 新增慢SQL 警告 ✔️ 相比...
查询治理
最佳实践 使用标签区分是否需要优化SQL：治理核心逻辑是将 总体慢SQL 分为 无需优化 的慢SQL和 推荐优化SQL 两类，您可根据如下SQL标签，快速筛选并按优先级治理。ID 标签名称 级别 推荐重点关注 描述 NEW_SQL 新增慢SQL 警告 ✔️ 相比...
查询治理
最佳实践 使用标签区分是否需要优化SQL：治理核心逻辑是将 总体慢SQL 分为 无需优化 的慢SQL和 推荐优化SQL 两类，您可根据如下SQL标签，快速筛选并按优先级治理。ID 标签名称 级别 推荐重点关注 描述 NEW_SQL 新增慢SQL 警告 ✔️ 相比...
查询治理
最佳实践 使用标签区分是否需要优化SQL：治理核心逻辑是将 总体慢SQL 分为 无需优化 的慢SQL和 推荐优化SQL 两类，您可根据如下SQL标签，快速筛选并按优先级治理。ID 标签名称 级别 推荐重点关注 描述 NEW_SQL 新增慢SQL 警告 ✔️ 相比...
SQL查询常见错误排查
OTSParameterInvalid Field type mismatch,actual:STRING,expect:INTEGER,col:xxx,primary key:{"PrimaryKeys":[{"ColumnName":"xxx","Value":"xxx","PrimaryKeyOption":0}]} 数据表中属性列的数据类型和SQL中属性列的数据类型不匹配。...
- 产品推荐
- 这些文档可能帮助您