Jindo Job Committer使用说明
这三个参数分别用来设置写入数据到Spark DataSource表、Spark Parquet格式的DataSource表和Hive表时使用的Job Committer。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入执行原因，开启 自动更新配置。单击 确定。进入SmartData...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
Jindo Job Committer使用说明
如果需要关闭自动清理功能，您可以在作业中设置 fs.jfs.cache.oss.delete-marker.dirs 为空字符，或者在SmartData服务的smartdata-site页面，修改 fs.jfs.cache.oss.delete-marker.dirs 为 temporary,.staging,.hive-staging,_magic。...
表操作
表格存储Java SDK提供了多种表级别的功能。使用表格存储时，您需要创建数据表用于数据存储。一般情况下，创建不带二级索引的数据表即可。您也可以根据实际场景创建所需数据表。如果要使用二级索引加快数据查询效率，请创建带二级索引的数据...
离线数据存储概述
平台系统表包括产品表、设备表、设备分组表、设备分组关系表、设备标签表和设备位置数据表。更多信息，请参见 查看平台系统表。时序表和快照表 您可以使用时序表和快照表，从产品 和IoT孪生引擎 维度，查看设备上报的物模型属性和事件数据...
通过命令行方式访问Presto
presto-server master-1-1:8889 执行以下命令，查看表数据。select*from<catalog>.<schema>.;命令中的参数说明如下：<catalog>：待连接的数据源的名称。您可以通过 show catalogs;命令查看所有的Catalog；或者在EMR控制台Presto服务的 配置...
通过PrestoDB使用Tablestore
存储元数据的表占用的数据存储量与创建实例时的存储规格相关。相关文档 您可以使用MaxCompute、Spark、函数计算、Flink等其他计算引擎查询与分析Tablestore表中数据。更多信息，请参见 计算与分析概述。您也可以使用表格存储的SQL查询和...
物联网平台数据接入
步骤四：结果验证 数据推送成功后，在表格存储接收数据的时序表中查看是否成功接收到指定数据。登录 表格存储控制台。在页面上方，选择地域。进入 数据管理 页签。在 概览 页面，单击实例名称。在 实例详情 页签，单击 时序表列表。在 时序...
数据质量监控
可查看各数据表存储的数据库。数据质量 数据表的数据质量，点击刷新按钮，可刷新数据质量。数据质量状态说明如下：优秀（绿灯）：没有命中规则。一般（黄灯）：命中数据表的弱规则，建议您根据实际情况使用。较差（红灯）：命中数据表的强...
管理数据库
您可以在EMR控制台Hive服务的 配置 页面，查看 hive.server2.thrift.port 参数的值。数据库 待访问的Hive数据库名称。可选参数。访问方式 支持以下访问方式：LDAP：需设置用户名和密码。EMR集群中设置的用户，详情请参见 管理用户。免密...
通过LOCALITY指定存储位置（DRDS模式）
PolarDB-X 支持通过LOCALITY关键字来指定数据库或单表的存储位置，以实现数据隔离或数据的均匀分布。本文介绍了DRDS模式数据库中使用LOCALITY的方法。本语法仅适用于DRDS模式数据库。前提条件 实例版本需为5.4.10或以上。关于如何查看实例...
访问Hive数据源
spark.adb.eni.extraHosts 否 Spark解析Hive表位置时，需要额外传入IP和表格存储节点Host的映射关系，以便Spark能正确解析表位置的域名信息。获取域名：在自建集群的<Hive_CONF_DIR>/core-site.xml文件中查看 fs.defaultFS 获取域名。例如...
通过命令行方式连接Trino
EMR-3.44.0及之后版本、EMR-5.10.0版本及之后版本 trino-server master-1-1:9090 EMR-3.44.0之前版本、EMR-5.10.0版本之前版本 presto-server master-1-1:9090 执行如下命令，查看表数据。select*from<catalog>.<schema>.;命令中的参数说明...
DataWorks on EMR集群配置最佳实践
其中，EMR Hive节点支持表及列血缘，Spark类型节点仅支持表血缘。针对Spark组件，仅Spark 2.x版本支持血缘功能，Spark 3.x版本不支持。更多Spark组件的配置详情，请参见 Spark Memory Management。HDFS 您可根据所使用的EMR集群规模情况...
时序模型
删除时序表 当不再需要使用时序表存储时序数据时，您可以使用 DeleteTimeseriesTable 接口删除一张时序表。重要 时序表删除后不支持恢复，请谨慎操作。删除时序表时，系统会自动删除时序表下的分析存储。分析存储操作 为了低成本存储时序...
时序模型
删除时序表 当不再需要使用时序表存储时序数据时，您可以使用 DeleteTimeseriesTable 接口删除一张时序表。重要 时序表删除后不支持恢复，请谨慎操作。删除时序表时，系统会自动删除时序表下的分析存储。分析存储操作 为了低成本存储时序...
Spark Load
从 hive_table 中抽取待去重字段的去重值，生成一张新的Hive表，记为 distinct_value_table。新建一张全局字典表，记为 dict_table。字典表一列为原始值，另一列为编码后的值。将 distinct_value_table 与 dict_table 做 left join，计算出...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
Dataphin脚本任务运行报错“Error while processing ...
解决方案 上述报错信息是底层计算源抛的错，需要查看底层hadoop引擎上的日志信息如下：报错原因是：Hive表有新增字段，新增字段后，再往表中插入数据时会报异常。方案1.重新创建一张Hive表，再把历史数据重新插入进去。方案2.在SQL任务前...
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
通过Hive连接并使用宽表引擎
在Lindorm中查看数据是否插入成功：scan 'hive_hbase_table' 返回结果如下：ROW COLUMN+CELL 212 column=cf1:val,timestamp=2023-03-13T15:35:10.270,value=bab 在Lindorm中往表hive_hbase_table中插入数据，并在Hive中查看数据是否插入...
EMR-3.35.x版本说明
本文介绍EMR-3.35.x版本的...修复读取Hive ORC表char类型数据正确性的问题。HDFS 支持国密SM4加密算法。Hue 升级Hue至4.9.0版本。Alluxio 升级Alluxio至2.5.0版本。Druid 升级Druid至0.20.1版本。增强了安全性。Livy 升级Livy至0.7.1版本。
通过Hive访问云数据库HBase
create 'hbase_table','f' put 'hbase_table','1122','f:col1','hello' put 'hbase_table','1122','f:col2','hbase' 在Hive中创建云数据库HBase外部关联表，并查看数据。CREATE external table hbase_table(key int,col1 string,col2 ...
Presto FAQ
如何查看表的分区数目？OSS/Hive相关问题 如何通过SQL查询一个OSS表里面的文件数？如何查询CSV文件中文出现乱码问题？使用Insert类型的SQL语法时，如何减小输出的文件数？支持基于.gz压缩的数据吗？能同时处理相同目录下的压缩文件和非压缩...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
计量计费项
表格存储按实例计费。按量模式的计费项 包括读吞吐量、写吞吐量、数据存储量和外网下行流量四部分。按量模式适用于业务峰谷...在 实例详情 页签的 实例基础信息 区域，查看表数据大小。通过费用中心导出计量数据。具体操作，请参见 用量查询。
Hive访问Iceberg数据
您可以在Hive命令行中手动执行以下命令：非DataLake集群 add jar/usr/lib/hive-current/lib/libfb303-0.9.3.jar DataLake集群 add jar/opt/apps/HIVE/hive-current/lib/libfb303-0.9.3.jar 执行以下命令，查看表数据。SELECT*FROM iceberg_...
HIVECLI
说明 如果读表或者删除表时任务运行失败，日志报错信息中包含 java.net.UnknownHostException 信息，处理方法请参见 Hive读表或者删除表时报错java.lang.IllegalArgumentException:java.net.UnknownHostException: emr-header-1.xxx 。...
通过Hive访问HBase增强版
在HBase增强版中查看数据是否插入成功：scan 'hive_hbase_table' 返回结果如下：ROW COLUMN+CELL 212 column=cf1:val,timestamp=2023-03-13T15:35:10.270,value=bab 在HBase增强版中往表hive_hbase_table中插入数据，并在Hive中查看数据...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
新建Paimon数据源
版本 选择Paimon数据源的来源版本，支持 EMR3.x Hive 2.3.5、EMR5.x Hive 3.1.x、CDH6.x Hive 2.1.1、CDP7.x Hive 3.1.3、亚信DP5.x Hive 3.1.0。数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：...
EMR Spark功能增强
修复读取Hive ORC表char类型数据正确性的问题。EMR-4.8.0 Spark 2.4.7 优化了部分默认配置。性能优化：支持Window TopK下推。增强Hive读写CSV或JSON表的兼容性。ANALYZE语句支持省略全表列名。支持一键开启或关闭LDAP功能。开启或关闭LDAP...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
table name|+-+|emrusers|+-+1 row in set 执行以下命令，查看表信息。desc emrusers;返回信息如下。name|type|null|key|extras|watermark|+-+-+-+-+-+-+|userid|INT|true|movieid|INT|true|rating|INT|true|unixtime|STRING|true|+-+-+-+-...
EMR-3.27.x版本说明
Hive hcatalog表支持magic committer。移除一些过时的默认配置。Bigboot 升级至2.6.3版本。支持多Master部署。SmartData 升级至2.6.3版本。支持多Master部署。Ranger 支持Solr组件。支持PrestoSQL 311版本。Tez 支持scratchdir设置在OSS上...
DLF统一元数据
本文为您简单介绍阿里云数据湖构建，以及如何切换E-MapReduce（简称EMR）的元数据存储类型。背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理...
- 产品推荐
- 这些文档可能帮助您