发布任务
说明 在数据开发界面提交的操作都将进入任务发布界面处于待发布状态，您可以在任务发布界面将文件的相关操作通过发布流程发布至生产环境生效。DataWorks提供以下几类任务发布前检查：代码评审，可开启空间强制代码评审，即任务发布前需要...
错误处理
当您无法解决问题时，可以凭这个 RequestId 来请求表格存储开发工程师的帮助。重试 SDK 中出现错误时会自动重试。默认策略是最多重试3次，重试间隔最大2秒。用户也可以通过修改 OTSClientConfig 中的 RetryPolicy 自定义重试策略。...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...
从自建HDFS迁移数据
背景介绍 在某些场景下面，我们需要从自建的Hadoop中存储的数据迁移到Lindorm的文件引擎当中。适用范围 阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。修改Hadoop 配置信息，详情请参见 ...
创建EMR MR节点
在EMR任务开发中，通过创建EMR（E-MapReduce）MR节点，可将大规模数据集分为多个Map任务以并行处理，加速数据集的并行运算。本文将以创建EMR MR节点实现从OSS中读取文本，并统计文本中的单词数为例，为您展示EMR MR节点的作业开发流程。...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
HDFS数据源
支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认资源组到HDFS的网络链路比较复杂，建议您使用 独享数据集成资源组 完成数据同步任务。您需要确保您的独享数据集成资源组具备...
通过控制台管理作业
如何开发，请参见 JAR作业开发实践 或 Python作业开发实践。已将作业上传至HDFS或OSS。如何上传至HDFS，请参见 通过控制台上传文件。创建作业 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
DataWorks On EMR使用说明
新增和使用独享调度资源组 二、开发环境准备 您需先在DataWorks工作空间注册EMR集群，才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员以便进行协同开发。类别 描述 相关文档 注册EMR集群 基于DataWorks进行...
创建EMR Shell节点
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至DataWorks。创建EMR相关节点并开发EMR任务前，您需要先将...
准备环境
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
产品优势
存储空间弹性 在线平滑伸缩 起步门槛高，扩容步长大 存储与计算分离 支持，与计算引擎分离，独自伸缩 不支持，与计算引擎混合部署 冷热存储 多级存储，智能转存 不支持 扩展性 节点数 无 0~1000 存储量 0~1 EB 0~10 PB 文件数 千亿级 千万...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
Node Labels特性使用
主备切换后，新的Active节点无法读到本地存储的Node Labels信息，所以必须将 yarn.node-labels.fs-store.root-dir 配置为分布式存储路径，例如/tmp/node-labels 或者${fs.defaultFS}/tmp/node-labels（EMR Hadoop默认文件系统为分布式HDFS...
创建EMR函数
Hadoop：Hadoop集群开发前准备工作。您需要先上传资源，才可以注册函数。新建EMR资源详情可参考文档：创建和使用EMR资源 操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，...
开发测试
基于K8s、NAS、GitLab、Jenkins的持续集成交付容器环境最佳实践 Serverless ACK弹性低成本CI/CD系统 使用文件存储NAS构建Jenkins持续集成环境 使用极速型NAS构建高可用的GitLab 阿里云文件存储NAS开发测试环境最佳实践
联系我们
如果您有任何反馈或者期望与工程师即时沟通，欢迎联系我们。您可以通过如下方式联系我们。通过 阿里云聆听 提建议。关注阿里云 开发者社区。...为物联网和时序模型开发者提供的技术交流群有44327024（物联网存储 IoTstore 开发者交流群）。
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
管理Hive Catalog
背景信息 您可以将Hive Catalog配置文件和Hadoop依赖存放至对象存储OSS控制台指定目录后，再在Flink开发控制台上配置Hive Catalog功能。配置成功后，可在Flink开发控制台上直接使用DML创建业务逻辑，获取Hive中表的元数据信息，无需再使用...
产品技术服务
为物联网和时序模型开发者提供的技术交流群有44327024（物联网存储 IoTstore 开发者交流群）。专家服务 表格存储 专家服务提供架构咨询、技术答疑、费用评估、迁移护航等专家一对一支持。申请方式 您可以根据业务场景需要通过 专家服务 ...
时序分析存储概述
使用分析存储（Analytical Store）功能，您可以低成本存储时序数据以及快速查询和分析时序数据。分析存储功能主要用于时序数据长期存储和分析场景。背景信息 分析存储是 表格存储 针对时序场景进行定制优化的低成本存储引擎。分析存储不仅...
搭建订单系统
本章节主要为您介绍如何使用表格存储搭建亿量级订单管理系统。前提条件 您已经完成了 准备工作。步骤一：创建数据表 创建四张表：订单表、消费者表、售货员表、产品表。您仅需将四张表创建在同一个实例，您可以通过控制台、命令行工具或SDK...
方案实现
本文主要为您介绍如何使用表格存储搭建亿量级店铺搜索系统。前提条件 已完成 准备工作。步骤一：创建数据表 通过控制台、命令行工具或者SDK方式创建一张店铺信息表。具体操作，请参见 数据表操作。步骤二：创建数据表索引 表格存储自动进行...
快速玩转Tablestore入门与实战
本文为您介绍 表格存储 的适用场景以及可借鉴的开发指导、经典案例。通过本文提供的场景和应用案例，您可以更好地了解 表格存储 使用方式、设计思路、架构实现等，为您的方案选型提供参考依据。说明 本文中的经典场景都提供相应的实现代码...
方案实现
本文主要介绍如何使用表格存储搭建海量智能元数据管理系统。前提条件 已完成 准备工作。步骤一：创建数据表 通过以下两种方式创建一张店铺信息表：通过控制台创建和管理数据表。具体操作，请参见 创建数据表。通过SDK直接创建和管理数据表...
现代IM系统中的消息系统—模型
本章节主要介绍表格存储（Tablestore）的Timeline模型基本功能以及核心组件，并且会通过IM消息系统场景，介绍如何基于Timeline实现IM场景下消息同步、存储和索引等基本功能。Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括...
通过控制台使用分析存储
在 表格存储 控制台创建时序模型实例后，您可以在实例下创建分析存储并使用SQL查询时序数据。注意事项 时序分析存储功能将从2023年12月20日正式开始收费。目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京...
通过SDK使用分析存储
使用SDK在已开启分析存储的时序模型实例下为时序表创建分析存储并为分析存储创建绑定关系，然后使用SQL查询数据。说明 您可以通过 Java SDK 或者 Go SDK 使用分析存储功能，本文以Java SDK为例介绍分析存储的使用。注意事项 时序分析存储...
时序模型介绍
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景，支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据，能提供高并发写入和查询...
索引选择
本文为您介绍如何选择表格存储的查询方式以及索引常见组合方案。无需使用索引 以下情况您可以不使用索引进行数据查询。如果基于主键和主键范围查询的功能已经可以满足业务需求，则不需要建立索引。更多信息，请参见 读取数据。如果对某个...
现代IM系统中的消息系统—架构
本章节主要介绍现代IM系统中的消息系统架构以及基于表格存储（Tablestore）自研的Timeline模型构建的消息系统。基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现...
如何优化高并发IM系统架构
介绍如何使用表格存储的主键增列功能优化高并发IM系统架构。背景 在构建社交IM和朋友圈应用时，最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号...
设置Dataphin实例的计算引擎为Hadoop
集群存储根目录 计算引擎类型为E-MapReduce 5.x Hadoop且集群存储类型为OSS-HDFS时，需填写集群存储根目录。可以通过查看E-MapReduce 5.x Hadoop集群信息获取进行。如下图所示：执行引擎 根据实际业务情况，选择计算执行引擎。包括...
DataWorks on EMR集群配置最佳实践
HDFS 您可根据所使用的EMR集群规模情况调整HDFS的以下配置项：hadoop_namenode_heapsize、hadoop_datanode_heapsize、hadoop_secondary_namenode_heapsize、hadoop_namenode_opts 至合适大小。元数据存储选择 若要实现DataWorks标准模式...
Credential Provider使用说明
使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法，请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....
数据服务
具体显示内容如下：显示表名称及其存储数据库、表的质量状态（请参考界面左上角的颜色说明），其中状态样式和行业模型的表状态一致。鼠标移到至某表时，显示表的详细内容，具体包括：表名称、输出场景、存储形式、开发负责人以及计算任务...
- 产品推荐
- 这些文档可能帮助您