安装本地迁移工具
本地迁移工具 Codeup-CLI 支持三方代码库数据批量导入，降低三方数据迁移成本。Codeup-CLI 工具使用方法 简单四步，完成代码批量迁移：步骤一.根据自身系统下载迁移工具；步骤二.生成迁移源和目标的配置文件，并完成参数配置；步骤三.生成...
迁移镜像至阿里云
资源导入 通过CMH中的手工导入资源功能，将源端资源通过表格上传的方式导入进CMH的系统中，详细操作参考：手工导入资源 创建迁移计划 将导入后的资源，新建成一个 IDC迁移计划，并选择目标端的地域以及可用区，详细操作参考：迁移计划 导入...
OOM常见问题排查指南
比较宽的列有比较大的scan并行度 若是已经调整过大宽表的导入参数，但是仍然出现OOM，可以排查业务是否有比较宽的列，若有可以通过调整以下参数解决。调整宽列的shuffle并行度，减少宽列数据量的堆积 set hg_experimental_max_num_record_...
从RDS迁移至PolarDB-X 1.0
您可以单击任务列表右侧的 操作 栏中的 开始导入 直接进入数据导入流程。步骤二：数据导入 您可以通过如下两种方式将数据从源RDS导入 PolarDB-X 1.0：通过评估建议开始导入 登录 PolarDB-X 1.0控制台。在页面左上角选择目标实例所在地域。...
批量配置数据标准
在 数据标准批量操作记录 弹框，您可查看数据标准的导入记录，包括序号、标准模板、创建人、状态、创建时间、结束时间信息。同时，您可单击操作列下的查看 图标和查看导入配置 图标，查看该条导入记录的导入详情和导入配置信息。其他操作...
批量配置数据标准
在 数据标准批量操作记录 弹框，您可查看数据标准的导入记录，包括序号、标准模板、创建人、状态、创建时间、结束时间信息。同时，您可单击操作列下的查看 图标和查看导入配置 图标，查看该条导入记录的导入详情和导入配置信息。其他操作...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月调度类型中的其中一种类型，不同调度类型，任务执行的周期不同；同时各调度类型的周期任务支持互相依赖。例如，小时任务天任务或小时任务依赖周任务。本文为您介绍各任务间...
创建逻辑模型：应用表
背景信息 应用表是将一个数据集市或主题域中的多个原子指标或派生指标，通过时间周期及关联维度整合在一起，关联的维度、时间周期、原子指标、派生指标，用于生成应用表中的统计字段，帮助您进行报表等分析展示。您可以使用应用表呈现相同...
多周期估计函数
多周期估计函数支持对不同时间段内的时序进行周期估计，通过傅立叶变换等一系列操作进行周期的提取。函数列表 函数 说明 ts_period_detect 对不同时间段内的时序数据进行周期估计。ts_period_classify 通过傅立叶变换，计算输入时序曲线的...
Dataphin根据周期快照事实表生成的指标获取数据为空
问题原因 原子指标配置的统计周期标识字段hh是系统生成的分区字段，在统计周期的SQL翻译中，TO_CHAR(TO_DATE(HH,'yyyymmddhhmiss'),'yyyymmddhhmiss')假设HH=06，则会将该数据转换成000000060000，通过该条件过滤数据导致获取数据为空。...
Insert Into
StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似，但在StarRocks中，所有的数据写入都是一个独立的导入作业，所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用...
JSON格式导入
支持的导入方式 目前只有以下导入方式支持JSON格式的数据导入：将本地JSON格式的文件通过 Stream Load 方式导入。通过 Routine Load 订阅并消费Kafka中的JSON格式消息。说明 暂不支持其他方式的JSON格式数据导入。支持的JSON格式 当前仅...
通过LOAD DATA导入至数仓版
在MySQL Client中执行LOAD DATA命令将本地文件 out.bak 中的数据导入 AnalyticDB for MySQL 的 test 表中。在 IGNORE 模式下执行LOAD DATA命令，部分行导入失败但不影响其他行导入。示例如下：LOAD DATA LOCAL INFILE '~/out.bak' IGNORE ...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
问题描述 周期任务从正常调度修改为空跑任务并发布后，周期实例第二天仍按照正常调度来运行，这是什么原因呢？问题原因 首先明确概念：正常调度指按照配置的调度周期和起调时间，并正常执行。空跑调度指按照调度周期的时间配置调度，但都是...
Insert Into
StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似，但在StarRocks中，所有的数据写入都是一个独立的导入作业，所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
数据标准
数据标准模版在导入的过程中，会展示导入过程的进度，导入完成后提示【导入成功】，若导入失败会提示失败的原因，请检查并修改数据标准模版后再次导入。编辑数据标准 单击 编辑 按钮，打开编辑对话框，对数据标准进行编辑操作。删除数据...
备份
实时数仓Hologres支持自动周期备份和手动备份，以便您在某些场景下，例如数据误操作时，恢复历史数据。另外您也可用于通过快照恢复一个相同的实例，用于业务上线前的测试验证，相当于克隆实例。本文为您介绍Hologres备份的相关操作。注意...
导入Kafka数据
配置限制 限制项 说明 数据导入配置数量 单个Project允许创建的所有类型的导入配置总数最大为100个。如果您有更大的使用需求，请提 工单 申请。带宽限制 数据导入任务通过VPC网络读取阿里云Kafka集群的数据时，默认支持的最大网络带宽为128...
导入阿里邮箱通讯录错误或导入不完整
问题描述 当使用阿里邮箱Webmail时，将CSV格式的文件导入企业通讯录，存在页面显示导入操作成功，然而实际上只有部分内容被成功的导入的情况。问题原因 CSV文件的格式存在错误。解决方案 1、请参考以下关于CSV文件格式的注意事项，排查您的...
创建逻辑模型：汇总表
详情请参见 时间周期 背景信息 汇总表是将一个数据域中的多个派生指标通过时间周期及关联维度整合在一起，关联的维度、时间周期和派生指标，用于生成汇总表中的统计字段，帮助您进行报表等分析展示。您可以使用汇总表呈现相同时间、相同...
导入数据模型
API 网关会从 Swagger 2.0 文件中的 Model 或 Swagger 文件 3.0 中的 Schema 解析参数名称，参数结构，参数类型并转换后导入数据模型，可直接在 API 中自动生成示例入参的 JSON，数据模型也可直接在流程编排中进行参数配置，参数映射等。...
通过DataWorks周期性导入MaxCompute数据最佳实践
DataWorks调度任务，可以按照需求设置数据传输的时间和频率，并确保数据在传输和导入过程中的完整性和准确性。将MaxCompute分区表数据通过DataWorks导入Hologres分区表，实现两个平台的优势相互结合，从而提高数据处理效率和可靠性。前提...
运维中心概述
周期任务运维 当节点被提交发布至运维中心后，您可以在运维中心的 周期任务 中看到该节点（周期任务列表中的任务为所有周期性调度的任务），DataWorks每晚会生成第二天待运行的 周期实例，同时支持您手动触发 周期任务，分别生成 补数据...
导入非对称密钥材料
您可以将源环境（通常为线下的密钥管理设施KMI，或者线下的硬件安全模块HSM）生成的非对称密钥导入专属KMS标准版实例。本文介绍如何将非对称密钥材料导入专属KMS标准版实例。背景信息 您可以调用 DescribeKey 接口判断非对称密钥材料来源。...
个人版实例镜像导入企业版实例
迁移源 迁移源类型，支持个人版实例或OSS Bucket中的镜像导入到企业版实例。本文选择 个人版实例。地域 支持选择个人版地域。命名空间 需要导入的个人版命名空间名称。镜像选择 设置导入镜像的方式。设置导入的最新的N个镜像，需要导入的每...
Stream Load
数据量 由于Stream Load是由BE发起的导入并分发数据，建议的导入数据量在1 GB到10 GB之间。系统默认的最大Stream Load导入数据量为10 GB，所以导入超过10 GB的文件需要修改BE的配置项 streaming_load_max_mb。例如，待导入文件大小为15 GB...
导入概述
例如，FE中处于PENDING状态（即等待执行）的导入任务数目达到该值，则新的导入请求会被拒绝。此配置仅对异步执行的导入有效，如果处于等待状态的异步导入任务数达到限额，则后续创建导入的请求会被拒绝。max_running_txn_num_per_db 每个...
Broker Load
背景信息 Broker Load是一种异步的导入方式。StarRocks支持从外部存储系统导入数据，支持CSV、ORCFile和Parquet等文件格式，建议单次导入数据量在几十GB到上百GB级别。Broker Load导入 查看Broker 阿里云EMR StarRocks实例在创建时已经自动...
解决方案
本文介绍解决方案的相关问题。...在数据资源平台中，解决方案会在首次导入模型后生成快照，而在快照生成后再进行导入模型操作时，将不会对该解决方案中的内容产生影响。因此再次导入模型时，需要重新创建解决方案再做导出。
设置分区策略
ODC 在运行时会将该变量引用替换为 创建规则>细则>间隔 中的内容。{INTERVAL} 通常情况下，如果您采用 自定义 方式创建分区策略表示需要将非时间类型分区键按照时间类型的方式递增生成新的分区。下表可以帮助您快速写出正确的 SQL 表达式：...
创建并使用PAI DLC节点
为避免使用DataWorks周期性调度DLC节点在PAI产生较多不易区分的同名任务，建议在DataWorks开发DLC任务时根据实际需要合理设置调度周期，同时，建议在任务名称中增加日期时间变量，并通过调度配置为该变量赋值时间调度参数，实现任务命名...
创建镜像
清理的个人用户数据如下：Linux系统的镜像 该清理仅影响生成的镜像，生成的镜像文件将清理普通用户和/home 路径下普通用户目录中的数据，不会影响root用户的数据以及安装到系统的应用和数据。Windows系统的镜像 该清理仅影响生成的镜像，...
导入概述
例如，FE中处于PENDING状态（即等待执行）的导入任务数目达到该值，则新的导入请求会被拒绝。此配置仅对异步执行的导入有效，如果处于等待状态的异步导入任务数达到限额，则后续创建导入的请求会被拒绝。max_running_txn_num_per_db 每个...
使用 mPaaS 插件
tools:discard="@layout/unused2"->生成蓝盾图片 如果您从 mPaaS 控制台下载的.config 文件中的 absBase64Code 值为空，则需进行下面 生成蓝盾图片 的操作（适用于私有云场景）。重要 如果您在公有云环境下，从 mPaaS 控制台下载的.config ...
将生成的规则导入Prometheus中执行SLO
使用ASM定义应用服务级SLO，可以自动生成Prometheus规则。本文介绍如何将生成的规则导入Prometheus中执行SLO。前提条件 已定义应用服务级SLO。已在ACK集群安装Prometheus监控。具体操作，请参见 开源Prometheus监控 和 集成自建Prometheus...
将生成的规则导入Prometheus中执行SLO
使用ASM定义应用服务级SLO，可以自动生成Prometheus规则。本文介绍如何将生成的规则导入Prometheus中执行SLO。前提条件 已定义应用服务级SLO。已在ACK集群安装Prometheus监控。具体操作，请参见 开源Prometheus监控 和 集成自建Prometheus...
密钥轮转
支持自动轮转的密钥 仅默认密钥、软件密钥管理实例中的对称密钥支持。仅由KMS生成密钥材料的密钥支持轮转，自行导入密钥材料的密钥（BYOK）不支持轮转。仅处于 已启用 状态的密钥支持轮转。当密钥处于 已禁用 或 待删除 状态时，已开启的...
Stream Load
数据量 由于Stream Load是由BE发起的导入并分发数据，建议的导入数据量在1 GB到10 GB之间。系统默认的最大Stream Load导入数据量为10 GB，所以导入超过10 GB的文件需要修改BE的配置项 streaming_load_max_mb。例如，待导入文件大小约为15 ...
- 产品推荐
- 这些文档可能帮助您