物联网数据处理分析架构参考
物联网平台数据可以直接通过配置DataWorks集成任务存储，一份时序数据用于“信息部门”分析使用，同时可以配置数据导出任务存储数据到Lindorm。Java应用无需轮询调用物联网平台的数据API，直接集成入仓后同步到RDS指标库。带来的好处 按需...
配置离线管道调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 ...
常见需求咨询类问题
答：云呼支持对接自有的业务号码，详情如下：号码类型 对接方法 普通固话 请看下面sip对接相关 400号码（两种方法选其一）方法1：请看下面sip对接相关 方法2：可以在我们这里申请一个固话作为400的落地号码，需要询问您的400号码运营商绑定...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
场景：调度参数在数据集成的典型应用场景
调度参数可以同于数据集成任务配置的各个阶段。本文为您介绍调度参数的典型应用场景。背景信息 DataWorks数据集成结合调度参数使用，可实现以下场景：场景 说明 相关文档 增量数据同步 部分Reader插件可通过调度参数实现每次调度只同步指定...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
云原生网关功能指引
MSE云原生网关兼容K8s Ingress，支持ACK容器服务和Nacos等多种服务发现方式，集成丰富的安全运维能力。本文介绍云原生网关的功能说明，帮助您更深一步了解云原生网关...【安全集成】配置IDaaS认证鉴权 您可以为云原生网关配置IDaaS认证鉴权。
元数据仓库共享模型标准访问方式
将元仓任务计算源对应的数据源配置为输入组件，将目标空间项目配置为输出组件，选择需要使用的元数据表，完成集成任务的配置。集成任务调度配置。您可以直接将集成任务配置为定时调度，可以查看元仓租户下共享模型任务的平均产出时间作为...
流水线管理
Pipeline 相关的 CI 配置 Pipeline 在执行的过程中依赖一些 CI（持续集成）配置，这些配置不同于发布时的配置，仅用于 CI 阶段。例如，运行测试用例时的 MVN 版本，统计 PMD 及覆盖率问题时的排除类，部署开发服务器时是否打开调试端口。...
PAI云产品接入
在新增资源配额页面需要做如下配置：配置项 说明 ACS资源配额 ACS 云产品集成 页面配置的资源配额名。资源配额名称 关联的PAI的资源配额名称。关联工作空间 表示在对应PAI的工作空间提交的任务，会占用该ACS资源配额，从而使用ACS的容器算...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
产品更新动态
同时扩展产品集成能力，为规模化生态建设奠定基础，具体如下：错误码提示文案优化 通话详情支持sipcode展示 MQ配置增加NameServer信息 IService产品集成上线 2023年1月5日-V3.4 本次版本更新中，结合客户项目需求，进一步完善产品功能全面...
数据源概述
数据源功能概述 配置数据源时，您需要了解如下内容：能力 说明 数据源支持情况与配置 在配置数据集成同步任务前，您需要提前在DataWorks数据源管理页面配置好需要同步的数据源。数据集成目前支持几十种数据源，目前支持的数据源及其配置...
登录认证概述
在独立部署的情况下，Dataphin提供的认证方式有多种：配置化方式集成：通过配置化方式集成阿里云的访问控制或SAML、OAuth2.0的方式集成不同的企业认证系统。配置说明，请参见：SAML配置说明。OAuth2.0协议对接。Dataphin标准接口集成：基于...
DataStudio侧实时同步任务配置
说明 您可以在 数据集成>配置选项>实时同步DDL消息处理策略 页面，针对每个写入的目标数据库类型，设置DDL处理策略。不同DDL消息处理策略如下表所示。DDL消息类型 处理策略 新建表 DataWorks收到对应类型的DDL消息时，处理策略如下：正常...
配置变更
CI 配置 CI（持续集成）配置是在执行 CI 组件（比如 PMD 扫描，单元测试等）的时候需要的一些工作空间与参数配置，所有与 CI 相关的内容都在CI 配置页面进行配置。操作步骤 从左侧导航栏单击 研发迭代>我的迭代，在迭代列表中，单击迭代...
Amazon S3数据源
支持的字段类型 类型分类 数据集成column配置类型 S3数据类型 整数类 LONG LONG 浮点类 DOUBLE DOUBLE 字符串类 STRING STRING 日期时间类 DATE DATE 布尔型 BOOL BOOL 数据同步任务开发 Amazon S3数据同步任务的配置入口和通用配置流程...
全增量实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
配置RDS MySQL间的数据集成任务
本文以配置RDS MySQL间的数据集成任务为例，介绍数据集成任务的配置流程和注意事项。说明 新版DTS控制台暂不支持数据集成功能，您可以在数据管理DMS控制台配置离线集成任务，详情请参见 离线集成概述。支持全量数据迁移的数据源均支持数据...
自定义配置
例如，可以配置API集成场景下的Auth授权信息或逻辑流中使用的变量或对象值。操作步骤 在应用开发界面的左侧功能区，单击 配置，系统默认进入 应用配置 页签。选择 自定义配置 页签，单击 添加配置，弹出 添加配置 对话框。说明 系统模块和...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
独享资源组模式
独享数据集成资源组 独享数据集成资源组创建成功后，您需要在配置数据集成任务时修改任务运行资源。在 资源组列表>独享资源组 页面，单击相应资源后的 修改归属工作空间，绑定独享数据集成资源组归属的工作空间。在数据集成任务的编辑页面...
MySQL分库分表同步至Hologres（方案2.0）
步骤五：报警配置 步骤六：高级参数配置 步骤七：DDL能力配置 步骤八：资源组配置 步骤九：执行同步解决方案任务 步骤一：选择同步方案 在此步骤中，您需要进入数据集成页面配置同步解决方案。进入 数据集成。进入数据集成页面。登录 ...
Security Zone功能
已完成 配置Hive集成Ranger 和 配置HDFS集成Ranger。使用限制 仅EMR-5.x系列版本，支持配置Security Zone功能。创建Security Zone管理员用户 本文示例需要新建admin_a和admin_b用户。访问Ranger WebUI，详情请参见 访问Ranger UI。在Ranger...
DataWorks数据集成
无论是哪种应用场景，都可以通过DataWorks的数据集成功能完成数据的同步过程，详细的操作步骤（包括创建数据集成任务、数据源配置、作业配置、白名单配置等），请参考 DataWorks文档 中的使用指南->数据集成一栏。文章中余下部分会介绍 ...
HDFS数据源
类型分类 数据库数据类型 整数类 TINYINT、SMALLINT、INT和BIGINT 浮点类 FLOAT和DOUBLE 字符串类 CHAR、VARCHAR和STRING 布尔类 BOOLEAN 日期时间类 DATE和TIMESTAMP 数据同步任务开发 HDFS数据同步任务的配置入口和通用配置流程指导可...
通过logstash进行日志关键字监控
tags:xxxxx'>>test.log 集成配置及流转 1.在 运维事件中心 控制台 集成中心>集成配置>标准集成 查看最新推送的数据记录。2.在 策略中心>流转规则 里新增对应的规则，由于日志error是核心异常场景，此处示例优先级选择P1、个人通知勾选电话...
CreateDISyncTask
调用CreateDISyncTask创建数据集成同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
如何使用自定义集成
本文档主要介绍如何配置自定义集成。简介 自定义集成是运维事件中心提供的核心集成能力，支持用户自定义场景接入，将相关异常告警以标准JSON形式进行推送即可，从而通过流转规则触发报警或事件实现统一的运维管理；查看以下集成步骤完成...
阿里云SLS集成
步骤2：打开集成配置中心 按图片提示找到对应的SLS基本信息。需获取的信息包含：Project名称、Endpoint、AccessID、AccessKey。说明 阿里云SLS共提供私网域名（阿里云内部产品通讯）与公网域名（任意系统均可通讯）。运维事件中心目前部署...
Dataphin支持哪些认证系统？
概述 集成企业已有的认证系统，不仅可以统一地管理用户避免安全泄露，也可以让用户的体验更好，登录一次就可以访问所有的产品。Dataphin也支持集成不同的企业的认证系统。不同的部署模式可通过不同的方式支持不同的认证系统。详细信息 在...
通知渠道说明
配置参数 选择通用Webhook渠道时，需在 行动组 对话框中完成如下配置。具体操作，请参见 创建行动策略。参数 说明 渠道 选择 通用Webhook。选择Webhook 选择您已创建的Webhook。内容模板 告警通知的内容。日志服务根据您所选择的内容模板，...
如何集成第三方API服务
本文完整介绍如何集成第三方API服务的操作步骤。前提条件 已获取待集成的API接口地址，例如：今日星座运势的API接口地址。操作步骤 集成第三方API服务，可以参考 配置连接器。登录 魔笔。在顶部菜单栏选择 应用管理，在右上角搜索框中输入...
配置审计支持被审计的事件说明
配置审计已与操作审计服务集成，您可以在操作审计中查询用户操作配置审计产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的日志库（LogStore）或对象存储OSS的存储空间（Bucket）中，满足实时审计、问题回溯分析等需求。操作审计...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
OPPO辅助通道集成
本章节介绍如何集成移动推送提供的OPPO辅助通道SDK。获取OPPO推送密钥 登录 OPPO开放平台，在推送服务中注册您的应用，在配置管理>应用配置中获取AppKey、AppSecret和MasterSecret。控制台配置密钥 登录移动推送控制台，设置您的OPPO推送...
ListDIProjectConfig
调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息...
华为辅助通道集成
本章节介绍如何集成移动推送提供的华为辅助通道SDK。获取华为推送密钥 登录 华为开发者联盟，注册您的应用，在应用信息中获取APP ID和SecretKey。说明 您可以在 我的应用 中查看应用APP ID和SecretKey。如果在上图中未找到SecretKey，您也...
- 产品推荐
- 这些文档可能帮助您