江西农信
江西农信日前携手蚂蚁集团，使用最前沿的云原生技术，实现了传统业务系统从集中式技术架构下移，并平滑迁移上云，为整体核心系统进行分布式架构升级和演进探索积累了坚实的技术基础。客户需求 过去多年，江西农信基于传统 ESB...
技术栈使用指南
开发框架与技术栈 对于开发框架 SOFABoot 3.x，其所支持的技术栈及推荐的技术栈信息如下：JDK 版本：≥JDK 8 技术栈版本：≥1.0.6-j180t2114 开发框架与所支持的技术栈配置关系图：说明 开发框架 SOFABoot 3.x 下，推荐的技术栈版本为 1.0....
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
独享数据集成资源组
网络连通方案 独享数据集成资源组与其他独享资源组类似，本质上为一组阿里云ECS实例，在数据集成任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。...
使用内建函数
查看内建函数 在DataWorks控制台中查看函数列表的具体操作如下：登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左侧导航栏中的 函数列表，即可查看相应的函数。您...
运维阶段
开发人员根据需求将代码发布上线后，还需要及时处理数据、程序、调度、监控告警等的异常事件，保障数据产出时效、程序高效运行和生产稳定性。背景信息 数据开发人员主要需要处理以下事项：程序异常处理、性能优化。调度异常处理。数据质量...
数仓开发任务流
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓...
HoloStudio一键迁移至DataStudio
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入HoloStudio一键迁移界面。单击顶部菜单栏的 图标，选择 全部产品>数据开发与运维>Holo Studio。...
创建并使用PAI Studio节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点>算法>PAI Studio。在 新建节点 对话框中，输入...
数据开发概述
进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。...
个人设置
进入个人设置 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在DataStudio界面左侧导航栏底部单击 图标，进入 设置>个人设置 页面。在该页面，您可进行如下操作：设置...
入门实践
而数据建模新增定义数据形态的流程，为您提供一站式的模型管理解决方案和数据开发前的治理能力。在数据建模时，您可以根据对业务流程的理解和需求的调研，定义企业的业务标准和规范。同时，基于数据标准进行引用和实行，生成表结构，实现...
下载 PDF 文档
智能投放.pdf 移动性能监控 移动性能监控.pdf 智能搭建 智能搭建.pdf AB 测试 AB 测试.pdf H5 容器和离线包 H5 容器和离线包.pdf 小程序 小程序.pdf 前端框架与 UI 组件 前端框架与 UI 组件.pdf 社交分享 社交分享.pdf 设备标识 设备标识....
创建业务流程
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 描述。单击 新建。创建完成后：您...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
查看治理方案模板
DataWorks为您提供了适用于各类行业的治理方案模板，您可以直接使用该模板，通过模板指定的治理项和检查器检查并处理当前账号下的待治理问题。本文为您介绍如何查看治理方案模板的配置信息。背景信息 功能作用 治理方案模板是DataWorks的...
创建工作空间
规划工作空间 选择空间模式 DataWorks工作空间分为简单模式与标准模式：简单模式：仅具有生产环境，对应一个引擎项目，无法做到数据权限隔离与开发生产隔离。标准模式：包括开发环境及生产环境，可以分别对应两个引擎项目，更好的做到开发...
无效问题添加白名单
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击顶部菜单栏左侧的 图标，选择 全部产品>数据治理>数据治理中心。单击顶部菜单栏的 治理工作台，...
配置检查项
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击顶部菜单栏左侧的 图标，选择 全部产品>数据治理>数据治理中心。单击顶部菜单栏的 配置管理，在...
配置数据质量监控
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据质量，在下拉框中选择对应工作空间后单击 进入数据质量。进入表规则配置页面。在数据质量左侧导航栏，单击 规则管理>按表配置 根据如下参数定位目标表。数据源：E-MapReduce。...
基于场景解决方案创建应用
在 云开发平台，我们通过行业场景与解决方案将技术与商业进行链接，通过将各行业最成功的技术实践案例抽象封装成一个个的行业场景解决方案，您可以基于云工开发平台之上呈现出来的行业场景解决方案去创建一个应用，马上就能体验到站在巨人...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
授权书填写规范
授权书填示例：案例2-企业用户 阿里云认证账号类型为：企业用户 认证企业名称为：支付宝（中国）网络技术有限公司 支付宝（中国）网络技术有限公司 需要申请一个 菜鸟网络 的短信签名，需要获得 菜鸟网络科技有限公司 的授权。授权书填示例...
配置do-while节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建do-while节点。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点>通用>do-while。您也可以...
配置for-each节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建周期业务流程。创建for-each节点。鼠标悬停至 图标，单击 新建节点>通用>for-each。您也可以...
加工数据
进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。步骤一：新建MaxCompute表 提前新建dwd_log_info_di、dws_user_info_all_di、ads_user...
建立ClassicLink连接后经典网络和VPC网络不通的排查...
排查思路 排查流程图如下：经典网络与专有网络互通问题排查思路主要分为以下几种场景：经典网络ECS与专有网络ECS互访排查步骤 确认ClassicLink功能的使用前提条件，ClassicLink的使用限制和使用场景请参见 ClassicLink概述。检查...
优雅下线
对于数据治理过程中的无效任务或表，数据治理中心为您提供完整的下线方案，包含下线风险评估、下线通知推送、下线过程管理等全流程功能，为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等...
新增和使用独享调度资源组
或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时，您还需了解不同场景下，独享调度资源组与数据源间或引擎间的网络连通方案和白名单注意事项，详情请参见 独享调度资源组。说明 如果您暂无连通数据库实例的需求，只是为了缓解因...
新增和使用独享数据集成资源组
说明 阿里云实例、ECS自建等场景均可根据DataWorks工作空间与数据源是否同阿里云主账号来进行网络连通方案选择与配置。参数 配置说明（数据源与独享资源同账号同地域）配置说明（数据源与独享资源在不同账号或不同地域）专有网络 如果您的...
跨阿里云主账号访问
您在跨账号进行数据同步任务之前，需要设置并确保执行任务的独享数据集成资源组，与源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时，数据库与DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...
配置数据质量监控
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据质量，在下拉框中选择对应工作空间后单击 进入数据质量。进入表规则配置页面。在数据质量左侧导航栏，单击 规则管理>按表配置 根据如下参数定位目标表。数据源：MaxCompute ...
跨账号授权配置
前提条件 已配置 云企业网 等网络连通方案，完成两个账号中数据源实例与DataWorks资源组的VPC网络互通，更多信息，请参见 配置资源组与网络连通。跨账号授权操作流程 数据源为 MaxCompute、Hologres、AnalyticDB for PostgreSQL或...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
搭建IPv6专有网络
关于安全组规则的配置操作和常见案例，请参见 添加安全组规则 和 安全组应用案例。结果验证：测试网络连通性 完成上述操作后，VPC中的ECS01实例和ECS02实例之间已经可以通过IPv6地址互相通信，您可以通过以下操作测试VPC中ECS01实例和ECS02...
使用资源目录和共享VPC实现多账号网络互通
但随着业务复杂度的增加，会面临如下的新问题：分散配置导致无法进行网络集中运维 企业网络架构是一张经过规划的大网，当网络设施分散在每个业务账号之下时，企业网络运维人员很难做到网络的集中控制。重复网络资源配置导致成本增加 在每个...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
在DataWorks中通过函数计算节点实现动态为PDF添加水印
以下配置为对pdf文件（${current_date}/example.pdf）添加水印文字 {"pdf_file":"${current_date}/example.pdf",/PDF文件在OSS Bucket中的路径"mark_text":"DataWorks",/水印文字，如果给PDF加水印，该参数必填"pagesize":[595....
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
- 产品推荐
- 这些文档可能帮助您