大数据开发和iOS开发-大数据开发和iOS开发文档介绍内容-阿里云

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

入门概述

本模块将指引您快速完成一个完整的数据开发和运维操作。说明如果您是第一次使用DataWorks，请确认已经根据准备工作模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的进入数据开发，即可进行...

大数据AI公共数据集分析

准备环境和资源开通大数据开发治理平台DataWorks。访问阿里云免费试用。单击页面右上方的登录/注册按钮，并根据页面提示完成账号登录（已有阿里云账号）、账号注册（尚无阿里云账号）或实名认证（根据试用产品要求完成个人实名认证或...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

创建Hologres数据源

数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供Hologres任务的开发与调度能力，若您需要基于该Hologres数据源进行Hologres任务开发，或周期性调度Hologres相关任务，需先...

接入 mPaaS 小程序

本文的视频中介绍了 mPaaS 小程序以及在 Android 和 iOS 开发过程中如何接入 mPaaS 小程序。mPaaS 小程序介绍在 Android 开发中接入 mPaaS 小程序并实现启动在 iOS 开发中接入 mPaaS 小程序并实现启动

创建AnalyticDB for MySQL3.0数据源

若地域不一致，则只能创建为跨地域的数据源，此类数据源无法在DataWorks的数据开发（DataStudio）模块绑定，即无法用于数据开发或周期性调度任务，仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...

预览与调试小程序

本文的视频中介绍了在 IDE 中开发 mPaaS 小程序的基本操作，以及如何在 Android 和 iOS 开发中预览与调试小程序。IDE 基本操作在 Android 端预览和调试小程序在 iOS 端预览和调试小程序

对接使用CDH与CDP

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。创建业务流程，根据界面提示填写业务流程信息。单击创建好的业务流程，在 CDH 引擎文件夹上右键选择...

入门实践

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据建模>DATABLAU。导入数据标准。在数据建模页面的顶部菜单栏，单击数据标准。...

功能发布记录（2024年）

2024.2.20 所有地域所有DataWorks用户数据上传数据下载 数据开发新增CDH集群节点您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。2024.2.19 所有地域所有DataWorks用户创建CDH Hive节点 ...

透视分析：按研发链路

支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并...

数据保护伞概述

登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上方的图标，选择全部产品>数据治理>数据保护伞，单击立即体验，进入数据保护伞。说明若...

数据保护伞入门

进入数据保护伞登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。单击左上角的图标，选择全部产品>数据治理>数据保护伞。单击立即体验，即可进入数据保护伞首页。您...

场景：跨账号创建数据源

注意事项跨账号创建的数据源不能用于数据开发和调度。如您需进行相关数据开发操作，请使用当前账号创建数据源。详情请参见创建MaxCompute数据源、创建Hologres数据源。跨账号创建数据源时，仅支持通过RAM角色访问的方式访问对应的项目。...

快速体验

数据开发与调度：大数据开发治理平台 DataWorks数据开发（必选）、DataWorks运维中心（必选），基础版DataWorks已包含数据开发和运维中心功能。数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

开发数据服务API

单击新建SQL分析，在新建SQL分析对话框输入数据开发名称和描述信息并单击确认。在 SQL数据分析工作台，默认已选择数据表的设备数据源。编辑SQL语句，查询产品设备的数据，如图所示。说明查询表的名称可以在平台设备表设备数据表 ...

数据源开发和生产环境隔离

由于任务最终将发布生产环境执行，若数据源开发环境与生产环境配置不一致，请确保资源组可分别与开发数据源和生产数据源连通。新增数据源隔离模式后，对工作空间有以下影响：仅标准模式工作空间支持数据源开发生产隔离，即开发环境和生产...

数据源概述

详情请参见：数据源开发和生产环境隔离。说明目前只有标准模式的工作空间支持数据源隔离。使用域名配置数据源如果您的数据源IP地址经常变动，或者无法通过IP直接访问数据源，您可通过为独享数据集成资源组绑定Host方式解决此问题。独享...

数据服务概述

数据服务价值为了解决常见的数据应用问题，在数据服务体系下，开发人员开发数据服务时，提供简易向导和灵活脚本两种模式，从而降低开发门槛、提高开发效率、统一代码质量，方便管理变更；业务人员应用数据服务时，提供安全、稳定的数据...

风险识别规则响应案例

通常情况下，只有企业数据开发人员和分析人员可以在数据平台上浏览和使用数据，而不允许将详细数据下载到本地进行分析。一旦数据导出到本地，就无法对其使用行为进行审计。同时，如果数据被不当使用或者受到别有用心者的攻击，就可能导致...

数据开发与运维中心：数据加工

DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...

大数据安全治理的难点

流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...

创建ClickHouse数据源

后续操作数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供ClickHouse任务的开发与调度能力，若您需要基于该ClickHouse数据源进行ClickHouse任务开发，或周期性调度...

创建AnalyticDB for PostgreSQL数据源

使用限制仅当AnalyticDB for PostgreSQL实例和DataWorks工作空间属于同地域、同一阿里云账号时，基于该实例创建的数据源才可在DataWorks的数据开发（DataStudio）模块绑定，即此类数据源才可用于数据开发或周期性调度任务。支持跨账号创建...

统一存储简介

接入 iOS 客户端：减少 NSUserDefaults 的使用，不将较大数据和有隐私性数据存储在 NSUserDefaults 里，存取效率相对使用 NSUserDefaults 有大幅提升。减少业务自动维护文件的情况，减少 Documents、Library 目录下的杂乱文件。统一存储按...

小程序自定义开发

本文的视频中介绍了在 Android 和 iOS 小程序开发中的一些自定义的进阶操作，包括自定义双向通道、自定义启动加载页以及自定义导航栏。Android 小程序 Android 小程序自定义双向通道-tiny2native Android 小程序自定义双向通道-native2tiny...

滤镜SDK

应用场景短视频直播：可以塑造多种滤镜效果，并且能够极大的贴合人脸各个角度，达到立体逼真的视觉效果，实时的美拍和视频互动体验。前提条件使用SDK前需完成激活授权，具体请参见激活授权。计费说明关于滤镜SDK的报价，请参见计费...

创建MaxCompute数据源

使用限制仅当MaxCompute项目和DataWorks工作空间属于同地域、同一阿里云账号时，基于该项目创建的数据源才可在DataWorks的数据开发（DataStudio）模块绑定，即此类数据源才可用于数据开发或周期性调度任务。支持跨账号创建数据源，即支持...

简介

数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录时间特性类别描述产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...

创建EMR Hive节点

登录 DataWorks控制台，单击左侧导航栏的数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入数据开发。创建 EMR Hive 节点。鼠标悬停至图标，选择新建节点>EMR>EMR Hive。您也可以找到相应的业务流程，右键单击业务流程，...

互联网、电商行业离线大数据分析

概述电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景电商...

数据治理中心概述

数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...

数据标准

数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...

推送通知给iOS设备后如何区分开发环境和生产环境

概述本文主要介绍推送通知给iOS设备后如何区分开发环境和生产环境。详细信息 iOS设备通知推送，使用苹果APNs通道，本身区分开发环境和生产环境。由于iOS设备开发环境和生产环境安装App的方式不同，开发环境是通过Xcod安装App，生产环境是...

大数据开发和iOS开发

新品推荐