大模型时代,如何快速开发AI应用

AI,时代,快速,应用 · 浏览次数 : 6

小编点评

**华为云 AI 开发平台 ModelArts 快速开发 AI 应用指南** **Q1、AI开发的基本流程是什么?** 答案:AI开发包括数据处理、算法开发、模型训练、模型部署等所有步骤。 **Q2、零基础小白,也可以快速上手AI开发吗?** 答案:是的,可以使用 ModelArts 自动学习功能,不需要AI能力和编码能力,只需上传数据,通过图像化界面操作即可完成模型训练和部署。 **Q3、华为云ModelArts是如何简化AI开发过程的?** 答案:ModelArts 提供工作流能力,覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等AI开发的多个步骤,使用者可以通过可视化配置运行开发好的工作流。 **Q4、与本地开发相比, 在云上进行AI应用开发有什么优势?** 答案:在云上进行AI应用开发可以提高数据处理效率、团队标注效率、推理部署效率。 **Q5、如何从本地IDE连接ModelArts,进行AI应用开发?** 答案:可以通过本地IDE远程连接到云上的Notebook中,开发基于Pytorch、Tensorflow和MindSpore引擎的AI模型。 **Q6、海量数据处理很繁琐,ModelArts可以简化这个流程吗?** 答案:是,ModelArts提供数据标注功能,可以简化海量数据处理流程。 **Q7、当前在ModelArts上能获得哪些公开的数据集?** 答案:包括常见的公开数据集、华为云以往的AI比赛中使用的数据集、开发者自发上传的各式数据集。 **Q8、如何将本地训练的模型迁移上云?** 答案:可以将模型部署到云上作为Web服务或下发到端边侧。 **Q9、其他格式的AI模型支持导入到ModelArts继续训练吗?** 答案:可以按照两种方法导入模型:1. 在Notebook里调通;2. 创建正式作业。 **Q10、模型资产发布在AI Gallery中,哪些权重可用于部署?** 答案:大部分模型资产发布在AI Gallery中,大部分模型资产没有公开权重,但可以用于ModelArts部署。 **Q11、ModelArts中如何进行大规模分布式训练?** 答案:主要支持数据并行方式的分布式训练,包括单机多卡、多机多卡。 **Q12、目前ModelArts平台支持哪些AI框架?** 答案:PyTorch、TensorFlow/MindSpore。 **Q13、ModelArts是否有像GPT那样的通用生成能力呢?** 答案:是,ModelArts开放自己的大语言模型,AI Gallery中也有👉ChatGLM这样的案例。 **Q14、ModelArts会有一些支持开发者的活动吗?** 答案:近期上线了👉昇腾AI·玩转AIGC实战营活动,后续陆续有更多活动推出,敬请期待。

正文

本文分享自华为云社区 《【云享问答】第3期:大模型时代,如何快速开发AI应用》,作者:华为云社区精选。

大模型快速普及应用的当下,AI浪潮汹涌而至,对于开发者来说,开发一款属于自己的AI应用并不是遥不可及。华为云AI生态技术专家、中科院计算所博士坐阵,从数据处理、算法开发、模型训练到部署,全方位拆解AI开发全流程,本期 【云享问答】 通过这14个问题,带你上手华为云一站式AI开发平台ModelArts,实现AI应用的快速开发。

%E5%B8%96%E5%AD%90%E5%A4%B4%E5%9B%BE.png

Q1、AI开发的基本流程是怎样的?

一个典型的AI应用开发包括数据处理、算法开发、模型训练、模型部署等,在ModelArts上可以完成以上所有流程。数据处理主要是对上传到云端的数据进行标注和特征分析,算法开发可以使用ModelArts官方发布或自己开发的算法,模型训练即使用云上的CPU/GPU/NPU等资源创建训练作业,最终的模型部署可部署为在线服务或者边缘服务,可以参考这个👉免费案例 实操一下。

1694591166746335152.png

Q2、零基础小白,也可以快速上手AI开发吗?

零基础小白,可以使用ModelArts进行AI开发体验,推荐尝试ModelArts自动学习功能, 自动学习不需要AI能力和编码能力,只需上传数据,通过图像化界面操作即可完成模型训练和部署,当前支持图像分类、物体检测、预测分析、声音分类和文本分类等任务。 👉指导手册

也可以前往华为云AI开发交流社区——👉AI Gallery,里面有很多算法、模型、notebook等资产(这些资产的运行依赖的就是ModelArts),也有课程和讨论区。

 

Q3、华为云ModelArts是如何简化AI开发过程的?

简单的说,ModelArts解决了AI开发最关键的算力和算法获取问题:1、作为云平台,它提供非常方便的算力资源;2. AI Gallery作为社区,提供非常多开箱即用的模型。

AI开发包括多个步骤,每个步骤也有很多细节,ModelArts提供足够丰富的功能满足不同的需求。另一方面,ModelArts也提供了工作流能力(Workflow),覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等AI开发的多个步骤,使用者可以通过可视化配置运行开发好的工作流。

workflow.png

Q4、与本地开发相比, 在云上进行AI应用开发有什么优势?

以华为云一站式AI开发平台ModelArts为例,它的优势体现在:

  1. 数据智能标注、团队标注、特征分析,可以提高数据处理的效率;

  2. 自动学习、AI Gallery的预置算法,无需编写代码开发算法,可以快速进行实验;

  3. 推理部署,不用自己去开发Web服务、用户鉴权等模块,可以快速将模型部署成在线服务;

  4. 丰富的案例资料,在AI Gallery上可以学习了解当前热门的AI模型、算法等案例。

Q5、如何从本地IDE连接ModelArts,进行AI应用开发?

ModelArts支持通过本地IDE远程连接到云上的Notebook中,开发基于Pytorch、Tensorflow和MindSpore引擎的AI模型:👉具体操作指导参考

IDE%E9%93%BE%E6%8E%A5modelarts.png

Q6、海量数据处理很繁琐,ModelArts可以简化这个流程吗?

可以的,ModelArts提供数据标注功能,即在云上提供图像、文本、音频、视频等数据的标注作业,除了人工标注外,ModelArts还提供自动标注、团队标注等;另外也提供数据特征分析功能,可以根据数据集中图片特征绘制曲线。

Q7、当前在ModelArts上能获得哪些公开的数据集?

数据集公开在AI Gallery上,一部分是常见的公开数据集,如ImageNet、COCO、CitySpaces、Imdb情感分析等;一部分是华为云以往的AI比赛中使用的数据集,如无人车比赛的交通标志识别、疲劳驾驶检测比赛的视频、OCR比赛的中英文购物小票等;最后就是开发者自发上传的各式数据集。可以去👉AI Gallery逛逛。

%E6%95%B0%E6%8D%AE%E9%9B%86.png

Q8、如何将本地训练的模型迁移上云?

我们既可以将模型部署到云上作为Web服务👉参考文档,也支持下发到端边侧
👉参考文档

如果自己线下训练的模型,部署到ModelArts平台成为一个API服务,不需要做模型转换,可以参考如下👉指导手册

Q9、其他格式的AI模型支持导入到ModelArts继续训练吗?

1、如果是简单的实验,可以用ModelArts的Notebook,这个环境比较自由,跟你在本地做AI开发差不多,比如Keras模型导入后用Keras API操作就行👉指导手册

2、如果是正式的训练/推理作业,需要适配ModelArts的规范,建议也是先参考1在Notebook里调通,再创建正式作业,需要注意的点是云上作业存储用的是华为云OBS(代码/数据需要先传到OBS),相关的规范可参考👉参考1👉参考2

zh-cn_image_0000001401997604.png

Q10、ModelArts上会有训练好的开放模型吗?提供模型市场或线上调优服务吗?

模型资产发布在AI Gallery中,大部分没有公开权重,但是可以在ModelArts上部署使用,如往届华为云AI大赛的优秀作品;另外值得一提的是,最近火爆的开源大模型也陆续上架到AI Gallery中,如Stable Diffusion、MPT、Falcon等。

%E6%A8%A1%E5%9E%8B%E5%B8%82%E5%9C%BA.png

Q11、ModelArts中如何进行大规模分布式训练?

ModelArts主要支持数据并行方式的分布式训练,包括单机多卡、多机多卡,与单机单卡相比,借助PyTorch、MindSpore等框架能力,仅需修改几行代码即可。可参考以下链接👉了解详情和查看代码示例

Q12、目前ModelArts平台支持哪些AI框架?

PyTorch/TensorFlow/MindSpore都支持,CPU/GPU/Ascend版本都有。

Q13、ModelArts是否有像GPT那样的通用生成能力呢?

ModelArts是开发平台,你可以使用ModelArts开放自己的大语言模型,AI Gallery中也有👉ChatGLM这样的案例。

 

Q14、ModelArts会有一些支持开发者的活动吗?

近期上线了👉昇腾AI·玩转AIGC实战营活动,后续陆续有更多活动推出,敬请期待。

如果你有更多关于AI应用开发的问题,可以前往华为云开发者社区论坛提问,参与每个月的提问活动,有机会赢取精美礼品。

%E5%B8%96%E5%AD%90%E5%B0%BE%E5%9B%BE.png

点击关注,第一时间了解华为云新鲜技术~

 

与大模型时代,如何快速开发AI应用相似的内容:

大模型时代,如何快速开发AI应用

本文分享自华为云社区 《【云享问答】第3期:大模型时代,如何快速开发AI应用》,作者:华为云社区精选。 大模型快速普及应用的当下,AI浪潮汹涌而至,对于开发者来说,开发一款属于自己的AI应用并不是遥不可及。华为云AI生态技术专家、中科院计算所博士坐阵,从数据处理、算法开发、模型训练到部署,全方位拆解

MapReduce和Spark读取HBase快照表

1.概述 随着大数据技术的不断发展,处理海量数据的需求变得愈发迫切。MapReduce作为一种分布式计算模型,为处理大规模数据提供了有效的解决方案。在这篇博客中,我们将探讨如何使用MapReduce框架读取快照表(Snapshot Table)的数据。快照表是一种记录某一时刻系统状态的表格,通过Ma

大咖论道,大模型时代软件研发效率革命

摘要:开发者如何拥抱这波AIGC浪潮? 本文分享自华为云社区《大咖论道,大模型时代软件研发效率革命》,作者:华为云社区精选。 根据GitHub的一项调查,92%的受访开发者正在借助AI编码工具来完成工作和其他项目。另一方面,AI已经通过了大厂L3工程师入职测试,可自如应对数组/字符串、动态规划等技术

在langchain中使用自定义example selector

# 简介 在之前的文章中,我们提到了可以在跟大模型交互的时候,给大模型提供一些具体的例子内容,方便大模型从这些内容中获取想要的答案。这种方便的机制在langchain中叫做FewShotPromptTemplate。 如果例子内容少的话,其实无所谓,我们可以把所有的例子都发送给大语言模型进行处理。

python入门基础(15)--模块和python中数学、日期、时间类模块。

接上篇,当我们创建了很多类,比如 图书馆里的藏书,分社会科学类,艺术类、生活类、农业类、工业类等,而工业类又分为轻工业、重工业、信息工业,然后再细分。当分的越来越细时,程序就会越来越大。如何管理,便成了程序开发过程中一个重要的环节。于是可以按照图书馆分类管理的思想,对程序代码进行管理。 将一个应用程

设计模式-C#实现简单工厂模式

前言 上一篇文章写了如何使用RabbitMQ做个简单的发送邮件项目,然后评论也是比较多,也是准备去学习一下如何确保RabbitMQ的消息可靠性,但是由于时间原因,先来说说设计模式中的简单工厂模式吧! 在了解简单工厂模式之前,我们要知道C#是一款面向对象的高级程序语言。它有3大特性,封装、继承、多态。

分库表数据倾斜的处理让我联想到了AKF模型

1 背景 最近在做需求的时候需要在一张表中增加一个字段。 这张表情况如下: 1、拆分了多个库多张表 2、库表拆分按表中商户编码字段hash之后取模进行拆分 由于库表拆分按照商户编码,有些大商家的单子数量远远要高于其他普通商家,这样就造成了严重的数据倾斜。 在增加字段的时候尝试多种办法,执行多次都添加

第124篇: 期约Promise基本方法

好家伙,本篇为《JS高级程序设计》第十章“期约与异步函数”学习笔记 1.异步编程 同步行为和异步行为的对立统一是计算机科学的一个基本概念。 特别是在 JavaScript 这种单线程事 件循环模型中,同步操作与异步操作更是代码所要依赖的核心机制。 异步行为是为了优化因计算量大而 时间长的操作。如果在

全面数字化时代,国有大型银行如何走好金融创新之路?

摘要:在金融创新压力下,传统集中式数据库的短板逐渐凸显出来,唯有加速核心系统的升级和转型,将应用迁移到更具有可持续演进支撑能力的数据库上,才能解决根本问题。 本文分享自华为云社区《全面数字化时代,国有大型银行如何走好金融创新之路?》,作者:GaussDB 数据库。 近些年来,金融行业数字化转型不断推

[转帖]阿里规范 - 五、MySQL 数据库 - (一)建表规约 - 8 - 【强制】varchar 是可变长字符串,不预先分配存储空间,长度不要超过 5000,如果存储长 度大于此值,定义字段类型为 text,独立出来一张表,用主键来对应,避免影响其它字段索 引效率。

字段类型为 text,独立出来一张表,用主键来对应,避免影响其它字段索 引效率。 1、因为mysql 是行存储模式,所以会把整行读取出来。text 储存了大量的数据。读取时,占了大量的io。所以会十分的慢。 2、每行的数据过大 行溢出 InnoDB 会将一些大对象数据存放在数据页之外的 BLOB 页