基于Llama2模型的开源模型

基于,llama2,模型,开源 · 浏览次数 : 108

小编点评

**Meta开源 Llama2 模型** **简介:** Llama2 是 Meta 在 2023 年 7 月 18 日开源的自然语言处理模型,可在 1 万亿个 Token 上训练。它可以用于各种任务,包括从 7B 到 70B 模型权重、预训练和微调。 **评估结果:** - 基于 Llama2 模型的开源模型如下: - WizardCoder Python V1.0 - Airoboros L2 GPT4 1.4.1 - Nous Hermes Llama 2 7B - Redmond Puffin 13B - 最佳模型:Nous Hermes Llama 2 7B **主要特征:** - 改进的训练方法,如多任务训练和自监督学习。 - 提升的性能,如 13B V1.0 模型的 70B 版本。 - 可用于商业和研究的代码。 **下载链接:** - WizardCoder:[github.com/facebookresearch/llama] - Airoboros:[github.com/ai-roboros/llama-recipes] - Nous Hermes:[github.com/NousResearch/Nous-Hermes-llama-2-7b] - Redmond Puffin:[github.com/redmond-puffin/llama2-fine-tuning]

正文

  2023年7月18日Meta开源了Llama2,在2万亿个Token上训练,可用于商业和研究,包括从7B到70B模型权重、预训练和微调的代码。相比Llama1,Llama2有较多提升,评估结果如下所示:

基于Llama2模型的开源模型如下所示:
1.WizardCoder Python V1.0

https://huggingface.co/WizardLM/WizardCoder-Python-13B-V1.0
https://huggingface.co/WizardLM/WizardCoder-Python-34B-V1.0

2.Phind Code Llama v1

https://huggingface.co/Phind/Phind-CodeLlama-34B-v1
https://huggingface.co/Phind/Phind-CodeLlama-34B-Python-v1

3.WizardLM 70B V1.0

https://huggingface.co/WizardLM/WizardLM-70B-V1.0

4.Dophin Llama 2 7B

https://huggingface.co/ehartford/dolphin-llama2-7b

5.Airoboros L2 2.0

https://huggingface.co/jondurbin/airoboros-l2-7b-gpt4-2.0
https://huggingface.co/jondurbin/airoboros-l2-13b-gpt4-2.0
https://huggingface.co/jondurbin/airoboros-33b-gpt4-2.0
https://huggingface.co/jondurbin/airoboros-l2-70b-gpt4-2.0

6.OpenOrca Preview2 13B

https://huggingface.co/Open-Orca/OpenOrcaxOpenChat-Preview2-13B

7.Vicuna v1.5 16k

https://huggingface.co/lmsys/vicuna-7b-v1.5-16k
https://huggingface.co/lmsys/vicuna-13b-v1.5-16k

8.Vicuna v1.5

https://huggingface.co/lmsys/vicuna-7b-v1.5
https://huggingface.co/lmsys/vicuna-13b-v1.5

9.Hermes LLongMA-2 8k

https://huggingface.co/conceptofmind/Hermes-LLongMA-2-7b-8k
https://huggingface.co/conceptofmind/Hermes-LLongMA-2-13b-8k

10.OpenChat V3.2

https://huggingface.co/openchat/openchat_v3.2

11.Llama 2 70B Instruct v2

https://huggingface.co/upstage/Llama-2-70b-instruct-v2

12.StableBeluga

https://huggingface.co/stabilityai/StableBeluga-7B
https://huggingface.co/stabilityai/StableBeluga-13B
https://huggingface.co/stabilityai/StableBeluga2

13.Holodeck

https://huggingface.co/KoboldAI/LLAMA2-13B-Holodeck-1
https://huggingface.co/KoboldAI/LLAMA2-13B-Holodeck-1-GGML

14.Llama 2 7B 32K

https://huggingface.co/togethercomputer/LLaMA-2-7B-32K

15.Kimiko

https://huggingface.co/nRuaif/Kimiko_7B
https://huggingface.co/nRuaif/Kimiko_13B

v16.LLongMA 2 16k**

https://huggingface.co/conceptofmind/LLongMA-2-7b-16k
https://huggingface.co/conceptofmind/LLongMA-2-13b-16k

17.Airoboros L2 GPT4 1.4.1

https://huggingface.co/jondurbin/airoboros-l2-7b-gpt4-1.4.1
https://huggingface.co/jondurbin/airoboros-l2-13b-gpt4-1.4.1
https://huggingface.co/jondurbin/airoboros-l2-70b-gpt4-1.4.1

**18.Llama 2 13B Orca 8kv

https://huggingface.co/OpenAssistant/llama2-13b-orca-8k-3319

19.WizardLM 13B V1.2

https://huggingface.co/WizardLM/WizardLM-13B-V1.2

20.LLongMA 2 8k

https://huggingface.co/conceptofmind/LLongMA-2-7b
https://huggingface.co/conceptofmind/LLongMA-2-13b

21.Nous Hermes Llama 2

https://huggingface.co/NousResearch/Nous-Hermes-llama-2-7b
https://huggingface.co/NousResearch/Nous-Hermes-llama-2-7b-GGML
https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b
https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b-GGML
https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b-GPTQ

22.Redmond Puffin 13B

https://huggingface.co/NousResearch/Redmond-Puffin-13B
https://huggingface.co/NousResearch/Redmond-Puffin-13B-GGML

23.Llama 2 7B Uncensored

https://huggingface.co/georgesung/llama2_7b_chat_uncensored

24.Luna AI 7B Chat Uncensored

https://huggingface.co/Tap-M/Luna-AI-Llama2-Uncensored

25.Guanaco Llama 2

https://huggingface.co/Mikael110/llama-2-7b-guanaco-fp16
https://huggingface.co/Mikael110/llama-2-13b-guanaco-fp16
https://huggingface.co/Mikael110/llama-2-70b-guanaco-qlora

26.Chinese Llama 2 7B

https://github.com/LinkSoul-AI/Chinese-Llama-2-7b

27.llama2-Chinese-chat

https://github.com/CrazyBoyM/llama2-Chinese-chat

参考文献:
[1]https://github.com/facebookresearch/llama
[2]https://github.com/facebookresearch/llama-recipes/
[3]https://ai.meta.com/resources/models-and-libraries/llama-downloads/
[4]https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md
[5]https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
[6]https://ai.meta.com/resources/models-and-libraries/llama/
[7]https://github.com/ovh/ai-training-examples/blob/main/notebooks/natural-language-processing/llm/miniconda/llama2-fine-tuning/llama_2_finetuning.ipynb
[8]https://blog.ovhcloud.com/fine-tuning-llama-2-models-using-a-single-gpu-qlora-and-ai-notebooks/
[9]https://www.reddit.com/r/LocalLLaMA/wiki/models/
[10]大模型评测:https://opencompass.org.cn/

与基于Llama2模型的开源模型相似的内容:

基于Llama2模型的开源模型

2023年7月18日Meta开源了Llama2,在2万亿个Token上训练,可用于商业和研究,包括从7B到70B模型权重、预训练和微调的代码。相比Llama1,Llama2有较多提升,评估结果如下所示: 基于Llama2模型的开源模型如下所示: 1.WizardCoder Python V1.0 h

Llama2-Chinese项目:1-项目介绍和模型推理

Atom-7B与Llama2间的关系:Atom-7B是基于Llama2进行中文预训练的开源大模型。为什么叫原子呢?因为原子生万物,Llama中文社区希望原子大模型未来可以成为构建AI世界的基础单位。目前社区发布了6个模型,如下所示: FlagAlpha/Atom-7BFlagAlpha/Llama2

【转帖】GPT4All开源的聊天机器人

GPT4All是一个开源的聊天机器人,它基于LLaMA的大型语言模型训练而成,使用了大量的干净的助手数据,包括代码、故事和对话。它可以在本地运行,不需要云服务或登录,也可以通过Python或Typescript的绑定来使用。它的目标是提供一个类似于GPT-3或GPT-4的语言模型,但是更轻量化和易于

Llama2-Chinese项目:7-外延能力LangChain集成

本文介绍了Llama2模型集成LangChain框架的具体实现,这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。 1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py,调用代码如下

一分钟部署 Llama3 中文大模型,没别的,就是快

前段时间百度创始人李彦宏信誓旦旦地说开源大模型会越来越落后,闭源模型会持续领先。随后小扎同学就给了他当头一棒,向他展示了什么叫做顶级开源大模型。 美国当地时间4月18日,Meta 在官网上发布了两款开源大模型,参数分别达到 80 亿 (8B) 和 700 亿 (70B),是目前同体量下性能最好的开源

本地推理,单机运行,MacM1芯片系统基于大语言模型C++版本LLaMA部署“本地版”的ChatGPT

OpenAI公司基于GPT模型的ChatGPT风光无两,眼看它起朱楼,眼看它宴宾客,FaceBook终于坐不住了,发布了同样基于LLM的人工智能大语言模型LLaMA,号称包含70亿、130亿、330亿和650亿这4种参数规模的模型,参数是指神经网络中的权重和偏置等可调整的变量,用于训练和优化神经网络

基于 Three.js 的 3D 模型加载优化

作为一个3D的项目,从用户打开页面到最终模型的渲染加载的时间也会比普通的H5项目要更长一些,从而造成大量的用户流失。为了提升首屏加载的转化率,需要尽可能的降低loading的时间。这里就分享一些我们在模型加载优化方面的心得。

基于MindSpore实现BERT对话情绪识别

本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十四天】基于 MindSpore 实现 BERT 对话情绪识别》,作者:JeffDing。 模型简介 BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Trans

基于 Vagrant 手动部署多个 Redis Server

环境准备 宿主机环境:Windows 10 虚拟机环境:Vagrant + VirtualBox Vagrantfile 配置 首先,我们需要编写一个 Vagrantfile 来定义我们的虚拟机配置。假设已经在 D:\Vagrant\redis 目录下创建了一个 Vagrantfile,其内容如下:

基于EF Core存储的Serilog持久化服务

前言 Serilog是 .NET 上的一个原生结构化高性能日志库,这个库能实现一些比内置库更高度的定制。日志持久化是其中一个非常重要的功能,生产环境通常很难挂接调试器或者某些bug的触发条件很奇怪。为了在脱离调试环境的情况下尽可能保留更多线索来辅助解决生产问题,持久化的日志就显得很重要了。目前Ser