LLMs之Code：大语言模型纵向赋能场景—垂直行业场景应用之大模型代码场景的简介、主流LLMs(SQLCoder/CodeLlama/Ziya-Coding/CodeShell等)及其评估基准(包括数据集)、案例应用之详细攻略目录大模型代码场景的简介大模型代码场景的主流LLMs及其评估基准(包括数据集)
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部署且实现模型推理全流程步骤的图文教程(非常详细)导读：因为Vicuna的训练成本很低，据说只需要$300左右，所以，还是有必要尝试本地化部署一下Vicuna-7B。根据论文描述，>>关于Vicuna-13B的推理效果，优于LLaMA-13B和Alpaca-13B，据说达到了ChatGPT的90%以上的能力。>>关于Vicuna-13B的评估，该方法是对各个模型Alpaca、LLaMA、ChatGP
假设你想参加流行的游戏节目Jeopardy（这是一个美国电视游戏节目，参赛者将获得答案并必须猜测问题）。要参加演出，你需要了解任何事情的一切。所以你决定在接下来的三年里每天都花时间阅读互联网上的所有内容。你很快就会意识到这比最初看起来更难，并且需要投入巨大的时间。你还意识到互联网上有大量的信息。其中一些是事实，一些是观点，而大多数则介于两者之间。Jeopardy是基于事实的，因此将大部分时间花在两者之间并不明智。你决定采用不同的方法来进行Jeopardy训练。你不必尝试了解任何事物的一切，而是专注于如何预测句子中的下一个单词。如果有人说“Haveanice…”，你的训练就会告诉你下一个词可能是
在本博客中，你将学习创建一个LangChain应用程序，以使用ChatGPTAPI和Huggingface语言模型与多个PDF文件聊天。如上所示，我们在最最左边摄入PDF文件，并它们连成一起，并分为不同的chunks。我们可以通过使用huggingface来对chunks进行处理并形成embeddings。我们把embeddings写入到Elasticsearch向量数据库中，并保存。在搜索的时候，我们通过LangChain来进行向量化，并使用Elasticsearch进行向量搜索。在最后，我们通过大模型的使用，针对提出的问题来进行提问。我们最终的界面如下：如上所示，它可以针对我们的问题进行回
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(监督式任务的数据收集器+指令数据集【json格式】)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评估(+PPL指标)目录源码解读(run_clm_sft_with_pe
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略导读：2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base=8.5B的token数据+6.9万词汇+15小时+不到1000美元的训练成本。Colossal-LLaMA-2项目的技术细节，主要核心要点总结如下:>>数据处理阶段。文章提到利用多种中文和英文数据集构建语料库，然后对语料进行预处理，将其转化为jsonl格式进行数据增强。>>词汇表扩充。文章提到将LLaMA-2原有3.2万词汇扩充至6.9万词汇，增加中文词汇覆盖率。同时初始
LLMs之LLaMA-2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载数据集【datasets】→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略目录
LLMs之Code：SQLCoder的简介、安装、使用方法之详细攻略目录SQLCoder的简介1、结果2、按问题类别的结果SQLCoder的安装1、硬件要求2、下载模型权重3、使用SQLCoder4、Colab中运行SQLCoder第一步，配置环境第二步，测试第三步，下载模型第四步，设置问题和提示并进行标记化第五步，生成SQLSQLCoder的使用方法SQLCoder的简介2023年8月，发布了SQLCoder，这是一个先进的LLM，用于将自然语言问题转换为SQL查询。SQLCoder在基础的StarCoder模型上进行了微调。SQLCoder是一个拥有150亿参数的模型，在我们的sql-ev
LLMs之LLaMA-2：源码解读(tokenizer.py文件)基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与tokenID列表之间进行相互转换，以便与深度学习模型进行交互目录
LLMs：《ASurveyonEvaluationofLargeLanguageModels大型语言模型评估综述》翻译与解读导读：该文章首先介绍了人工智能（AI）对机器智能的专注，并探讨了评估AI模型的方法。随后，重点介绍了大语言模型（LLMs）的背景和特点，以及它们在自然语言处理、推理、生成等各类任务中的表现。文章还详细探讨了现有的评估基准和评估方式，包括自动评估和人工评估。在总结部分，突出了LLMs在不同任务中的成功与失败案例，并提出了未来评估LLMs的挑战与机遇，包括设计AGI基准、完整行为评估、鲁棒性评估、动态演进评估、可信度评估等。该文章为评估和提升AI模型提供了全面概述和指导。LL
