人工智能开源大模型和Llama 3和Llama 2许可证合规探析
作者：丁华 黄威 陈岱源 2024-04-19一、人工智能开源大模型和Llama 3和Llama2简介
Llama的英文全称是Large Language Model Meta AI，是Meta AI公司在2023年2月发布的大语言模型，其基于transformer架构，具有7B、13B、33B 和65B四种不同的版本[1]。
Llama 2则是Meta与微软合作在2023年7月18日发布的新一代开放大语言模型，其具有三种参数规模，分别是70 亿、130 亿和 700 亿。Llama 2的基础模型发布时，还附带发布了一个针对对话进行微调的模型，称为Llama 2 Chat[2]。
Llama 2相较于Llama1体现出明显的优势。Llama 2在预训练数据的体量上比Llama 1增加了40%，达到了2万亿个token，其文本长度从第一代的2048扩展到4096。Llama Chat 模型也在 100 多万个新的人类注释上进行了训练[3]。这一巨大的提升意味着模型拥有更加丰富的语言学习资源，为其在各种任务中的表现提供了坚实的基础。此外，Llama2的训练数据中的文本来源也更为多样化，进一步增强了模型的泛化能力。Llama-2的技术报告显示，其基础模型的性能比GPT-3更强，其微调对话模型的性能已经接近ChatGPT。
2023年8月，专门用于编程的代码大语言模型Code Llama也相应发布，并且采用同Llama 2相同的社区许可证，允许商业使用[4]。其包含 4 个不同参数量的版本，分别为7B、13B、34B 和 70B。在训练基础模型时，先用同等参数量的 Llama 2 模型初始化权重，然后在 5000 亿词元的代码数据集上训练[5]。Meta 还对训得的基础模型进行了两种不同风格的微调，分别为: Python 专家版 (再加 1000 亿个额外词元) ; 以及指令微调版，其可以理解自然语言指令[6]。
最为重要是，Llama 1在发布时仅许可了研究用途[7]，但是Llama 2是一个真正开源的大模型，并且支持产品活跃用户小于7亿的商业使用。围绕Llama 2的开源大模型生态开始逐步产生。
由于Llama 2本身的预训练数据中，中文数据的比例非常非常少，因此Llama 2本身的中文能力较弱，但是贵在其具有开源特性，很多中国开发者在Llama的中文社区中贡献数据对其进行“中文特训”。目前，国内已经建立了非常成熟的Llama中文社区[8]，Github达到 4.7k star，汇聚了国内如清华、交大以及浙大等高校团队的顶级人才。
目前基于Llama的中文开源大模型已经有“原子回声”联合Llama中文社区开发的“原子大模型”[9]、哈工大-科大讯飞联合实验室开源的Chinese-LLaMA-Alpaca、深圳大学-大数据系统计算技术国家工程实验室发布的Linly-OpenLLaMA、IDEA研究院发布的姜子牙通用大模型（Ziya-LLaMA-13B-v1）等。
美国时间2024年的4月18日，Meta发布了Llama的第三代开源模型Llama 3，该模型现在已经可以通过Meta AI官网、Hugging Face社区、GitHub社区下载。Llama 3 共有四个版本，8B 适用于消费级 GPU 的高效部署和开发，70B 适用于大规模人工智能原生应用，这两种型号都有基本版本（Meta-Llama-3-8b、Meta-Llama-3-70b）和指令调整版本（Meta-Llama-3-8b-instruct、Meta-Llama-3-70b-instruct）。除了这 4 种型号外，Meta还发布了新版的Llama Guard 第二代，其在 Llama 3 8B 上进行了微调，其作用是对大模型的输入（提示）和响应进行分类，以检测在风险分类法中被视为不安全的内容[10]，该组件也是对以负责任的方式开发人工智能的要求的回应。
在模型的架构方面，根据Meta的官网介绍，Llama 3 使用具有 128K token 词汇表的 tokenizer，在 8B 和 70B 大小的模型上采用了分组查询注意力 (GQA)，在 8192 个 token 的序列上训练模型[11]。
在预训练数据方面，Llama 3 在超过 15T 的公开来源词库上进行了预训练，数据数量是Llama 2的7倍，包含的代码数量是 Llama 2 的4倍。并且有趣的是，Meta使用了Llama 2为Llama 3的文本质量分类器的预训练提供数据[12]，换言之，AI已经可以用于训练下一代AI。
Meta还在扩大与训练规模以及指令微调方面对Llama 3进行了优化，使得Llama 3 的训练效率相比Llama 2提高了约三倍[13]。
二、人工智能开源大模型Llama 2和Llama3许可证简介
（一）Llama 2许可证内容简介
人工智能开源大模型Llama 2许可证是一个定制的商业许可证，人工智能开源大模型Llama 2的发布者Meta希望可以在模型的开放访问与责任和保护之间取得平衡，以帮助解决潜在的误用问题。人工智能开源大模型Llama 2许可证包括两项内容，第一项是Llama 2 社区许可证（LLAMA 2 Community License Agreement）；第二项是Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy）。
1、Llama 2 社区许可证（LLAMA 2 Community License Agreement）内容简介
Llama 2 社区许可证（LLAMA 2 Community License Agreement）发布于2023 年 7 月 18 日，许可证内容包括定义部分和7个条款。
定义部分对Llama2和Llama2材料进行了界定，“Llama 2”是指基础大语言模型及软件和算法，包括机器学习模型代码、训练过的模型权重、可推理代码、可训练代码、可微调代码以及Meta在llama.meta.com/llama-downloads/分发上述材料的其他部分。“Llama 材料”统指Meta 拥有的 Llama 2 和其文档（及其任何部分）。“文档”是指由 Meta 在 llama.meta.com/llama-downloads/上分发的 Llama 2 随附的规格、手册和文档。LLAMA 2 Community License规定了对Llama 材料的使用、复制、分发和修改的条款和条件。
LLAMA 2 Community License Agreement的许可人根据被许可人所在地域也有区别，如果被许可人位于欧洲经济区或瑞士，则许可人Meta指Meta Platforms Ireland Limited；如果被许可人位于欧洲经济区或瑞士以外则，许可人Meta指Meta Platforms, Inc.
第1条许可权利和再分发部分，根据 Meta 的知识产权或 Meta 所拥有的 Llama 材料中体现的其他权利，授予被许可方非独占、全球性、不可转让且免版税的有限许可，可以使用、复制、分发、拷贝、创作派生作品以及制作对 Llama 材料的修改。
第1条在规定授予许可同时，也规定了再分发和使用的条件：（i）如果您向第三方分发或制作 Llama 材料或其任何派生作品，应向该第三方提供许可协议的副本；（ii） 如果您从被许可人处收到作为集成最终用户产品一部分的 Llama 材料或其任何派生作品，则协议第 2 条规定的附加商业条款将不适用；（iii）您必须在您分发的 Llama 材料的所有副本的 “Notice”文本文件(该文件为该副本的一部分) 中保留一份下面的归属声明：“Llama 2 根据 LLAMA 2 社区许可证被许可，版权所有 © Meta Platforms, Inc 。所有权利保留。”（iv）您对 Llama 材料的使用必须遵守适用的法律和法规（包括贸易合规法律和法规），并遵守 Llama 材料的可接受使用政策，并将该政策作为许可协议的一部分；（v） 您不得使用 Llama 材料或 任何输出或Llama 材料的结果来改进任何其他大型语言模型（不包括 Llama 2 或其派生作品）。
第2条附加商业条款规定，如果在 Llama 2 版本发布之日，被许可方或被许可方的关联公司提供的产品或服务的每月活跃用户数在上一个日历月中超过 7 亿，则必须向Meta申请许可证，Meta 可以自行决定是否授予该权利，并且您无权行使许可协议项下的任何权利，除非或直到 Meta 明确授予您此类权利。
第3条无担保声明规定，除非适用法律要求，否则 LLAMA 材料及其任何输出和结果均按“原样”提供，不提供任何类型的明示或默示担保，包括但不限于所有权、不侵权、适销性或特定用途的适用性的任何担保。您单独负责决定使用或再分发 LLAMA 材料的适当性，并承担与您使用 LLAMA 材料以及任何输出和结果相关的任何风险。
第4条责任限制规定，在任何情况下，META 或其关联公司基于任何责任理论，无论是合同、侵权、疏忽、产品责任或因许可协议引起，均不对任何利润损失或任何间接、特殊、后果性、伴随性、惩戒性或惩罚性损害承担责任，即使 Meta 或其关联公司已被告知发生上述任何情况的可能性。
第5条知识产权规定：（a）许可协议未授予任何商标许可，并且因 Llama 材料关联，无论Meta还是被许可方均不得使用对方或其任何关联公司拥有或与之相关的任何名称或标记，除非为了描述和再分发Llama 材料而合理和惯常使用。（b）根据 Meta 对其制作的 Llama 材料及其衍生品的所有权，对于您做出的对 Llama 材料的任何修改和派生作品，在您和 Meta 之间，您现在和将来都是此类派生作品和修改的拥有者。（c）如果您针对 Meta 或任何实体提起诉讼或其他程序（包括诉讼中的交叉请求或反请求），声称 Llama 材料或 Llama 2 输出或结果，或任何前述内容的任何部分构成对您拥有或可许可的知识产权或其他权利的侵权，则根据许可协议授予您的任何许可应自提出或启动此类诉讼或请求之日起终止。对于因您使用或分发 Llama 材料而引起或与之相关的任何第三方提出的针对Meta的任何请求，您应对 Meta 进行赔偿并使其免受损害。
第6条期限和终止规定，许可协议的期限自您接受许可协议或访问 Llama 材料时开始，并将持续完全有效，直至根据许可协议的条款和条件而终止。如果您违反许可协议的任何条款或条件，Meta 可以终止许可协议。许可协议终止后，您应删除并停止使用 Llama 材料。第 3、4 和 7 条在许可协议终止后仍然有效。
第7条适用法律和管辖权规定，许可协议将受加利福尼亚州法律管辖和解释，但不包括选择法律的规则，并且《联合国国际货物销售合同公约》不适用于许可协议。加利福尼亚法院对因许可协议引起的任何争议拥有独占的管辖权。
2、Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy）内容简介
Meta 为了促进安全、公平地使用其工具和功能（包括 Llama 2），制定了Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy）。Llama 2 可接受使用政策规定了4类禁止用途。
第1类是违反法律或侵犯他人权利的方式利用Llama 2，具体包括：（a） 参与、促进、产生、促成、鼓励、计划、煽动或进一步非法或不合法的活动或内容，例如：暴力或恐怖主义、剥削或伤害儿童，包括诱惑、创建、获取或传播儿童剥削内容或未能报告儿童性虐待材料。（b）人口贩买、剥削和性暴力；向未成年人非法分发信息或材料，包括淫秽材料，或未对此类信息或材料采用法律要求的年龄限制；性诱惑；任何其他犯罪活动。（c） 参与、促进、煽动或协助对个人或个人群体进行骚扰、虐待、威胁或欺凌。（d） 在提供就业、就业福利、信贷、住房、其他经济福利或其他基本商品和服务时参与、促进、煽动或协助歧视或其他非法或有害行为。（e）从事任何未经授权或未经许可的专业实践，包括但不限于金融、法律、医疗/健康或相关专业实践。（f）未经适用法律要求的权利和同意，收集、处理、披露、生成或推断有关个人的健康、人口统计或其他敏感个人或个人信息。（g）参与或协助任何侵犯、盗用或以其他方式侵犯任何第三方权利的行动或生成任何内容，包括使用 Llama 2 材料的任何产品或服务的输出或结果。（h）创建、生成或协助创建恶意代码、恶意软件、计算机病毒或执行任何其他可能禁用、超载、干扰或损害网站或计算机系统的正常工作、完整性、操作或外观的行为。
第2类是参与、促进、煽动、便利或协助计划或开展对个人造成死亡或身体伤害风险的活动，具体包括：（a）军事、战争、核工业或应用、间谍活动、用于受美国国务院维持的《国际运输武器条例》(ITAR) 约束的材料或活动。（b）枪支和非法武器（包括武器开发）。（c）非法药物和管制/管制物质。（d）关键基础设施的运营、运输技术或重型机械。（e）自伤或伤害他人，包括自杀、割伤和进食障碍。（f）任何旨在煽动或宣扬暴力、虐待或对个人造成身体伤害的内容。
第3类故意欺骗或误导他人，包括使用 Llama 2 进行以下相关活动：（a）生成、宣扬，或增进欺诈或创造或宣扬虚假信息。（b）生成、宣传或增进传播诽谤性内容，包括创建诽谤性言论、图像或其他内容。（c）生成、宣传或增进分发垃圾邮件。（d）未经同意、授权或合法权利假冒其他个人。（e）声明 Llama 2 的使用或输出是人类生成的。（f）生成或促进虚假在线参与，包括虚假评论和其他虚假在线参与方式。
第4类是未能适当地向最终用户披露人工智能系统的任何已知危险的情况。
（二）Llama 3许可证内容简介
1、Llama 3 社区许可证（LLAMA 3 Community License Agreement）内容简介
Llama 3 社区许可证（LLAMA 3 Community License Agreement）发布于2024 年 4 月 18 日，许可证内容包括定义部分和7个条款。
Llama 3 社区许可证（LLAMA 3 Community License Agreement）条款内容基本沿袭了Llama 2 社区许可证（LLAMA 2 Community License Agreement）的条款内容，实质性修改有两点。
第一点修改是对再分发和使用Llama3的条件做出了重大修改。Llama2社区许可证的第1条b款（i）项此前仅要求如果被许可者向第三方分发或制作 Llama 材料或其任何派生作品，应向该第三方提供许可协议的副本。Llama 3 社区许可证（LLAMA 3 Community License Agreement）第1条b款（i）项修改为，如果被许可者分发或提供 Llama 材料（或其任何衍生作品）或使用了Llama3中任何材料的产品或服务（包括其他 AI 模型），被许可者应 (A) 随任何此类 Llama 材料提供本协议的副本； (B) 在相关网站、用户界面、博客文章、关于页面或产品文档上突出显示“Built with Meta Llama 3”。如果被许可者使用 Llama 材料来创建、训练、微调或以其他方式改进一个 AI 模型，并进行分发或使其可用，被许可者还应在任何此类 AI 模型名称的开头加入“Llama 3”字样。
第二点修改是对第5条知识产权条款a款中商标授权条例进行了修改。Llama2社区许可证的第5条a款此前未授予任何商标许可，虽然因 Llama 材料关联，无论Meta还是被许可方均不得使用对方或其任何关联公司拥有或与之相关的任何名称或标记，除非为了描述和再分发Llama 材料而合理和惯常使用。Llama 3 社区许可证（LLAMA 3 Community License Agreement）第5条a款项修改为，未授予任何商标许可，虽然因 Llama 材料关联，无论Meta还是被许可方均不得使用对方或其任何关联公司拥有或与之相关的任何名称或标记，除非为了描述和再分发Llama 材料而合理和惯常使用或按照本第 5(a) 条的规定使用。Meta 在此授予被许可者使用“Llama 3”（“标记”）的许可，该许可仅限于根据第 1条b款（i）项最后一句规定而使用，即在AI 模型名称的开头加入“Llama 3”字样。被许可者将遵守Meta的品牌指南（目前可访问https://about.meta .com/brand/resources/meta/company-brand/）。许可者因使用该标记而产生的所有商誉都将归属于Meta。
2、Llama 3 可接受使用政策（Llama 3 Acceptable Use Policy）内容简介
Meta 就Llama3的使用限制，发布了Llama 3 可接受使用政策（Llama 3 Acceptable Use Policy）。Llama 3 可接受使用政策规定了4类禁止用途，具体内容同Llama 2 可接受使用政策相同，并无实质性修改。
三、人工智能开源大模型Llama 2许可证合规需要关注的问题
根据前文对如前文对人工智能开源大模型Llama 2 社区许可证（LLAMA 2 Community License）和Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy）内容的简要介绍，商业公司在合规访问、使用和分发人工智能开源大模型Llama 2时应当关注如下问题。
（一）Llama 2许可证许可的内容是Llama 2模型参数文件、代码文件及其文档
Llama 2许可证许可的内容是“Llama 材料”， 而“Llama 材料包括Meta 拥有的 Llama 2 和其文档。
“Llama 2”是指基础大语言模型及软件和算法，包括机器学习模型代码、训练过的模型权重、可推理代码、可训练代码、可微调代码以及Meta分发上述材料的其他部分。“文档”是指由 Meta分发的 Llama 2 随附的规格、手册和文档。
（二）Llama 2的模型权重参数文件和开源代码文件统一适用Llama 2许可证
Meta并没有将Llama 2的模型权重参数文件和开源代码文件进行区分，没有分别适用模型许可证和开源软件许可证，而是统一适用其定制的Llama 2 社区许可证（LLAMA 2 Community License）和Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy）。
（三）Meta对被许可人授予的使用关于Llama 2的知识产权范围应当包括版权和专利权，但不包括商标和商号权
Llama 2许可证第1条是Meta根据其享有的知识产权或 Meta 所拥有的 Llama 材料中体现的其他权利，授予被许可方非独占、全球性、不可转让且免版税的有限许可，可以使用、复制、分发、拷贝、创作派生作品以及制作对 Llama 材料的修改。考虑到Llama 2许可证第1条的许可是根据Meta 的知识产权或 Meta 所拥有的 Llama 材料中体现的其他权利概括性做出的许可，原则上应当包括属于知识产权范畴的版权许可和专利许可。
Llama 2许可证议未授予任何商标许可，并且因 Llama 材料关联，无论Meta还是被许可方均不得使用对方或其任何关联公司拥有或与之相关的任何名称或标记，除非为了描述和再分发Llama 材料而合理和惯常使用。
（四）不得使用Llama2及其输出用于改进其他大语言模型
Llama 2许可证规定，被许可人不得使用 Llama 材料或任何输出或Llama 材料的结果来改进任何其他大型语言模型（不包括 Llama 2 或其派生作品）。开源软件许可证一般没有此类限制，因此需要Llama2的使用者特别关注。
（五）如果被许可人及其关联公司提供的产品或服务的月访问用户超过7亿，需要另行申请单独的商业许可
Llama 2 社区许可证（LLAMA 2 Community License）根据Llama官网的介绍就是一个定制的商业许可，被许可人可将Llama用于商业或非商业用途
但Llama 2 社区许可证（LLAMA 2 Community License）同时规定，如果在 Llama 2 版本发布之日，被许可方或被许可方的关联公司提供的产品或服务的每月活跃用户数在上一个日历月中超过 7 亿，则必须向Meta申请单独的商业许可证。Meta 可以自行决定是否授予该权利。开源软件许可证一般没有此类规定，该规定事实上要求大型互联网公司单独申请商业许可，排除在Llama 2 社区许可证（LLAMA 2 Community License）适用的被许可人范围之外。
（六）被许可人拥有Llama2所做的修改形成的派生作品，且无强制开源义务
Llama 2许可证规定，根据 Meta 对其制作的 Llama 材料及其衍生品的所有权，对于被许可人做出的对 Llama 材料的任何修改和派生作品，在被许可人和 Meta 之间，被许可人现在和将来都是此类派生作品和修改的拥有者。
Llama 2许可证规定也类似于Apache 许可证版本 2.0属于宽松型开源协议，除履行保留许可证内容、声明等开源许可证义务外，其并不要求后续使用者对基于开源人工智能大模型进行修改得到的派生作品继续进行开源/开放，因此被许可人对修改Llama2获得的派生作品，有权决定是否继续开源/开放其修改后的Llama2派生作品。
（七）被许可人需遵守Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy），不得违反使用限制
被许可人在使用、分发和修改Llama 2时，不得违反Llama 2可接受使用政策（Llama 2 Acceptable Use Policy），将Llama2用于四类禁止用途：第1类违反法律或侵犯他人权利的方式利用Llama 2；第2类参与、促进、煽动、便利或协助计划或开展对个人造成死亡或身体伤害风险的活动；第3类故意欺骗或误导他人；第4类是未能适当地向最终用户披露人工智能系统的任何已知危险的情况。其中前3类使用限制和通用的AI Open RAIL许可证相似，第4类是Llama 2许可证另外增加的限制。
（八）Llama 2使用语言限制问题
Llama 2 社区许可证（LLAMA 2 Community License）和Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy）均没有语言限制条款。
但在Llama 2的模型卡文件（MODEL_CARD.md）的“预期使用方式”（Intended Use）中规定，Llama 2的预期用途为以英语形式的商业和研究用途。“超出范围的使用行为”包括：以任何违反适用法律或法规（包括贸易合规法）的方式使用；以Llama 2可接受使用政策和Llama 2社区许可证禁止的任何其他方式使用。使用英语以外的语言。在前述规定后还特别注明，如果符合Llama 2社区许可证和Llama 2可接受使用政策，开发人员可以针对英语以外的语言对Llama 2中的模型进行微调[14]。
考虑到，Llama 2 社区许可证（LLAMA 2 Community License）和Llama 2 可接受使用政策（Llama 2 Acceptable Use Policy）中均没有语言限制条款；且在Llama 2模型卡文件除了说明Llama 2的预期用途为以英语形式的商业和研究用途外，还特别注明开发人员可以针对英语以外的语言对Llama 2中的模型进行微调，因此笔者认为Llama 2模型卡文件中关于使用英语的限制说明应当是对Llama 2使用性能的说明（因Llama 2语料库以英文为主），而非从法律角度禁止将Llama2用于其他语言（包括中文）。Meta的开源及产品主管Joseph Spisak在Github回答了一位法语开发者关于语言限制问题的提问，Joseph Spisak指出Llama 2并没有在多语言的基础上进行训练，因此将其用于支持英语之外的语言应用将使结果变得不可靠，但是这并不是禁止的，只要遵守法律条款和使用政策，开发者当然可以用其他语言对Llama 2进行微调，并且将成果进一步商用[15]。
在符合Llama 2社区许可证和Llama 2可接受使用政策的情况下，开发人员可以针对英语以外的语言对Llama 2中的模型进行微调后，将微调后的模型用于英语以外的语言的商业和研究用途。
四、 人工智能开源大模型Llama 3许可证合规需要进一步关注的问题
根据前文对Llama 3 社区许可证（LLAMA 3 Community License Agreement）和Llama 3 可接受使用政策（Llama 3 Acceptable Use Policy）内容的简要介绍，考虑到Llama 3的社区许可证和Llama2的社区许可证的主要内容相同，商业公司在合规访问、使用和分发人工智能开源大模型Llama 3时亦应关注前述使用Llama 2时需关注的问题，并在此基础上对Llama 3许可证和Llama2许可证差异之处予以特别关注，具体为：
如果被许可者分发或提供 Llama 材料（或其任何衍生作品）或使用了Llama3中任何材料的产品或服务（包括其他 AI 模型），被许可者除应随任何此类 Llama 材料提供本协议的副本外，还应当 在相关网站、用户界面、博客文章、关于页面或产品文档上突出显示“Built with Meta Llama 3”。
如果被许可者使用 Llama 材料来创建、训练、微调或以其他方式改进一个 AI 模型，并进行分发或使其可用，被许可者还应在任何此类 AI 模型名称的开头加入“Llama 3”字样。Meta仅在此种情况下授予被许可者使用“Llama 3”标记的许可，被许可者需要遵守 Meta 发布在其官网上的品牌指南，且被许可者因使用“Llama 3”而产生的所有商誉都将归属Meta。
注释
[1] https://github.com/meta-llama/llama/blob/main/MODEL_CARD.md。
[2] https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/。
[3] https://llama.meta.com/llama2/。
[4] https://huggingface.co/meta-llama/CodeLlama-7b-hf。
[5] https://llama.meta.com/code-llama。
[6] https://huggingface.co/blog/zh/codellama#code-llama-%E7%AE%80%E4%BB%8B。
[7] https://docs.google.com/forms/d/e/1FAIpQLSfqNECQnMkycAp2jP4Z9TFX0cGR4uf7b_fBxjY_OjhJILlKGA/vi
[8] https://github.com/FlagAlpha/Llama2-Chines。
[9] https://llama.family/。
[10] https://huggingface.co/blog/llama3。
[11] https://ai.meta.com/blog/meta-llama-3/。
[12] https://ai.meta.com/blog/meta-llama-3/。
[13] https://ai.meta.com/blog/meta-llama-3/。
[14] https://github.com/meta-llama/llama/blob/main/MODEL_CARD.md
[15] https://github.com/meta-llama/llama/issues/406
