环球快报:6G显存玩转130亿参数大模型 RTX 2060用户发来贺电 AMD不配吗？
Meta的大语言模型LLaMA 13B，现在用2060就能跑了~
(资料图片)
羊驼家族的Alpaca和Vicuna也都能运行，显存最低只需要6G，简直是低VRAM用户的福音有木有。
GitHub上的搭建教程火了之后，网友们纷纷跑来问苹果M2是不是也能跑。
这通操作的大致原理是利用最新版CUDA，可以将Transformer中任意数量的层放在GPU上运行。
与此前llama.cpp项目完全运行在CPU相比，用GPU替代一半的CPU可以将效率提高将近2倍。
而如果纯用GPU，这一数字将变成6倍。
网友实测的结果中，使用CPU每秒能跑2.1个token，而用GPU能跑3.2个。
生成的内容上，开发者成功用它跑出了“尼采文学”。
如何操作在开始搭建之前，我们需要先申请获得LLaMA的访问权限。
传送门：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
此外还需要有一个Linux环境。（Windows用户可以用WSL2）
准备工作完成之后，第一步是将llama.cpp克隆到本地。
如果没有安装CUDA，可以参考下面的步骤：
然后是建立micromamba环境，安装Python和PyTorch等工具。
接着需要在micromamba环境下安装一些包：
然后运行Python脚本以执行转换过程：
之后将其量化为4bit模式。
接着是新建一个txt文本文档，把提示词输入进去，然后就可以运行了。
这步当中-ngl后面的数字是可以修改的，它代表了转换层的数量。
当该值为18时，运行中消耗的VRAM为5.5GB，根据显存的大小最高可以调至40。
网友：AMD不配吗
这一教程出现之后，网友们的新玩具又增加了。
“苦OpenAI久矣”的网友更是感觉仿佛找到了光。
这位网友就表示自己太期待在自己的设备上运行LLM了，宁愿花5千美元购置设备也不想给OpenAI交一分钱。
但AMD用户可能就不那么兴奋了，甚至透露出了嫉妒之情。
这套方法要用到CUDA（英伟达专用），所以AMD是不配了吗？
那么，你期待用自己的设备跑大语言模型吗？
标签：
相关文章
环球快报:6G显存玩转130亿参数大模型 RTX 2060用户发来贺电 AMD不配吗？
6G显存玩转130亿参数大模型RTX2060用户发来贺电AMD不配吗？
奇富科技发布今年一季度财报 已与150家金融机构合作 资讯推荐
奇富科技发布今年一季度财报已与150家金融机构合作2023-05-1916:37来源：证券日报网本报记者李冰5月19日，
世界资讯：扬州经开区应生局：以“党建红”引领“安全蓝”“生态绿”
5月15日，扬州经济技术开发区应生局开展“传承家风家训、弘扬廉政清风”主题党日活动，进一步深化支部廉政
天力锂能：年产2万吨磷酸铁锂项目正在进行设备安装调试 将争取尽快投产_全球即时
天力锂能近期披露投资者活动记录表显示，公司目前正在建设的年产2万吨磷酸铁锂项目正在进行设备安装调试，
首艘国产大型邮轮取名“魔都” 将于今年年底交付
5月19日，中国首艘国产大型邮轮“爱达·魔都”号（AdoraMagicCity）船名向全球发布。这是中国在全力构建邮
“二阳”是否增多？疫情形势会发生变化吗？如何科学防护？权威专家回应→_世界新消息
近日，网络上关于“二阳”的声音引发关注，有报道称部分城市三甲医院的发热门诊就诊人数上升。“二阳”病例
“芯趋势、芯未来”，第二届“智能座舱与汽车照明技术研讨会”即将隆重举行
2023年5月19日-由ADI和Excelpoint世健冠名直播的与非网第二届“智能座舱与汽车照明技术研讨会”将于2
快消息！移动4g和公开版的区别_移动4g优先版和公开版有什么区别
1、4g优先版和公版的区别在于，公版是指全网通手机，支持当前所有网络类型。2、联通、移动、电信三个网都可
最大8GB、最长2小时 推特Blue用户解锁上传视频新权益
5月19日消息，马斯克执掌推特之后，推出了TwitterBlue订阅服务，用户购买之后可以享受诸多权益。马斯克在最
基金分红：国泰惠富纯债债券基金5月23日分红-世界观察
5月19日发布《国泰惠富纯债债券型证券投资基金分红公告》。本次分红为2023年度第一次分红。。公告显示，本
即时看！山东一地每亩地收取100元秸秆处理费引争议 镇政府回应：尚未正式收费
近日，山东省青州市谭坊镇东孙家村按照每亩100元的标准向村民收取秸秆处理费引发关注。该负责人称，谭坊镇
交通运输部全力开展“鲁蓬远渔028”搜救工作 今日播报
记者18日从交通运输部获悉：交通运输部持续组织开展“鲁蓬远渔028”搜救工作，当日13时30分许，海军舰船发
天天信息:金斯瑞生物科技：传奇生物第一季度总收入3630万美元
金斯瑞生物科技（01548）发布公告，该公司非全资附属公司传奇生物科技股份有限公司（传奇）截至2023年3月31
天天速看：宁波九阳售后维修点在哪里_九阳售后维修点在哪里
1、微信app搜索文字电器名称。2、点击选择电气售后服务。3、找到查询服务，点击服务网点。4、选择维修设备
如何批量修改图片格式为jpeg 如何批量修改图片格式 世界观察
今天来聊聊关于如何批量修改图片格式为jpeg，如何批量修改图片格式的文章，现在就为大家来简单介绍下如何批
基督山伯爵电影版本（基督山伯爵电影1998版） 焦点速看
1、使用百度网盘免费分享给你，链接:提取码:xet2《新基督山伯爵》是由博伟电影公司、康斯坦丁影业公司联合
观天下！“华谊公交车”三度抢黄奕男人，傍富豪被玩腻分手，靠老公儿子洗白走上巅峰
为什么无数人都说娱乐圈的水很深？也许是因为明明被黑料淹没的一个个大明星们，却能从这个深渊爬出来，然后
天天快消息！携笔从戎书写绚烂青春！烟台南山学院12名退役士兵载誉而归
5月16日下午，龙口市人武部、市退役军人事务局联合烟台南山学院举行仪式，为胡晓航等12位退役返校同学颁发
首都师范大学录取分数线是多少（首都师范大学录取分数线）
1、全国统考首都师范大学北京市历年高考理科录取分数线：年份最低最高平均投档录取人数录取批次2008502 006
