有没有高手把LLAMA 3.1 70B 成功装HOST 在自己ON PREMISE LOCAL MACHINE？

[uncle666]

初步调研一下， 最好需要有128G RAM

有没有装过？ 交流一下？需要怎样的计算机，工作站或服务器配置？

 

[月下独酌]

a100, 258G ram

试过没有问题，但是比较慢

 

[月下独酌]

说错了476GB ram, 110 CPU

 

[uncle666]

a100, 258G ram

试过没有问题，但是比较慢

说错了476GB ram, 110 CPU

你在你家本机装了有A100 显卡？ 太牛了，这A100要1.2万美元吧， 你装了几块？

下图是几种安装配置图，你装的是哪一个？

110CPU是什么？

 

[uncle666]

在AWS 上租用A100的费用大概是$3-$5美元一小时

For example, using an A100 instance on AWS can range from about $3 to $5 per hour, depending on the region and the specific service

 

[月下独酌]

你在你家本机装了有A100 显卡？ 太牛了，这A100要1.2万美元吧， 你装了几块？

下图是几种安装配置图，你装的是哪一个？

110CPU是什么？

浏览附件1151973

llama3.1:405b

Llama 3.1 is a new state-of-the-art model from Meta available in 8B, 70B and 405B parameter sizes.

ollama.com

这个

110cpu忘了哪个model的，xeon某款

公司的服务器

 

[longshan]

初步调研一下， 最好需要有128G RAM

有没有装过？ 交流一下？需要怎样的计算机，工作站或服务器配置？

只是玩的话，试试只是租借一下滑铁卢大学的super工作站。
没几个钱。

 

[uncle666]

只是玩的话，试试只是租借一下滑铁卢大学的super工作站。
没几个钱。

有LINK 吗？ 是否需要滑大校友或学生资格？