posted by 论坛助手, platform: iPhone
AI圈的个人和小团队已经变成Mac的形状了。顶配m2 Mac Studio 192g显存，送处理器和ssd才7万不到。

posted by 论坛助手, platform: iPhone

引用:

原帖由 somesun 于 2023-07-09 11:51 发表
这速度能正常用吗

有测评，跑大模型，200瓦零噪音的Mac Studio ultra把800瓦喷气式风扇的13900+4090按在地上摩擦，耗时越长差距越大。

4090才24g显存，原来要8张4090才能跑起来的大模型，现在200瓦的Mac Studio ultra就能跑起来。

所以AI开源圈直接原地爆炸，开源工具都在适配m系列Mac。

posted by 论坛助手, platform: iPhone

引用:

原帖由 somesun 于 2023-07-09 15:06 发表
能跑起来我信

但跑起来速度能和正常N卡加速比吗， 这个不太可能吧

当然了， 如果只为能跑那是可以得

新版pytorch支持Mac gpu加速，m2max和4090用cublas速度差不多。

[ 本帖最后由 nijjkk 于 2023-7-9 16:11 编辑 ]

posted by 论坛助手, platform: iPhone

引用:

原帖由 來福時代 于 2023-07-09 16:08 发表
好事啊，虽然你的结论在专业人员看来很浮夸很biased，不过大显存的高价m2总算有事情可干了，老黄多了个潜在竞争对手

...

从我在GitHub和reddit上面爬到的信息来看，在AI这个领域，至少在是小团队范围内，苹果似乎已经绕过了cuda这条护城河。

而且，我在知乎上还看到了m2在oc渲染上表现不错的文章。

那么，在3d领域，Mac的唯一缺点应该就是光追吧？

[ 本帖最后由 nijjkk 于 2023-7-10 08:22 编辑 ]

posted by 论坛助手, platform: iPhone
针对个人和小团队，苹果主打性价比。

h100一张卡4万usd，还不一定买得到。m2 Mac Studio ultra 满配8k usd。

按照老黄的定位，你应该拿4张4090来对比。

叠到200g显存这个级别，n卡怎么都不会低于2万usd。

——
总感觉苹果在犹豫，作为面向个人消费品的公司，切入工业品生产不符合公司基因，但是AI又实在太香了。

posted by 论坛助手, platform: iPhone

引用:

原帖由 昵称无效 于 2023-07-10 19:09 发表
苹果mac studio是一共192GnonECC内存哎，真的以为跑ai模型不需要系统内存的吗？
另外，和h100比性价...

https://github.com/ggerganov/llama.cpp/pull/1642#issue-1731081905