TGFC Lifestyle - Powered by Discuz! Board

标题: 本地电脑跑AI都能干啥？ [打印本页]

作者: aweiwei 时间: 2025-1-8 11:53 标题: 本地电脑跑AI都能干啥？

posted by wap, platform: Chrome
新的CPU都号称可以对AI进行加速。

但国内能用到的各种AI平台，比方说豆包、KIMI、元宝之类的，都是云端部署的，和你本地CPU以及AI加速运算没啥关系啊。

如果不修图、跑视频之类的，还能有什么生产力相关的AI辅助功能呢？

最近我试过提问一些法规相关的内容，各家总结的都一般，并没有针对具体问题给出前后呼应且系统化的全流程描述，这还是不断提示和补充之后的结果。也有可能是简体中文内容不是很正规？

一些文档的总结倒是比较靠谱，但真想着对一些制式文档进行个别内容的统一修订，各家AI都无能为力，没法处理和输出正经的office文档。

作者: qc0511 时间: 2025-1-8 11:59

posted by wap, platform: iPhone
画图ai很吃性能

作者: 神勇汪汪汪 时间: 2025-1-8 12:07

posted by wap, platform: Chrome
万一断网怎么办？本地部署AI就是为了能离线用，或者是出于隐私考虑

作者: javainjars 时间: 2025-1-8 12:18

posted by 论坛助手, platform: iPhone
AI还是走的多小核路线，cpu那点根本没用

作者: 爱撕衣李鸿章 时间: 2025-1-8 12:29

cpu是内部集成了个npu一类跑本地小模型用的

有一些特化型小模型本地部署很方便使用，要说大用处吗肯定不如ChatGPT这种大大大模型了

作者: sammo1983 时间: 2025-1-8 12:29

posted by wap, platform: Chrome
我猜类似ADOBE全家桶新搞的那些AI功能，还有本地AI绘图可以加速一下吧，让没有独显的轻薄本在这方面不至于太差。

文档总结之类的，我感觉本地算力不够

作者: 北德文斯克 时间: 2025-1-8 13:53

如果你搞3d建模用blender这种，本地部署一个ai辅助建模就是生产力

毕竟是专业用途，适用的地方不多

作者: 君思睿 时间: 2025-1-8 14:04

posted by wap, platform: MAC OS X
AI是你提交的资料，人家公司都知道，所以最大的用途就是隐私。例如如果我开发一套简历、报账、文档自动分类识别OCR的工具，你说公司会让你扔给第三方AI去做？

还有就是API给其它工具调用。虽然价格现在是越来越低了，例如Google的Gemini用来语音念书，1小时也就0.00xx美分，简直不要钱一样。

作者: aso 时间: 2025-1-8 14:14

posted by wap, platform: iPhone
跑个简单的弱智的娱乐的问答机器人吧。。。。。。

作者: 几把贼大 时间: 2025-1-8 14:33

23年泥潭就有好多人分享本地部署画图图生视频的模型了

作者: 鬼冢英吉 时间: 2025-1-8 14:58

posted by wap, platform: iPhone
说了半天没什么用嘛

作者: 西风的树 时间: 2025-1-8 15:14

posted by wap, platform: Chrome
我是学精算和统计的，但手艺其实是传统概率，纸笔打天下，所以本地模型还蛮适合我做的事情；
我主要用来跑我自己的小模型，一般用R来做前期的事情，包括最初的模拟和公式验证之类的。
然后敲代码，小范围跑一下，甚至也会有训练。
最后考虑上服务器或者云，一些算法其实我也不是那么熟，这个时候让算法工程师来接剩下的会顺利一些。

作者: Squallgjs 时间: 2025-1-8 15:21

主要还是无内容审查(NSFW)

一般就是无规则的情况下跑图和跑文本。一句话，搞黄暴正治宗教类，现在再牛逼的线上ai都有审查制度

作者: 夜游子 时间: 2025-1-8 15:25

本地优势在于无审核，自己喜欢那些基本都是线上不让做的。

作者: 瓜瓜龙 时间: 2025-1-8 15:35

posted by wap, platform: Chrome
去码啊

作者: richiter 时间: 2025-1-8 15:36

posted by wap, platform: Android
同步汉化galgame，非常好用，生肉毫无压力。

作者: sigmaxion 时间: 2025-1-8 16:29

posted by wap, platform: iPad
总之不太像能赚钱且有效率的样子，不然搞AI平台的不是一帮傻冒么

作者: somesun 时间: 2025-1-9 08:44

posted by wap, platform: Chrome
能干的多了

最重要是很多事情没法上传数据, 就算你愿意, 官网有审核也不会给你干活的, 可想而知,
以后大模型审核会原来越厉害的

所以本地跑永远有需求

作者: kevan 时间: 2025-1-9 09:05

posted by wap, platform: Android
本地低配推荐b站的1GB模型，很不错了

作者: imissrain 时间: 2025-1-9 09:07

posted by wap, platform: Chrome
可以做一些工具，cuda还是很厉害的

作者: 爱猫咪的薛定谔 时间: 2025-1-9 09:17

posted by wap, platform: Android

引用:

原帖由 @西风的树于 2025-1-8 07:14 发表
我是学精算和统计的，但手艺其实是传统概率，纸笔打天下，所以本地模型还蛮适合我做的事情；
我主要用来跑我自己的小模型，一般用R来做前期的事情，包括最初的模拟和公式验证之类的。
然后敲代码，小范围跑一下，甚至也会有训练。
最后考虑上服务器或者云，一些算法其实我也不是那么熟，这个时候让算法工程师来接剩下的会顺利一些。

请问传统概率为啥用到ai？

作者: 喜欢它likeit 时间: 2025-1-9 09:30

posted by wap, platform: Chrome
赛博朋克2077的npc 全部本地ai实时生成交互

作者: xxhunter 时间: 2025-1-9 09:31

posted by wap, platform: Chrome

引用:

原帖由 @君思睿于 2025-1-8 14:04 发表
AI是你提交的资料，人家公司都知道，所以最大的用途就是隐私。例如如果我开发一套简历、报账、文档自动分类识别OCR的工具，你说公司会让你扔给第三方AI去做？

还有就是API给其它工具调用。虽然价格现在是越来越低了，例如Google的Gemini用来语音念书，1小时也就0.00xx美分，简直不要钱一样。

gemini 不是免费用吗？

还有怎么用它念有声小说？

作者: 夜游子 时间: 2025-1-9 09:42

本地AI念有声书发展的也很快，阿里那款是中文效果最好的，就是推理时间有点长。推荐使用刘悦的整合包，在bilibili上搜就行。

作者: 君思睿 时间: 2025-1-9 10:10

posted by wap, platform: MAC OS X

引用:

原帖由 @xxhunter 于 2025-1-9 09:31 发表
gemini 不是免费用吗？

还有怎么用它念有声小说？

免费用的模型干不了念小说这个活啊，文本转语音的API各大AI服务商都有提供，有些念书APP也支持

作者: 夜游子 时间: 2025-1-9 10:40

引用:

原帖由 君思睿 于 2025-1-9 10:10 发表
posted by wap, platform: MAC OS X
免费用的模型干不了念小说这个活啊，文本转语音的API各大AI服务商都有提供，有些念书APP也支持

不但能干念小说的活，还能克隆任何人的声音。而且对配置要求并不高，已经非常牛了。

作者: alexchang2010 时间: 2025-1-9 10:58

posted by wap, platform: Android
想要学习一下本地语音模型的说，有推荐部署入门的吗？

作者: Squallgjs 时间: 2025-1-9 12:21

引用:

原帖由 君思睿 于 2025-1-9 10:10 发表
posted by wap, platform: MAC OS X
免费用的模型干不了念小说这个活啊，文本转语音的API各大AI服务商都有提供，有些念书APP也支持

能干，还能训练出你喜欢的声优帮你读小说

作者: fakecnc 时间: 2025-1-9 12:26

装了个chatRTX，经常答非所问，可能是我不会用。

作者: VODKA 时间: 2025-1-9 12:32

posted by wap, platform: Android
读小说这个事情手机就很方便，音质也可以接受，电脑用来读小说实在太不方便了

别的能想到的应用也就是画黄图，生成和谐视频啥的，但速度也不快，4090跑一天ai也许能搞出一分钟的视频？ai连续运行好几天才能撸一管

还有啥？我这里是想不到还有什么生活上的应用了，至于工作上的应用就不用说了，老板不给报销显卡免谈

作者: Squallgjs 时间: 2025-1-9 12:42

引用:

原帖由 VODKA 于 2025-1-9 12:32 发表
posted by wap, platform: Android
读小说这个事情手机就很方便，音质也可以接受，电脑用来读小说实在太不方便了

别的能想到的应用也就是画黄图，生成和谐视频啥的，但速度也不快，4090跑一天ai也许能搞出一分钟的 ...

朋友有渠道接了个私活，用4090专门给垃圾页游手游出图和各种图标

作者: 君思睿 时间: 2025-1-9 15:52

posted by wap, platform: MAC OS X

引用:

原帖由 @VODKA 于 2025-1-9 12:32 发表
读小说这个事情手机就很方便，音质也可以接受，电脑用来读小说实在太不方便了

别的能想到的应用也就是画黄图，生成和谐视频啥的，但速度也不快，4090跑一天ai也许能搞出一分钟的视频？ai连续运行好几天才能撸一管

还有啥？我这里是想不到还有什么生活上的应用了，至于工作上的应用就不用说了，老板不给报销显卡免谈

就是调用远程API，一个小时几毛钱，比听真人的便宜多了，以后肯定越来越便宜，最终手机本地AI就能干了一分钱不花。

作者: 君思睿 时间: 2025-1-9 15:54

posted by wap, platform: MAC OS X
VLC这个播放器大家玩播放软件的应该都知道。
他们前几天展示了视频直接生成字幕，字幕直接AI翻译多语言版本的功能。估计过段时间就会放出来。
他们说还有配音翻译版本，但是估计还不是很实用就没放出来。

作者: richiter 时间: 2025-1-9 16:01

posted by wap, platform: Android

引用:

原帖由 @君思睿于 2025-1-9 15:52 发表
就是调用远程API，一个小时几毛钱，比听真人的便宜多了，以后肯定越来越便宜，最终手机本地AI就能干了一分钱不花。

这个api完全可以自己部署服务，性能要求不高的。

作者: 君思睿 时间: 2025-1-9 16:11

posted by wap, platform: MAC OS X

引用:

原帖由 @richiter 于 2025-1-9 16:01 发表
这个api完全可以自己部署服务，性能要求不高的。

ChatTTS还是啥？有关键词吗？

据我所知ChatTTS要达到好的效果，要求应该不低才对

本帖最后由君思睿于 2025-1-9 16:17 通过手机版编辑

作者: VODKA 时间: 2025-1-9 16:18

posted by wap, platform: Android

引用:

原帖由 @君思睿于 2025-1-9 15:52 发表
就是调用远程API，一个小时几毛钱，比听真人的便宜多了，以后肯定越来越便宜，最终手机本地AI就能干了一分钱不花。

现在手机本地也能听啊，就是没那么真，除非听少妇白洁，否则真人发音也意义不大

作者: 君思睿 时间: 2025-1-9 16:19

posted by wap, platform: MAC OS X

引用:

原帖由 @VODKA 于 2025-1-9 16:18 发表
现在手机本地也能听啊，就是没那么真，除非听少妇白洁，否则真人发音也意义不大

我听不太真的容易走神和被催眠，用确实可以用

作者: syycler 时间: 2025-1-9 16:22

posted by 论坛助手, platform: iPhone
现阶段确实没用，就是先搭个台子，大家都有个基础环境。
你有什么创意方便直接上。

作者: odioanatre 时间: 2025-1-9 16:31

中文环境有什么比较好的本地文秘AI么，自己喂文档，想调教一个为自己写相关文案的本地Ai。

作者: lvcha 时间: 2025-1-9 16:40

posted by wap, platform: Firefox
你没那需求自然会有此疑问。
有大语言模型之前就能干好多事。
下围棋打斗地主打德州。。

作者: 东海 时间: 2025-1-10 16:43

按你的xp画小黄片

作者: 无敌影子 时间: 2025-1-10 17:00

posted by wap, platform: Android
按照xp生成色图？

作者: 永不加赋 时间: 2025-1-12 20:06

引用:

原帖由 aweiwei 于 2025-1-8 11:53 发表
posted by wap, platform: Chrome
新的CPU都号称可以对AI进行加速。

但国内能用到的各种AI平台，比方说豆包、KIMI、元宝之类的，都是云端部署的，和你本地CPU以及AI加速运算没啥关系啊。

如果不修图、跑视频之 ...

自定义参数画瑟图，甚至可以做换头艾薇

作者: 君思睿 时间: 2025-1-12 20:42

posted by wap, platform: Chrome
可能现在AI的用途还很浅，所以你们觉得用别人的远程AI没问题。

但你要明白这玩意用深入了，会完全覆盖你日常90%的生活。

说个浅显的，Google的贾维斯计划，就是不需要人操作电脑了。还有苹果的下一代Siri，基本就是语音操控能完成很多手动操作。
如果你都用别人的，你知道吗，你任何隐私都没有了，这还是美国公司。

等中国高仿版出来，技术提供是百度，你说你怎么办？

不用怀疑，这就是下一步的趋势了。

还有国内国企政府相关不准备国外AI为什么？你什么数据、信息、文档都往人家网站扔让AI处理，还要间谍干啥？

以后信息矛盾会急速激化，国内相关企业绝对不敢用苹果手机了，国外也绝对不敢用中国AI产品了，问题显而易见，例如苹果的提示消息汇总功能，不设置你的消息怕是都会被人家AI“汇总一下”，虽然苹果是号称最注重隐私的大公司，但是谁敢赌？

AI绝对是让科技壁垒加速的玩意，绝对不是你想的这种无意义的东西。

本地化至关重要

作者: 神秘的陌生人 时间: 2025-1-13 07:46

posted by wap, platform: Android
陈一发和女流都有自己专用的语音ai。用ai读邮件，自己专心聊天，比以前效率高。

作者: sceic 时间: 2025-1-13 08:41

posted by wap, platform: Android
本地ai可以实时处理好翻译的话，就是当下最大用处了，云端翻译还是太慢，碍于资源平均化，效果也不好。

作者: sigmaxion 时间: 2025-1-13 09:38

posted by wap, platform: VIVO

引用:

原帖由 @君思睿于 2025-1-12 20:42 发表
可能现在AI的用途还很浅，所以你们觉得用别人的远程AI没问题。

但你要明白这玩意用深入了，会完全覆盖你日常90%的生活。

说个浅显的，Google的贾维斯计划，就是不需要人操作电脑了。还有苹果的下一代Siri，基本就是语音操控能完成很多手动操作。
如果你都用别人的，你知道吗，你任何隐私都没有了，这还是美国公司。

等中国高仿版出来，技术提供是百度，你说你怎么办？

不用怀疑，这就是下一步的趋势了。

还有国内国企政府相关不准备国外AI为什么？你什么数据、信息、文档都往人家网站扔让AI处理，还要间谍干啥？

以后信息矛盾会急速激化，国内相关企业绝对不敢用苹果手机了，国外也绝对不敢用中国AI产品了，问题显而易见，例如苹果的提示消息汇总功能，不设置你的消息怕是都会被人家AI“汇总一下”，虽然苹果是号称最注重隐私的大公司，但是谁敢赌？

AI绝对是让科技壁垒加速的玩意，绝对不是你想的这种无意义的东西。

本地化至关重要

语音操控谈隐私是在搞笑么

作者: 君思睿 时间: 2025-1-13 09:54

posted by wap, platform: MAC OS X

引用:

原帖由 @sigmaxion 于 2025-1-13 09:38 发表
语音操控谈隐私是在搞笑么

语音操控本地化已经有产品了啊，我本地跑当然就没有隐私泄露问题了，所以我不明白你指的搞笑是在哪个点

作者: 神秘的陌生人 时间: 2025-1-13 10:00

posted by wap, platform: Android

引用:

原帖由 @君思睿于 2025-1-13 09:54 发表
语音操控本地化已经有产品了啊，我本地跑当然就没有隐私泄露问题了，所以我不明白你指的搞笑是在哪个点

图谋造反的时候被邻居听到了

作者: hftrrt 时间: 2025-1-14 15:17

AI有朗读和变声吧

作者: purplekula 时间: 2025-1-14 16:19

本地大模型至少要70B才算可以，目前最好的解决方案是4张2080ti22g的机器

作者: 西风的树 时间: 2025-1-14 18:08

posted by wap, platform: iPhone

引用:

原帖由 @爱猫咪的薛定谔于 9-1-2025 09:17 发表
请问传统概率为啥用到ai？

用处很多，比如我做一个概率式，然后要做simulation，那么无论机器学习还是ai，都对我有用。
还有比如我最近有一个涉及到用martingale做一个投资策略最优化的事情，里面有一块需要用到递归证明，因为整个的展开式非常恐怖，用ai可以辅助我做一些证明工作。
真的还蛮好的

作者: yfl2 时间: 2025-1-14 18:48

引用:

原帖由 西风的树 于 2025-1-14 18:08 发表
posted by wap, platform: iPhone
用处很多，比如我做一个概率式，然后要做simulation，那么无论机器学习还是ai，都对我有用。
还有比如我最近有一个涉及到用martingale做一个投资策略最优化的事情，里面有一块需要 ...

我是问，做这些建模应该用传统软件比如matlab之类，会用到深度学习？

作者: kalberte 时间: 2025-1-15 08:49

posted by wap, platform: MAC OS X
对于做管理的职能办公室人士来说，简直不要太好用，文章润色、编写大纲、补充八股内容，一周的活一上午就能干完

作者: 爱猫咪的薛定谔 时间: 2025-1-15 08:52

posted by wap, platform: Android

引用:

原帖由 @kalberte 于 2025-1-15 00:49 发表
对于做管理的职能办公室人士来说，简直不要太好用，文章润色、编写大纲、补充八股内容，一周的活一上午就能干完

这个用在线的就行了

作者: DarthVadar 时间: 2025-1-15 10:15

posted by wap, platform: MAC OS X
其实没啥用
不如花点钱买gpt plus

作者: 西风的树 时间: 2025-1-15 10:53

posted by wap, platform: Chrome

引用:

原帖由 @yfl2 于 14-1-2025 18:48 发表
我是问，做这些建模应该用传统软件比如matlab之类，会用到深度学习？

深度学习是一个很大的概念，你不能说一个数据量小的项目就不用深度学习了。
我们不纠结AI、机器学习和深度学习之间的包含被包含关系了，很多人其实都在R和matlab跑一些深度学习的东西，比如我这类不懂代码的人。
再比如MCMC是我这类干金融的基本生存算法，这里面R和matlab都可以进行深度学习啊。

作者: yfl2 时间: 2025-1-15 10:59

引用:

原帖由 西风的树 于 2025-1-15 10:53 发表
posted by wap, platform: Chrome
深度学习是一个很大的概念，你不能说一个数据量小的项目就不用深度学习了。
我们不纠结AI、机器学习和深度学习之间的包含被包含关系了，很多人其实都在R和matlab跑一些深度学习的东 ...

不懂，你跑模型是传统的计算，为什么算深度学习

作者: 西风的树 时间: 2025-1-15 12:21

posted by wap, platform: Chrome

引用:

原帖由 @yfl2 于 15-1-2025 10:59 发表
不懂，你跑模型是传统的计算，为什么算深度学习

这是一个非常好的问题，可能我没有说的那么细，那么我们探讨深度学习本身算不算一种概率模型呢？并且Bayesian deep learning在今天也是一个很普遍的概念。
对我来讲，随便举几个例子会用到机器学习和深度学习
1、因为在商用领域，其实无论是内部还是外部，给不了特别长的时间，所以虽然我更擅长是用传统计算解决问题，比如在特定ruin probability下做最优投资策略算法。
但即使我在这事上是世界上干的最好的几个人之一，但由于内部和项目上他们的各种假设条件，或一些特定因素是无法直接套用我的模型的，那么就要改，比如考虑到一些long claim或long tail的情况，还有比如无法短时间得出风险释放分布函数的时候，这个时候，直接的办法就是numerical method，无论是为了simulation或approximation，那么机器学习综合来讲是很好的办法。
2、同样的，在做很多riks models无论是概率模型或相关算法时，在有数据的情况下可以用深度学习先挖一下风险因子，这对我来讲很重要，一些假设和建模就会方便很多，当然我的天赋有限，很多时候也是通过这种办法节省时间，知道哪些路是走不通的。
3、然后我把机器学习和深度学习会用在我的一些证明上，避免我的自嗨，这个就有点复杂了。

作者: 爱猫咪的薛定谔 时间: 2025-1-15 12:36

posted by wap, platform: Android
感觉前两点偏重于传统的计算机模拟计算，和最近十几年的机器学习有些差别，换个说法，这些用法应该不会用到ai计算单元吧

作者: dorn 时间: 2025-1-17 13:50

1024

欢迎光临 TGFC Lifestyle (http://club.tgfcer.com/)