TGFC Lifestyle - Powered by Discuz! Board

标题: [其他] TGFC 20years Dashboard, TG20周年巨献, 耗资300小时开发大作[更新: 星空找人] [打印本页]

作者: somesun 时间: 2018-5-8 01:31 标题: TGFC 20years Dashboard, TG20周年巨献, 耗资300小时开发大作[更新: 星空找人]

posted by wap, platform: iPad
TGFC 20years Dashboard 项目简介
地址: http://35.194.171.40/

TGFC20 项目简介项目创意一个多月前, 我发了个帖子, 问tg建站日期是什么时候, 因为我突然想到tg好像快20年了, 简单查了下最老几个用户比如rb, 注册日期是2000年初, 1号id是voodoo, 但是时间是2006, 应该改过了,所以我假定tgfc建站时间大概是2009年吧.
不管具体日期如何, 确实是快20年了, 仔细想想天朝这么多年, 能持续20年的网站还真不多, 更别说这么一个小众网站了, 就算很多曾经很火的网站, 很多也早已不存在了.
一个网站能存在这么久, 肯定有他的价值所在. 而对于一个论坛来说, 会员就是最大的价值, 就是因为有这么多铁杆会员, 把tg当成一个真正的社区, 愿意互动分享. 所以我一直认为, 论坛这种最古老的网络应用, 将长期存在下去.
时不时也有人发帖, 说如果tg不在了如何, 要不要找个地方继续, 我个人觉得不太可能, 没那么容易换个地方还能有原来的感情的. 所以我也早就想过这个问题, 如果tg不在了, 我也不想找个替代品了, 就这样吧, This is it.
不过, 我想留下一些东西, 一些回忆, 所以就有了初步的想法. 恰巧, tg4月出了故障停了不少时间, 也进一步坚定了我的想法.
项目需求开始很简单, 就是想做个爬虫, 抓取tg的所有网页, 然后存到本地数据库, 不就可以一直保留, 甚至搞个搜索引擎, 时不时搜一搜当年的趣事.
但项目开始后, 我慢慢也有了更多想法, 其实tg历史有很多有意思的地方, 而项目是解决问题的, 那么我就提出以下几个问题吧.

三大主机 ps xbox wii, 到底哪个火?
锤片, 蝶片两位那个更火?
大屁股的威名无人不知, 那么大屁股什么时候开启传奇之路的呢?
tg最著名的中山公园事件发生在什么时候?
小米, 华为到底哪个火?
一些老会员, 如江西恐龙等什么时候开始隐退的呢?
tg什么时期最火爆?
水区, 游戏区的发帖趋势如何?
最多一天发帖多少?
tg谁是最铁杆会员, 贡献最大?
股票讨论一多就要完是不是真的?

项目就是为了回答这些问题的, 后面将揭晓答案

项目开发我大概分成3个子项目进行开发, 每个子项目独立运行, 每个子项目产出将作为下一个子项目的输入

子项目1, 爬虫 - 目标是爬取tg超过2000万帖子
子项目2, 文本分析 - 分析2000万帖子, 和所有会员信息进行分词,统计
子项目3, web展示- 通过互动图表展示这些统计数据

项目技术

主要是python+javascript

项目周期

共投入大约300小时开发时间 3月底开始, 持续一个半月吧

项目结果

爬虫共抓取帖子25891836条, 共分析文本2265045897字

刚好帖子2千万, 也符合tg特色, 文本超过20亿字
最终可以很好回答以上提出问题, 并提供各种互动图表

项目展示废话不多说了, 上图

三大主机 ps xbox wii, 到底哪个火?

很明显, ps 遥遥领先, xbox和wii差不多

[attach]997164[/attach]

锤片, 蝶片两位那个更火?

貌似锤片先火, 蝶片后来居上

[attach]997165[/attach]

大屁股的威名无人不知, 那么大屁股什么时候开启传奇之路的呢?

看图, 大屁股貌似2015年开始传奇之路

[attach]997166[/attach]

tg最著名的中山公园事件发生在什么时候?

2009年一月, 中山公园事件轰动一时

[attach]997168[/attach]

小米, 华为到底哪个火?

2016年前不相上下, 2016年华为暴跌, 小米后来逆市增长, 也符合实际情况

[attach]997169[/attach]

一些老会员, 如江西恐龙等什么时候开始隐退的呢?

江西恐龙好像2010后就开始隐退了

[attach]997167[/attach]

tg什么时期最火爆?

tg2007到2017访问量其实很稳定的

[attach]997170[/attach]

水区, 游戏区的发帖趋势如何?

可以看到, 游戏区2007年达到顶峰, 之后变快速花落了, 当年的, 水区2007年后边暴涨, 很快取代成为tg第一板块

[attach]997172[/attach]

[attach]997171[/attach]

最多一天发帖多少?

tg之最告诉你

[attach]997173[/attach]

股票讨论一多就要完?

看图, 确实2007, 2015是个高峰, 对应了这么多年的两个牛市

[attach]997174[/attach]

tg谁是最铁杆会员, 贡献最大?

tg会员星空图, 我把会员各项活动算了一个总积分, 并划分为各个行星, 就好像tg是宇宙,我们每个人是个小星.

最后, 海王星大神只有2人, 分别为west2046, 和 zhaolinjia, 这两人都是名副其实的tg铁杆, 向他们致敬. 你们也来找找看自己在那里呗.

计算公式为: 在tg天数 * 1 + 主贴数 * 3 + 回帖数 * 1 + 总文字数 / 100 + 鸡骚 * 2 + 精华 * 500

[attach]997175[/attach]

[attach]997176[/attach]

声明

本项目完全是个人兴趣, 所有数据仅供参考, 且都以实际统计为准, 部分与tg现实数据不符, 因为抓取过程中也发现很多错误的帖子.

存在问题

汉语分词其实是个很深的学问, 我目前只是做了初步分词学习, 肯定还有很多词应该出现但没发现的, 大家可以推荐下

FAQ

这个网站服务器在哪里?

目前是在google cloud

这个网站打算开多久?

初步计划是开一年

目前数据怎么更新?

数据需要手动更新, 且比较麻烦, 所以打算每3个月更新一次

没有域名?

暂不打算申请专门域名

总结

最后看数据, 有点惊讶, tg居然只有4万多有效会员(指发过贴, 且没被封或删id的) 大部分会员都可算是核心, 8年以上占大部分

从关键词趋势确实可以看出很多有意思的东西

感谢

感谢TG, 感谢站长和比卡丘等人, 我觉得无论人或物, 如果能相处十年, 那一定是有爱的. 此项目献给所有爱tg的人!

感谢python, 没有python很难独立高效开发, python是神, 不解释

感谢很多开源大神的分享, 没有开源开发寸步难行啊

感谢我的测试服务器, 去年组装ryzen 1700+32G , 这次16线程终于派上用场, 文本处理相当耗时

感谢imac , 我的主力开发机, 确实稳定高效, 光荣完成任务, 打算换台新的了

2018.5.7 somesun

最后送上彩蛋
致MJ[attach]997163[/attach]

[ 本帖最后由 somesun 于 2018-5-8 01:35 编辑 ]

本帖最后由 somesun 于 2018-5-8 23:39 通过手机版编辑

作者: NewRoaD 时间: 2018-5-8 01:36

赞一个，lz搞数据挖掘的吧

作者: 茉莉FAN 时间: 2018-5-8 01:39

不错，很有爱
支持

作者: somesun 时间: 2018-5-8 01:40

麻痹部署搞了一天, 网络太慢了, 睡觉了, 明天再来

作者: toshiki 时间: 2018-5-8 01:42

posted by wap, platform: Android
牛逼前排留名

作者: Simy 时间: 2018-5-8 01:44

posted by wap, platform: Meizu MX4 Pro
火前留名

作者: matao 时间: 2018-5-8 01:50

posted by edfc, platform: iPhone 8 Plus
这项目好

作者: baisir087 时间: 2018-5-8 01:51

Posted by: Xiaomi MI 5s
这个很有爱又很有意思，前排留名 TGFC·NG

作者: gggg9999 时间: 2018-5-8 01:52

posted by wap, platform: Samsung
前排。

作者: zhangyunsony 时间: 2018-5-8 01:55

posted by wap, platform: Android
前排留名

作者: 20060602 时间: 2018-5-8 01:58

first page??

作者: blackeyed 时间: 2018-5-8 02:06

233

tgfc股票发帖讨论量和牛熊市的对比, 我一直写在计划表, 还没空做, 没想到让楼主先做了……

那我问一下, 怎么定义股票讨论的, 不会是"股票"这两个关键字吧……

关键词趋势图能不能用正则表达式?

[ 本帖最后由 blackeyed 于 2018-5-8 02:14 编辑 ]

作者: shinsuke 时间: 2018-5-8 03:28

posted by wap, platform: iPhone
太吊了 mark慢慢看

作者: 道克斯 时间: 2018-5-8 04:24

posted by wap, platform: iPad
不错，楼主有心了

作者: sharonsl 时间: 2018-5-8 05:00

Posted by: Xiaomi MIX 2
大作…马克慢慢看

作者: doraamon 时间: 2018-5-8 05:11

posted by wap, platform: iPhone
好顶赞！lznb！

作者: 心之一方 时间: 2018-5-8 05:59

posted by wap, platform: 小米
提个建议，铁杆会员里把祭扫*2去掉

作者: rome20 时间: 2018-5-8 06:46

Posted by: HTC HTC U-3w
楼主有爱啊。

作者: linkliu 时间: 2018-5-8 07:03

posted by wap, platform: iPhone
楼主用什么技术做的呀，想学

作者: 离神最近的人 时间: 2018-5-8 07:43

posted by wap, platform: iPhone
必须顶，太赞了

作者: zhh5437 时间: 2018-5-8 07:46

posted by wap, platform: Galaxy S7 Edge
你谭股票贴和炒币贴讨论量比MACD准多了

作者: lastescaper 时间: 2018-5-8 07:59

posted by edfc, platform: iPhone X
楼主nb，大数据nb

作者: csfans1 时间: 2018-5-8 08:06

posted by wap, platform: iPhone
留名

作者: ff_cactus 时间: 2018-5-8 08:12

posted by wap, platform: iPhone
动手能力强啊

作者: ldcyb 时间: 2018-5-8 08:17

Posted by: HUAWEI HUAWEI RIO-AL00
楼主牛！

作者: chouchou3166 时间: 2018-5-8 08:25

6666！

作者: hwj10ten 时间: 2018-5-8 08:27

posted by wap, platform: 小米
炸裂

作者: 柏森森 时间: 2018-5-8 08:36

posted by edfc, platform: iPhone 6s Plus
股票谈论理论就跟券商门口自行车理论一样朴实，但是非常准，服！

作者: 段暄 时间: 2018-5-8 08:39

火钳刘明！

作者: 凤凰 时间: 2018-5-8 08:39

posted by wap, platform: Android
20年了呀恍若昨日啊哭了

作者: domowang 时间: 2018-5-8 08:42

Error loading dependencies

作者: kives 时间: 2018-5-8 08:50

posted by edfc, platform: iPhone X

引用:

原帖由 somesun 于 2018-5-8 01:31 发表
TGFC 20years Dashboard 项目简介
地址:http://35.194.171.40/
TGFC20 项目简介项目创意一个多月前, 我发了个帖子, 问tg建站日期是什么时候, 因为我......

tg总的用户数才4w？太少了吧，难怪可以整天tgbxs
另外问一句lz，把tg所有帖子爬下来要多大的存储空间？

作者: moody 时间: 2018-5-8 08:51

posted by wap, platform: iPhone
牛逼，以后炒股靠lz了

作者: breeze7086 时间: 2018-5-8 09:15

不错不错，好项目
开源吗

作者: mandingo 时间: 2018-5-8 09:17

这个项目不错，赞楼主！！！

作者: kaikaimao 时间: 2018-5-8 09:17

posted by wap, platform: Android
希望不用再换基地了。

作者: 102752999 时间: 2018-5-8 09:19

66666666666666666666666666666

作者: iamzb3 时间: 2018-5-8 09:21

posted by edfc, platform: iPhone 6
马克，牛逼

作者: jjx01 时间: 2018-5-8 09:32

在st1的时候见过类似的统计

作者: babyone 时间: 2018-5-8 09:43

posted by wap, platform: iPad
注意到一个问题：关键词相关的部分显然没有包含数字常用语，比如-300、233这些，猜测这个搜索是按照网页的html全代码来检索的，而不是定位到具体容器，所以才忽略了数字部分？

另外这样大规模的爬虫行为是否会影响服务器速度？如果会的话建议在深夜人少的时候做抓取。

作者: 带着板凳撤 时间: 2018-5-8 09:43

楼主牛逼

作者: guodream 时间: 2018-5-8 09:46

顶楼主。

作者: 半熟英雄 时间: 2018-5-8 09:47

有一点点感动呢。楼主牛逼！

作者: somesun 时间: 2018-5-8 09:52

posted by wap, platform: Android

引用:

原帖由 @blackeyed 于 2018-5-8 02:06 发表
233

tgfc股票发帖讨论量和牛熊市的对比, 我一直写在计划表, 还没空做, 没想到让楼主先做了……

那我问一下, 怎么定义股票讨论的, 不会是"股票"这两个关键字吧……

关键词趋势图能不能用正则表达式?

目前还没想那么多, 也没怎么考虑股票的事

我个人觉得舆情与股票可能并没有想象的有价值, 这个指标最大用场其实是判断何时清仓走人, 反正高点减仓甚至清仓肯定也没错, 但低点也不一定就适合买

另外这个可能对大盘大势比较准, 但并不适合个股

应该有人爬取贴吧或雪球做类似分析的, 我早就想过, 但觉得实用性可能没那么高所以也没动手

作者: somesun 时间: 2018-5-8 09:54

posted by wap, platform: Android

引用:

原帖由 @心之一方于 2018-5-8 05:59 发表
提个建议，铁杆会员里把祭扫*2去掉

我个人觉得祭扫还是有价值的, 尤其是只有祭扫有负值, 所以如果负祭扫就减总分, 也合理点, 毕竟负祭扫高的是什么人大家也知道

本帖最后由 somesun 于 2018-5-8 09:55 通过手机版编辑

作者: somesun 时间: 2018-5-8 09:57

posted by wap, platform: Android

引用:

原帖由 @linkliu 于 2018-5-8 07:03 发表
楼主用什么技术做的呀，想学

说了, 主要是Python和js

具体的就太多了, 反正做一个项目, 该用的都要有

数据库 , 服务器配置, 前端, 后端, 数据分析, 机器学习等等

作者: somesun 时间: 2018-5-8 09:58

posted by wap, platform: Android

引用:

原帖由 @kives 于 2018-5-8 08:50 发表
posted by edfc, platform: iPhone X

tg总的用户数才4w？太少了吧，难怪可以整天tgbxs
另外问一句lz，把tg所有帖子爬下来要多大的存储空间？

也不大, 总数据库大概10g

作者: somesun 时间: 2018-5-8 10:00

posted by wap, platform: Android

引用:

原帖由 @babyone 于 2018-5-8 09:43 发表
注意到一个问题：关键词相关的部分显然没有包含数字常用语，比如300、233这些，猜测这个搜索是按照网页的html全代码来检索的，而不是定位到具体容器，所以才忽略了数字部分？

另外这样大规模的爬虫行为是否会影响服务器速度？如果会的话建议在深夜人少的时候做抓取。

是直接html分析的, 具体词语后面可以优化, 加入需要出现的, 尤其是符合论坛特色文化的, 大家可以推荐补充

爬虫其实我考虑到tg的负载, 我都只开一个线程爬取, 所以总共花了快一个月才爬完

作者: niubility 时间: 2018-5-8 10:01

posted by wap, platform: iPhone
内牛满面，头顶青天，楼主牛逼。

作者: 心之一方 时间: 2018-5-8 10:03

posted by wap, platform: 小米

引用:

原帖由 @somesun 于 2018-5-8 09:54 发表
我个人觉得祭扫还是有价值的, 尤其是只有祭扫有负值, 所以如果负祭扫就减总分, 也合理点, 毕竟负祭扫高的是什么人大家也知道

本帖最后由 somesun 于 201858 09:55 通过手机版编辑

祭扫高很多都是各种要分贴赚的，我几乎从来不进去要分，不公平啊。。。

作者: JustusHitler 时间: 2018-5-8 11:15

为了爬虫也打算学python，java的爬虫框架比较少，不如python成熟。

作者: rover 时间: 2018-5-8 11:17

posted by wap, platform: iPad
前排

作者: carronot 时间: 2018-5-8 11:19

posted by wap, platform: Samsung
最后一图表明tg还是个游戏论坛

作者: pigcfly 时间: 2018-5-8 11:37

大作，直接变成tg的一个项目算了，开源，有能力的一起维护

作者: deyoulj 时间: 2018-5-8 11:49

前10页都是前排，赶紧排个队占位

作者: 平凡的幸福 时间: 2018-5-8 12:01

占楼蹭蹭lz的面子，证明我也是tg一份子，哈哈

作者: asac 时间: 2018-5-8 12:12

mark

作者: Grally 时间: 2018-5-8 12:29

posted by wap, platform: iPhone
喷了！厉害
域名改之前的贴子估计只有比版存档了吧

作者: kagez 时间: 2018-5-8 12:33

posted by wap, platform: iPhone
大数据威武

作者: rogerwaters 时间: 2018-5-8 12:36

这个统计挺不错

作者: bronyraur 时间: 2018-5-8 13:04

posted by wap, platform: Samsung
牛逼，马科科长

作者: superzz_0 时间: 2018-5-8 13:09

好顶赞，每个用户能查询么

作者: aweiwei 时间: 2018-5-8 13:14

posted by wap, platform: iPad
浪费了好多青春……

作者: arcarphil 时间: 2018-5-8 13:18

这贴必须顶
这么多年都只看，年纪不小了，估计懒。
喜欢这地方，真心。

作者: tamude 时间: 2018-5-8 13:19

NB,NB 赞

作者: reinhaidvon 时间: 2018-5-8 13:21

100楼以内都是前排

作者: ooo 时间: 2018-5-8 13:24

posted by wap, platform: Android
感谢楼主分享～

作者: rb 时间: 2018-5-8 13:47

posted by wap, platform: Galaxy S7 Edge
泥潭在我注册那时候就存在了，所以接近30年了要。

各种分区调整过很多次，游戏区分分合合很多次，所以各区排名可能不能反映当时的情况。

作者: yangyu19921012 时间: 2018-5-8 13:53

lz威武

作者: mike7882 时间: 2018-5-8 14:00

这个太牛逼了啊！

作者: fangel 时间: 2018-5-8 14:04

好定赞，留名

作者: nick2119 时间: 2018-5-8 14:33

666666666

作者: lurist 时间: 2018-5-8 14:40

太牛逼，拜服！

作者: blackeyed 时间: 2018-5-8 15:00

引用:

原帖由 somesun 于 2018-5-8 09:52 发表
posted by wap, platform: Android
目前还没想那么多, 也没怎么考虑股票的事

我个人觉得舆情与股票可能并没有想象的有价值, 这个指标最大用场其实是判断何时清仓走人, 反正高点减仓甚至清仓肯定也没错, 但低点也不 ...

这作用已经巨大了好吧
每隔三五年一个牛市的话, 三五年随便买点还行的股票,每年就是20%啊
如果自身一直在炒股, 到你那个股票数值达到800以上就坚决空仓的话, 也可以减少30以上的损失
当然了,炒股最大的困难还是自己的心
人人都喊满仓冲一万点, 就你不去, 需要强大的心

作者: Rael 时间: 2018-5-8 15:18

厉害

作者: wlqdevil 时间: 2018-5-8 15:29

posted by wap, platform: iPhone
简直就是神作

作者: somesun 时间: 2018-5-8 15:34

posted by wap, platform: iPad
星空找人功能开发好了, 晚上上线:D

作者: RyoH 时间: 2018-5-8 15:37

感觉真不错啊。

作者: 怪物甲 时间: 2018-5-8 17:41

不错的分析
感谢分享~

作者: slim 时间: 2018-5-8 17:48

好顶赞

作者: 八子 时间: 2018-5-8 17:56

posted by wap, platform: iPhone
当年我跟江西恐龙还有不解之缘，当时恐龙被人轮了之后发帖说再也不来tg了，我找到她说把这个ID给我吧，然后恐龙真给我了，过了几天就被超管收了还给她了……后面恐龙来tg主要在说东东格斗传说了……

作者: somesun 时间: 2018-5-8 17:59

posted by wap, platform: iPad

引用:

原帖由 @pimp1234 于 2018-5-8 15:58 发表
lz能不能搞个每年大戏的帖子汇总，之前腻大好像搞过，后面搁置了

这个不打算做, 我搞这个是完全基于数据计算, 不会手工去整理一些东西

一般真有用应该可以通过关键词优化搜索来看看

作者: somesun 时间: 2018-5-8 18:00

posted by wap, platform: iPad

引用:

原帖由 @superzz_0 于 2018-5-8 13:09 发表
好顶赞，每个用户能查询么

查询什么, 用户档案可以查每个用户啊

作者: somesun 时间: 2018-5-8 18:01

posted by wap, platform: iPad

引用:

原帖由 @rb 于 2018-5-8 13:47 发表
泥潭在我注册那时候就存在了，所以接近30年了要。

各种分区调整过很多次，游戏区分分合合很多次，所以各区排名可能不能反映当时的情况。

是的, 游戏板块开始都是独立的ps区, 微软区, 后来合并了

可惜早期数据也没了

作者: somesun 时间: 2018-5-8 18:04

posted by wap, platform: iPad

引用:

原帖由 @blackeyed 于 2018-5-8 15:00 发表
这作用已经巨大了好吧
每隔三五年一个牛市的话, 三五年随便买点还行的股票,每年就是20%啊
如果自身一直在炒股, 到你那个股票数值达到800以上就坚决空仓的话, 也可以减少30以上的损失
当然了,炒股最大的困难还是自己的心
人人都喊满仓冲一万点, 就你不去, 需要强大的心

是的, 这个关键词趋势可以很好的把握离场时间

假如下次牛市来了, 可以拿2015年搞点为基准, 设置一个警戒位, 比如70%, 边涨边抛肯定没错

作者: yplxf 时间: 2018-5-8 18:11

posted by wap, platform: Android
lz牛逼坐等星空找人

作者: alexonline 时间: 2018-5-8 18:13

posted by wap, platform: 小米
厉害~五体投地啊~

作者: hill_z 时间: 2018-5-8 18:35

posted by edfc, platform: iPhone 6s
Mark

作者: lmfan 时间: 2018-5-8 19:10

感觉很牛B

作者: 洛克狼 时间: 2018-5-8 20:08

卧槽牛逼

作者: mana 时间: 2018-5-8 20:08

最早2000年上这里的时候，我记得还有tgfc杂志可以订阅发到邮箱里，站长还是什么高级别人员，叫SSPS，恍如昨日~

作者: GioGio 时间: 2018-5-8 21:09

LZ有心了！

作者: behire 时间: 2018-5-8 21:13

引用:

原帖由八子于 2018-5-8 17:56 发表
posted by wap, platform: iPhone
当年我跟江西恐龙还有不解之缘，当时恐龙被人轮了之后发帖说再也不来tg了，我找到她说把这个ID给我吧，然后恐龙真给我了，过了几天就被超管收了还给她了……后面恐龙来tg主要在说东 ...

好像很久都没有见过江西恐龙了...之前他还在火石的时候还跟他面交过 SONY HDMI 线....09年的样子

作者: dansary 时间: 2018-5-8 21:21

感谢楼主，居然也能搜索到自己的发帖记录数

作者: somesun 时间: 2018-5-8 23:26

posted by wap, platform: iPad
星座找人功能已上线

另外各图片有工具栏, 是可以下载图片, 或放大缩小的

作者: gackt 时间: 2018-5-8 23:40

太牛了LZ
青春都在tg了

作者: 飞奔的火腿肠 时间: 2018-5-9 00:31

posted by wap, platform: Galaxy S7 Edge
牛逼楼主

作者: 地刺 时间: 2018-5-9 01:21

sun哥太骚了 and这个为什么不在水区

作者: sxfddxsxf 时间: 2018-5-9 06:12

posted by edfc, platform: iPhone 6s
四万会员感觉差不多了

作者: sonic4747 时间: 2018-5-9 06:37

Posted by: OnePlus ONEPLUS A5010
历史时刻。

欢迎光临 TGFC Lifestyle (http://club.tgfcer.com/)