posted by wap, platform: iPad
TGFC 20years Dashboard 项目简介
地址:  http://35.194.171.40/

TGFC20 项目简介项目创意一个多月前, 我发了个帖子, 问tg建站日期是什么时候, 因为我突然想到tg好像快20年了, 简单查了下最老几个用户比如rb, 注册日期是2000年初, 1号id是voodoo, 但是时间是2006, 应该改过了,所以我假定tgfc建站时间大概是2009年吧.
不管具体日期如何, 确实是快20年了, 仔细想想天朝这么多年, 能持续20年的网站还真不多, 更别说这么一个小众网站了, 就算很多曾经很火的网站, 很多也早已不存在了.
一个网站能存在这么久, 肯定有他的价值所在. 而对于一个论坛来说, 会员就是最大的价值, 就是因为有这么多铁杆会员, 把tg当成一个真正的社区, 愿意互动分享. 所以我一直认为, 论坛这种最古老的网络应用, 将长期存在下去.
时不时也有人发帖, 说如果tg不在了如何, 要不要找个地方继续, 我个人觉得不太可能, 没那么容易换个地方还能有原来的感情的. 所以我也早就想过这个问题, 如果tg不在了, 我也不想找个替代品了, 就这样吧, This is it.
不过, 我想留下一些东西, 一些回忆, 所以就有了初步的想法. 恰巧, tg4月出了故障停了不少时间, 也进一步坚定了我的想法.
项目需求开始很简单, 就是想做个爬虫, 抓取tg的所有网页, 然后存到本地数据库, 不就可以一直保留, 甚至搞个搜索引擎, 时不时搜一搜当年的趣事.
但项目开始后, 我慢慢也有了更多想法, 其实tg历史有很多有意思的地方, 而项目是解决问题的, 那么我就提出以下几个问题吧.

• 三大主机 ps xbox wii, 到底哪个火?
• 锤片, 蝶片两位那个更火?
• 大屁股的威名无人不知, 那么大屁股什么时候开启传奇之路的呢?
• tg最著名的中山公园事件发生在什么时候?
• 小米, 华为到底哪个火?
• 一些老会员, 如江西恐龙等什么时候开始隐退的呢?
• tg什么时期最火爆?
• 水区, 游戏区的发帖趋势如何?
• 最多一天发帖多少?
• tg谁是最铁杆会员, 贡献最大?
• 股票讨论一多就要完是不是真的?

项目就是为了回答这些问题的, 后面将揭晓答案


项目开发我大概分成3个子项目进行开发, 每个子项目独立运行, 每个子项目产出将作为下一个子项目的输入

• 子项目1, 爬虫 - 目标是爬取tg超过2000万帖子
• 子项目2, 文本分析 - 分析2000万帖子, 和所有会员信息进行分词,统计
• 子项目3, web展示- 通过互动图表展示这些统计数据

项目技术

主要是python+javascript

项目周期

共投入大约300小时开发时间 3月底开始, 持续一个半月吧

项目结果

爬虫共抓取帖子25891836条, 共分析文本2265045897字

刚好帖子2千万, 也符合tg特色, 文本超过20亿字
最终可以很好回答以上提出问题, 并提供各种互动图表


项目展示废话不多说了, 上图

• 三大主机 ps xbox wii, 到底哪个火?

很明显, ps 遥遥领先, xbox和wii差不多

• 锤片, 蝶片两位那个更火?

貌似锤片先火, 蝶片后来居上

• 大屁股的威名无人不知, 那么大屁股什么时候开启传奇之路的呢?

看图, 大屁股貌似2015年开始传奇之路

• tg最著名的中山公园事件发生在什么时候?

2009年一月, 中山公园事件轰动一时

• 小米, 华为到底哪个火?

2016年前不相上下, 2016年华为暴跌, 小米后来逆市增长, 也符合实际情况

• 一些老会员, 如江西恐龙等什么时候开始隐退的呢?

江西恐龙好像2010后就开始隐退了

• tg什么时期最火爆?

tg2007到2017访问量其实很稳定的

• 水区, 游戏区的发帖趋势如何?

可以看到, 游戏区2007年达到顶峰, 之后变快速花落了, 当年的, 水区2007年后边暴涨, 很快取代成为tg第一板块

• 最多一天发帖多少?

tg之最告诉你

• 股票讨论一多就要完?

看图, 确实2007, 2015是个高峰, 对应了这么多年的两个牛市

• tg谁是最铁杆会员, 贡献最大?

tg会员星空图, 我把会员各项活动算了一个总积分, 并划分为各个行星, 就好像tg是宇宙,我们每个人是个小星.

最后, 海王星大神只有2人, 分别为west2046, 和 zhaolinjia, 这两人都是名副其实的tg铁杆, 向他们致敬. 你们也来找找看自己在那里呗.

计算公式为: 在tg天数 * 1 + 主贴数 * 3 + 回帖数 * 1 + 总文字数 / 100 + 鸡骚 * 2 + 精华 * 500

声明

本项目完全是个人兴趣, 所有数据仅供参考, 且都以实际统计为准, 部分与tg现实数据不符, 因为抓取过程中也发现很多错误的帖子.

存在问题

• 汉语分词其实是个很深的学问, 我目前只是做了初步分词学习, 肯定还有很多词应该出现但没发现的, 大家可以推荐下

FAQ

• 这个网站服务器在哪里?

目前是在google cloud

• 这个网站打算开多久?

初步计划是开一年

• 目前数据怎么更新?

数据需要手动更新, 且比较麻烦, 所以打算每3个月更新一次

• 没有域名?

暂不打算申请专门域名

总结

最后看数据, 有点惊讶, tg居然只有4万多有效会员(指发过贴, 且没被封或删id的) 大部分会员都可算是核心, 8年以上占大部分

从关键词趋势确实可以看出很多有意思的东西

感谢

感谢TG, 感谢站长和比卡丘等人, 我觉得无论人或物, 如果能相处十年, 那一定是有爱的. 此项目献给所有爱tg的人!

感谢python, 没有python很难独立高效开发, python是神, 不解释

感谢很多开源大神的分享, 没有开源开发寸步难行啊

感谢我的测试服务器, 去年组装ryzen 1700+32G , 这次16线程终于派上用场, 文本处理相当耗时

感谢imac , 我的主力开发机, 确实稳定高效, 光荣完成任务, 打算换台新的了

2018.5.7 somesun

最后送上彩蛋
致MJ

[ 本帖最后由 somesun 于 2018-5-8 01:35 编辑 ]

本帖最后由 somesun 于 2018-5-8 23:39 通过手机版编辑

赞一个，lz搞数据挖掘的吧

不错，很有爱
支持

麻痹部署搞了一天, 网络太慢了, 睡觉了, 明天再来

posted by wap, platform: Android
牛逼前排留名

posted by wap, platform: Meizu MX4 Pro
火前留名

posted by edfc, platform: iPhone 8 Plus
这项目好

Posted by: Xiaomi MI 5s
这个很有爱又很有意思，前排留名  TGFC·NG

posted by wap, platform: Samsung
前排。

posted by wap, platform: Android
前排留名

first page??

233

tgfc股票发帖讨论量和牛熊市的对比, 我一直写在计划表, 还没空做, 没想到让楼主先做了……

那我问一下, 怎么定义股票讨论的, 不会是"股票"这两个关键字吧……

关键词趋势图能不能用正则表达式?

[ 本帖最后由 blackeyed 于 2018-5-8 02:14 编辑 ]

posted by wap, platform: iPhone
太吊了 mark慢慢看

posted by wap, platform: iPad
不错，楼主有心了

Posted by: Xiaomi MIX 2
大作…马克慢慢看