公司互动丨这些公司披露人工智能、虚拟电厂等领域最新情况|视点
5月10日，多家上市公司通过互动平台、披露投资者关系活动记录表等渠道披露公司在人工智能、虚拟电厂等相关
2023-05-11
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
【资料图】
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
5月10日，多家上市公司通过互动平台、披露投资者关系活动记录表等渠道披露公司在人工智能、虚拟电厂等相关
北京时间5月11日，欧冠半决赛首回合，AC米兰主场0-2负于国米。而在这场米兰德比当中，有两个疑似点球没吹，
1、富奇6510是一款汽车。2、与其说模仿得更像了，倒不如说原套模具和先进生产线的使用使得质量上升到了一个
1、意思：2、英语和汉语是基于不同民族、文化、经济、生活环境等的两种完全不同的语言,两种语言要想沟通,就
“金熊猫奖”优秀作品展映活动在里约举行---中国驻里约热内卢总领事田敏在活动中致辞。人民网5月9日里约热
1、合体字母 "GT "将图形分为两部分，左边的 "C "代表CMCC的缩写，她环抱着 "GT "，隐喻着 "全球通 "出自于
增额终身寿险和年金险都是储蓄类保险，二者兼有保障和理财的双重功能，为此不少人陷入纠结：增额终身寿险跟
幼儿学习加法入门需要用到凑十法，很多学校的老师都会借助简单易学的“凑十儿歌”帮助孩子记忆、做到让他们
丽珠集团5月10日公告，公司收到国家知识产权局颁发的《发明专利证书》，发明名称为肠溶微丸、其制备方法和
近日，重庆市总工会发布2023年重庆五一劳动奖状(章)、重庆市工人先锋号名单，中国平安财产保险股份有限公司
1、浸湿鞋面鞋里鞋子扔到盆子里，盆子里装2 3的清水，洗涤温度不得高于45摄氏度，让鞋被水湿透。2、一般的
最近一段时间，手机影像领域非常热闹，除了一加和哈苏达成了联名合作之外，徕卡的CEO和蔡司的CEO纷纷抵达中
河南经济报记者石桂林通讯员陈爽为充分发挥妇联组织桥梁纽带作用，切实关爱维护妇女权益，5月9日下午，根据
暴雪为了暗黑破坏神4，可谓是煞费苦心，甚至在暗黑破坏神4还没有正式上线的时候，就已经向所有玩家开放了免
5月6日，太原武宿国际机场三期改扩建综合交通中心（GTC）项目最大的底板浇筑完成，标志着该项目进入主体结
英飞拓(002528.SZ)近日走出大涨大跌的过山车行情 今日一字板跌停
英飞拓(002528 SZ)近日走出大涨大跌的过山车行情，此前走出3连涨停创下阶段新高，今日一字板跌停，录得连续2日跌停，大幅回吐此前涨幅，现
京基智农(000048.SZ)再度跌超6% 总市值失守百亿元大关
昨日跌停的京基智农(000048 SZ)再度跌超6%，盘中低见16 5元创5个月新低，总市值失守百亿元大关。公司控股股东京基集团7月4日通过大宗交易方
随着全光网络越织越密 如何进一步增强消费者和产业界的“获得感”？
近年来，在5G和宽带双千兆牵引下，新项目、新试点、新应用层出不穷。随着全光网络越织越密，如何进一步增强消费者和产业界的获得感?湖北日