
春丽裸体被爆❌羞羞漫画手机版下载
详情介绍
春丽裸体被爆❌羞羞漫画中文版下载是一款模拟经营策略游戏,该版本玩家可以直接通过安卓模拟器在电脑上安装体验。该游戏采用唯美的水墨画风,将中国风元素融入游戏场景,为玩家带来极致的视觉享受,让您沉浸其中,感受w3u7903ejky2ywls之美。在游戏中,玩家将扮演一位祖师,开宗立派,培养一众有趣的弟子,帮助他们渡劫成仙。每位弟子都拥有独特的命格和属性,个性迥异,让您体验到千奇百怪的修仙生活。
与此同时,春丽裸体被爆❌羞羞漫画官方版下载还拥有独特的挂机机制,您可以将游戏放置在后台,解放双手,让弟子们自动修炼、渡劫,贴心呵护您的修仙门派。宗门地产建设也是游戏的重要内容,您可以自由摆放,打造属于自己的修仙宗门,创造仙门人的理想家园。从山海异兽到一石一木,处处充满着古韵仙风,让您仿佛置身于修仙小说般的仙境之中。
仅需0.4GB,参数只有0和±1!微软开源首个原生1 bit模型,CPU轻松跑特色
新智元报道
编辑:定慧 好困
【新智元导读】微软研究院开源的原生1bit大模型BitNet b1.58 2B4T,将低精度与高效能结合,开创了AI轻量化的新纪元。通过精心设计的推理框架,BitNet不仅突破了内存的限制,还在多项基准测试中表现出色,甚至与全精度模型不相上下。
大模型轻量化终于又有好玩的了。
就在最近,微软亚研院开源了第一款参数量达到20亿,并且还是原生1bit精度的LLM——BitNet b1.58 2B4T。
论文地址:https://arxiv.org/abs/2504.12285
这个模型好玩在三个点上,其实都在模型名字里了:
1. b1.58量化
这个模型里的参数,一共只有{-1, 0, +1}三种数值,很难想象知识是如何压缩在里面的!(根据信息论计算公式,这个模型的精度就是≈1.58,如果是纯粹的1bit量化,那么只有两个数值)。
2. 模型非常的小!
参数只有2B,和动辄14B、32B、617B等全量模型相比,大小还不到他们零头,并且由于参数的精度压缩到极低,所以这个模型只有0.4GB的大小。
3. 针对CPU的推理框架
使用为CPU架构专门设计的开源推理框架BitNet来运行,微软已经花了1-2年的时间来完善了这个框架。
这种低精度、低参数,并且能在CPU上原生推理的大模型,为端侧AI开启了无限可能性。
甚至未来有可能可以部署在家里的电饭煲或者冰箱中,成为真正的「AI智能体」。
首个开源原生1bit模型
微软推出的BitNet b1.58 2B4T是首个开源的、原生1 bit的LLM,参数规模达到20亿。
该模型在包含4万亿个Token的语料库上进行训练,别看它小,这个模型在涵盖语言理解、数学推理、编码熟练度和对话能力的基准测试中都进行了严格评估。
只有三种参数的BitNet b1.58 2B4T的性能与同类大小全精度的LLM相当。
上图可以看到,BitNet b1.58 2B4T在30亿参数以下的模型中,就性能与内存而言,取得了不错的平衡。
在11个基准测试中的平均分已经和1.5B和2B的全精度模型相当,用微软自己的话说就是,「推进了由领先的开放权重LLMs定义的帕累托前沿,展示了更高的效率」。
同时,BitNet b1.58 2B4T在计算效率方面提供了显著优势,包括大幅减少的内存占用、能耗和解码延迟。
该模型的权重已经通过 Hugging Face 发布,并提供了针对GPU和CPU架构的开源推理实现。
极限的技术探索
开源LLMs已经是AI领域非常重要的一股力量,但是由于部署和推理所需的大量计算资源(简单说就是没卡)阻碍了社区发展——虽然开源了,但是大部分人都玩不了。
1-bit LLMs,代表了一种极端但是非常有前景的模型量化形式。
当模型的权重被限制为二进制{-1, +1}或三进制{-1, 0, +1},通过大幅减少存储权重所需的内存并实现高效的位运算,它们有可能显著降低部署成本、减少能耗并加速推理速度。
微软的这项工作证明,当原生1 bit LLMs在大规模上数据集有效训练时,可以实现与全精度类似规模的模型相媲美的性能。
BitNet b1.58 2B4T的架构采用标准的Transformer模型,并基于BitNet框架进行了修改,该模型完全从零开始训练——参数并不是后期量化成{-1, 0, +1},而是原生训练。
预训练技术路线
预训练语料库由公开可用的文本和代码数据集组成,包括大型网络爬虫数据集,如DCLM和教育网页数据集,如 FineWeb-EDU。
为了增强数学推理能力,还加入了合成生成的数学数据。
在预训练之后,模型进行了有监督微调(SFT),以提高其指令跟随能力,并改善其在对话互动格式中的表现。
SFT阶段使用了多种公开可用的指令跟随和对话数据集。
为了进一步增强特定能力,特别是在推理和复杂指令遵循方面,还补充了使用GLAN和 MathScale方法生成的合成数据集。
为了进一步使模型的行为与人类对有用性和安全性的偏好保持一致,在SFT 阶段之后应用了直接偏好优化(DPO)。
DPO是一种比传统的RLHF更高效的替代方法,它通过直接优化语言模型并利用偏好数据,避免了训练单独奖励模型的需求。
DPO 阶段进一步精炼了模型的对话能力,并使其更好地与实际使用中的预期交互模式保持一致。
性能评估
通过多种基准测试来衡量模型的表现,这些基准测试包括了:
语言理解与推理
世界知识
阅读理解
数学与代码
指令跟随与对话
如表1所示,BitNet b1.58 2B4T展现了显著的资源效率。
与所有评估过的全精度模型相比,它的非嵌入内存占用和解码过程中估算的能耗明显较低。
内存占用为0.4GB,输出延迟为29ms。
在任务表现方面,BitNet b1.58 2B4T也表现得非常具有竞争力。
它在多个涵盖推理、知识和数学能力的基准测试中取得了最佳结果。
进一步通过与Qwen2.5 1.5B的后训练量化(PTQ)版本进行比较,探索效率与性能之间的权衡,使用了标准的INT4方法(GPTQ和AWQ)。
INT4量化虽然成功地减少了全精度模型的内存占用(从2.6GB下降到0.7GB),但由于原生的1 bit架构,BitNet b1.58 2B4T的内存需求更低。
更重要的是,这种卓越的内存效率并没有牺牲与量化模型相比的性能。
标准的后训练量化(PTQ)技术会导致相较于原始全精度模型,性能出现明显下降(从平均55.72下降到了51.17)。
相比之下,BitNet b1.58 2B4T在评估的基准测试中表现优于Qwen2.5-1.5B的INT4量化版本。
最后,将BitNet b1.58 2B4T与其他针对或量化到接近1 bit精度的模型进行比较。
评估结果明确地将BitNet b1.58 2B4T定位为该类别的领先模型。
BitNet b1.58 2B4T在大多数基准测试中取得了最高分,表现远超所有其他比较的 1 位模型。
推理部署:GPU/CPU都能跑
高效的推理对于LLM的部署至关重要,尤其是在资源受限的环境中。
BitNet b1.58 2B4T采用1.58位权重和8位激活的独特量化方案,因此需要专门的实现方式,因为标准的深度学习库通常缺乏针对这种混合精度、低位格式的优化内核。
为了解决这个问题,微软开发并开源了专门的推理库,支持GPU和CPU平台,特别地,针对CPU开发了bitnet.cpp。
bitnet.cpp是一个C++库,作为1 bit大规模语言模型(LLM)在CPU上推理的官方参考实现,bitnet.cpp提供了针对标准CPU架构优化的内核,旨在高效执行。
但路还很长
微软研究院提供了一个在线的,已经部署好的体验网站。
并且分为了CPU部署和GPU A100部署两种模式。
让我们实测一下,这个模型到底能不能用?
可以看到,不论是CPU还是GPU,输出内容的都还不错。
看来微软所言非虚,这次这个模型还得很能打的。
简单测试一下数学问题,整体输出还是OK的,输出速率在27 token/s。
写代码也不在话下。
总而言之,微软研究院发布的BitNet b1.58 2B4T模型,以其仅20亿参数、创新的原生1.58位量化技术(参数仅为{-1, 0, +1})和仅0.4GB的大小,代表了LLM轻量化的一次重要探索。
虽然各个指标方面都追求极致的缩小,但是这个模型保持了与同等规模全精度模型相当性能。
尽管实际测试显示其在特定任务(如非英语处理)上仍有局限。
但其开源特性和展现出的潜力,无疑为资源受限的端侧AI部署开启了新的想象空间。
1-bit的尝试是极限的,但是通往未来AI的道路是无限的。
作者介绍
韦福如
韦福如博士现任微软杰出科学家,领导团队从事基础模型、自然语言处理、语音处理和多模态人工智能等领域的研究。
近年来,他还致力于领导和推进通用型人工智能的基础研究和创新。
韦博士还担任西安交通大学和中国科技大学兼职博士生导师,香港中文大学教育部-微软重点实验室联合主任。
马树铭
马树铭(Shuming Ma)是微软亚洲研究院(MSRA)自然语言计算组的研究员,工作地点位于中国北京。
在加入微软亚洲研究院之前,于2019年获得了北京大学的硕士和学士学位,研究方向主要为自然语言处理。
马树铭的研究兴趣集中在大规模预训练语言模型领域。已经在顶级学术会议上发表了30多篇论文,包括ICML、ICLR、ACL、EMNLP等。
王鸿钰
现为中国科学院(CAS)三年级博士研究生。本科毕业于中国科学技术大学(USTC)计算机科学与技术系,期间在钱超副研究员的指导下进行学习和研究。
目前在微软亚洲研究院(MSRA)通用人工智能组(GenAI)担任研究实习生,受韦福如博士和马树铭博士的指导,实习时间为2021年8月至今。
参考资料:
https://arxiv.org/abs/2504.12285
https://huggingface.co/papers/2504.12285
游戏亮点
1、丰富多彩的修仙玩法
除了培养弟子和建设仙门外,游戏还包含了炼丹、炼器、仙田等多种修仙玩法,让玩家体验到修仙的方方面面。
2、自由建设的仙门地产
玩家可以自由摆放修仙宗门的建筑,打造属于自己的修仙家园,创造仙门人的理想世界。
3、精美细腻的游戏画面
游戏的画面精致细腻,每一个场景都充满了古典美感,让玩家仿佛身临其境,感受到修仙之美。
4、社交互动的乐趣
游戏内置丰富的社交系统,玩家可以与其他玩家组成联盟,共同对抗强敌,体验多人合作的乐趣,增加了游戏的可玩性和趣味性。
游戏评测
1、游戏玩法丰富,内容深度十足,给玩家带来了极佳的游戏体验。2、画面精美,场景设计唯美,让玩家沉浸其中,感受到了修仙世界的奇幻美感。
3、挂机系统的设置贴心实用,解放了玩家的双手,让玩家更轻松地享受游戏乐趣。
4、弟子个性化塑造突出,每个弟子都有自己独特的故事和特点,增加了游戏的趣味性和可玩性。
更新日志
v4.787.855033版本
1.1调整问鼎苍穹席位赛的防守阵容设置规则,现在任何时候都可以调整防守阵容
1.2优化天道树领悟道果时道果数量不足的获取提示,现在会自动打开道果宝箱,方便祖师快捷获取
1.3优化新增仙法问道投资活动的购买提示,现在休赛期购买投资时,如果无法拿满奖励则会有二次确认提示
1.4修复连续炼制同种丹药时,炼制材料的数量显示异常的错误
下载地址
- 电脑版
- /安卓版
- 本地下载通道:
- 仅下载APK文件
同类游戏
网友评论
共0条评论类似游戏
-
动漫美女裸体❌羞羞漫画 v8.325.487358 休闲益智 / 1.9G
-
蜜桃AV鲁一鲁一鲁一鲁樱花影院app下载 模拟经营 / 358.20MB
-
连体衣美女裸体被❌视频最新版下载 角色扮演 / 7.55G
-
蔚蓝档案裸乳被爆❌白浆的视频 v9.9.11 模拟经营 / 2.39MB
-
國產 - yp国产麻豆手机版下载 角色扮演 / 4.9G
精彩发现
换一换精品推荐
-
唐舞桐裸体被❌羞羞软件 v5.3.8 经营养成 / 2.3MB
查看 -
奇优影院手机版💚 v8.144.286186 经营养成 / 37.12MB
查看 -
❌❌❌日本video7 v1.935.990363 经营养成 / 4.96G
查看 -
樱桃视频♥成人app♥i v4.532.380660 经营养成 / 582.19MB
查看 -
守望先锋dva自慰 v7.773.258062 经营养成 / 265.1MB
查看