登录
注册
搜索
切换配色方案
月白·素练
东方雅韵
竹青·幽篁
霁蓝·澄碧
朱砂·绛霞
紫宸·夜宴
黛青·烟岚
天蓝·明亮
莫兰迪雾色
雾灰·静默
鼠尾草·低吟
陶土·温存
石板·沉静
薄红·微醺
燕麦·素净
自然原木
橡木·暖阳
苔藓·晨露
陶土·粗陶
砂岩·旷野
森林·深境
桦木·素白
积分商城
首页
Portal
导读
Guide
排行榜
Ranklist
宝藏
成就中心
摸鱼
有奖推广
资源广场
扫一扫,关注我们
我的空间
我的消息
我的收藏
我的好友
我的相册
我的道具
帐号管理
退出登录
五子棋
象棋
数独
游戏勋章
彩蛋
牛马社区
»
节点
›
广场
›
茶馆
›
Token定译"词元"
Token定译"词元"
[复制链接]
BoPoMo
发表于 2026-3-31 13:14:41
|
来自:
|
显示全部楼层
|
阅读模式
来吧,登录吧,往日欢迎你!
您需要
登录
才可以下载或查看,没有账号?
立即注册
×
Token定译"词元",我认为这是一次典型的学术抢注。
全国信息技术标准化委员会把token的中文定名为"词元",源头是NLP时代的旧译,但问题是:2026年的token早就不是2021年的token了。
当年token确实主要切的是"词"——英文拆词根词缀,中文拆字拆词,叫"词元",勉强说得通。
但今天呢?GPT-4o在处理图像,Sora在处理视频,音频、3D、蛋白质序列全都在被tokenize,请问一帧视频画面切出来的token,"词"在哪里?
一个已经溢出了"词"的边界的概念,你拿一个带"词"字的名字去框它,这不是翻译,这是刻舟求剑。
更值得玩味的是时机。为什么2021年定名的时候没人在意,偏偏OpenClaw烧token烧到上新闻、黄仁勋把数据中心喊成"token工厂"的时候,官方才急着盖章?
因为token变成钱了!
日均调用量从1000亿到40万亿,人民日报用"词元消耗量超过美国"来写标题——这个语感像不像"钢铁产量跃居世界第一"?
给一个计量单位命名,本质上是在铸币。 腾讯研究院提"模元",新智元系推"智元",学术圈守"词元"——每个名字背后都是一个利益叙事在抢话语权
叫"词元",NLP老炮儿的定义权延续了;叫"智元",AI产业叙事吃到红利;叫"模元",模型公司才是印钞机。
你管它叫什么都行,反正账单上只写token。
回复
使用道具
举报
全部回复
0
显示全部楼层
暂无回复,精彩从你开始!
发帖
快速回帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
楼主
BoPoMo
Lv.1
初尘
关注
主题
20
回复
11
积分
95
回复
评分
分享
发帖
今日热帖
1
新人报到
2
来看美眉
3
从牛马论坛整了一套表情过来,感觉咋这么大
4
20年前在mop连载小说,现在继续 《一起穿越
5
月亮影响你写诗作画吗?
6
还不错,虽然金额不多
7
我猜等一会会出现一个我网站的帖子
8
好奇怪,出现孤儿贴?
9
来灌水
10
零技术实操AI开发WordPress主题
广告
翡翠彩蛋
当前页面有彩蛋,请仔细寻找哦!
返回顶部
返回列表