说到中文处理都会首先想到分词，但我最近对「熊猫吃短信」的测试和我之前看到的那篇论文结论差不多，对于机器学习来说，中文可能真的没必要分词，数据量大的情况下，不分词的效果会更好。

发布时间: 2021-04-15 14:00:11

1分

数据加载中

关注推特

收听电报

说到中文处理都会首先想到分词，但我最近对「熊猫吃短信」的测试和我之前看到的那篇论文结论差不多，对于机器学习来说，中文可能真的没必要分词，数据量大的情况下，不分词的效果会更好。
推特中文圈
( arxiv.org )

3年前由 twitter机器人提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

虽然国家队被撤下对中国来说很尴尬，但面对地缘政治对手遭到惨败可能会让中国最高领导人习近平更不高兴。
“看着一支球队以15比0的比分被击败，对任何人都没有好处，对中国和冰球都没有好处，“国际冰球联合会主席说。

海外华文
( cn.nytimes.com)

3年前 • 纽约时报 • -- 点击 0 评论

闪电预览

我对处男的文爱水平失望了x
除了抽插大力抽插和顶到最里面不会别的词是吧，老娘的*都干了（辱骂
推特中文圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

想到一个云端保存数据既保护隐私又可搜索的傻逼办法：把分的词 md5(分词:用户ID) 保存到 ES 里，这样 ES 里保存的都是 hash 值，用户搜索时再同样处理但我觉得这种可能吃力不讨好，营销团队完全不需要任何处理只要…
推特中文圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

各位推友！当您看到下面图片里的内容你首先会想到什么？提示:阿富汗塔利班是国际社会公认的恐怖组织(我首先想到的是中共也是恐怖组织，而且是恐怖分子的老大)
图片
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

换回简体发这条。一早说过我是中文熟练工，面对审查制度我有一万种替换敏感词的方法，但新话逐渐泛滥的时代，每一次在敏感词面前的犹豫都让我感到十二万分的恶心，最后彻底与审查撕破脸到社交账号被封停。来到推上我依旧执拗地拒绝热词并且保留书面语习惯，即使简体中文被新话占领，我仍有自己的语言。
推特中文圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

“当你每一次都以为香港处境已来到最坏的时候，结果总是能再次推翻你的想像。”

一位香港市民向BBC中文说，对目前为止的讯审结果感到十分难过。

海外华文
( www.bbc.com)

3年前 • bbcChinese • -- 点击 0 评论

闪电预览

政治有现实主义和理想主义之分。

大部分中文圈的人如果没有几年的上推经验，都属属于理想主义。

但是现实很残酷。

中共和习近平已经说清楚，老生常谈了，最近习近平又强调了他的意思：“你们中国人想跟他们分享权力，你们得学习塔利班，干…
时政
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

推荐个 Mac 上的好东西：Dropover

刚好今天我在整理文件，它可以把想要一起处理的任何文件先拉到悬浮窗里待命，这样在多个文件夹里先把文件挑出来，最后再一起拉到新建的文件夹什么的，免费版就能用。
图片
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

听说闫三儿最近到处发她是疫情最早的吹哨人，从我写的这篇文章梳理的时间线来看，nothing was done by闫三儿。
推特中文圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

说到中文处理都会首先想到分词，但我最近对「熊猫吃短信」的测试和我之前看到的那篇论文结论差不多，对于机器学习来说，中文可能真的没必要分词，数据量大的情况下，不分词的效果会更好。 推特中文圈 ( arxiv.org )

推特中文圈

海外华文

我对处男的文爱水平失望了x 除了抽插大力抽插和顶到最里面不会别的词是吧，老娘的*都干了（辱骂 推特中文圈 ( twitter.com)

推特中文圈

推特中文圈

各位推友！当您看到下面图片里的内容你首先会想到什么？提示:阿富汗塔利班是国际社会公认的恐怖组织(我首先想到的是中共也是恐怖组织，而且是恐怖分子的老大) 图片 ( twitter.com)

图片

推特中文圈

“当你每一次都以为香港处境已来到最坏的时候，结果总是能再次推翻你的想像。” 一位香港市民向BBC中文说，对目前为止的讯审结果感到十分难过。 海外华文 ( www.bbc.com)

海外华文

时政

推荐个 Mac 上的好东西：Dropover 刚好今天我在整理文件，它可以把想要一起处理的任何文件先拉到悬浮窗里待命，这样在多个文件夹里先把文件挑出来，最后再一起拉到新建的文件夹什么的，免费版就能用。 图片 ( twitter.com)

图片

听说闫三儿最近到处发她是疫情最早的吹哨人，从我写的这篇文章梳理的时间线来看，nothing was done by闫三儿。 推特中文圈 ( twitter.com)

推特中文圈

创建一个新帐户

登录

说到中文处理都会首先想到分词，但我最近对「熊猫吃短信」的测试和我之前看到的那篇论文结论差不多，对于机器学习来说，中文可能真的没必要分词，数据量大的情况下，不分词的效果会更好。
推特中文圈
( arxiv.org )

我对处男的文爱水平失望了x
除了抽插大力抽插和顶到最里面不会别的词是吧，老娘的*都干了（辱骂
推特中文圈
( twitter.com)

各位推友！当您看到下面图片里的内容你首先会想到什么？提示:阿富汗塔利班是国际社会公认的恐怖组织(我首先想到的是中共也是恐怖组织，而且是恐怖分子的老大)
图片
( twitter.com)

“当你每一次都以为香港处境已来到最坏的时候，结果总是能再次推翻你的想像。”

一位香港市民向BBC中文说，对目前为止的讯审结果感到十分难过。

海外华文
( www.bbc.com)

推荐个 Mac 上的好东西：Dropover

刚好今天我在整理文件，它可以把想要一起处理的任何文件先拉到悬浮窗里待命，这样在多个文件夹里先把文件挑出来，最后再一起拉到新建的文件夹什么的，免费版就能用。
图片
( twitter.com)

听说闫三儿最近到处发她是疫情最早的吹哨人，从我写的这篇文章梳理的时间线来看，nothing was done by闫三儿。
推特中文圈
( twitter.com)