Geimini 1.5 原生多模态的音频理解, 强的有点夸张... 不仅能识别说话语气, 还能自动识别说话人到人名? 我拿了一个最近两天的音频给Geimin 1.5 问: "整体概括, 告诉我前两分钟说话的人是谁. 语气如何" 不仅几乎完美回答, 同时还把具体说话的美国议员的名字都识别出来了... (这真不是data leak?)

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

1869 位用户此时在线

24小时点击排行 Top 10：

目前，吴京妻子谢楠的抖音号评论区已沦陷，网民们纷纷在评论区发布吴京梗图、“护照哥呢” “呼叫吴京”诸如此类的评论。此前吴京曾表示：“中国护照也许不能让你去世界上任何一个地方，但是中国护照能把你从世界上任何一个地方带回来”

1月9日，抖音副总裁转发一名网友的视频，视频分析了谣言、仇恨言论、戾气以及网暴是如何在社媒传播的。微博CEO“来去之间”也进行了转发。

估计这个视频习包子永远看不到 🙏😂

2025娓娓道来一部电影《狗镇》电影冗长而又简单，一个舞台，一个又一个的格子间，简陋的背景，寒酸的镜头，但这部电影的评分一直都很高，因为活脱脱剥开了人性的一角。如果你要想真正的明白毁掉自己，废掉一个人最快的方式是什么——向下兼容。

现在看到这种视频，我的心已经很“硬”了，因为退休工资越低的人，认知越低，越爱党爱国恨美帝，也许他们生活贫瘠，内心充实。所以只能一声叹息，这就是命，希望这辈子的苦吃完下辈子投个好胎

盘点恐怖园区

蒲城事件从发生到结束时间并不长，在暴力強权镇压下也会烟消云散。只是发生在穷乡僻壤的群体性暴动，对中国社会产生的震撼和影响会很深远。

男子与“突击队”发生冲突一队员不断挑衅男子抄起凳子就砸

韩国日本里子早都空了🤓

1月5日(发布)，网红 “吉林大波” 发视频称，一重庆游客到吉林旅游意外受伤，好心的大叔将其送到医院并垫付了3千医药费，结果游客一声不吭的就走了。

这是数年前的视频，再次翻炒。

据传中共为了灭杀老年人口，已开始在山西霍州大范围播撒病毒。

可遇不可求的地狱风景，能拍到也太幸运了吧。

网友统计的2024年12月由官方自媒体发布的反腐新闻，单12月公布的腐败被查事件就涉及上100件。

Poor women.

卡马拉·哈里斯回头看正在与奥巴马交谈的川普... (卡特葬礼)

1月8日，广西柳州，因燃气表更换成智能表后费用大幅增加，当地市民在柳州中燃门口维权

调节汽车后视镜的一套标准的方法。

5G、光刻机、芯片、6代机的本质都是这样。问题就在于你有没有价值判断，是没见棺材就掉泪，还是花了冤枉钱才知道结果。贫穷的居民部门不可能造出好东西，人都不是傻子。奴工出奇迹只存在于秦始皇年代

⚜泰国警察告诫中国网友，泰国有很多绑架公司

早产儿被医生宣告夭折,护士随手将婴儿装进垃圾袋丢到厕所

Women in Islam.

网友投稿 1月5日晚大量群众自发聚集到蒲城职业学校前，为坠亡学生声援维权。期间有警察进行暴力抓捕。涉事坠亡学生家长则在这期间被职业学校软禁在酒店，学校的老师一直站在房间门口监视

转：纽约移民健康体验报告来自中国大陆的移民体内铅含量比其他亚洲新移民高44% 镉高60% 汞高530% 汞含量比纽约当地人高660% 于是很多人误以为中国人的主食是——电池。

All five living U.S. presidents — Bill Clinton, George W. Bush, Barack Obama, Donald Trump and Joe Biden — are in attendance at the state funeral of former President Jimmy Carter.

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

Geimini 1.5 原生多模态的音频理解, 强的有点夸张...
不仅能识别说话语气, 还能自动识别说话人到人名?
我拿了一个最近两天的音频给Geimin 1.5
问: "整体概括, 告诉我前两分钟说话的人是谁. 语气如何"
不仅几乎完美回答, 同时还把具体说话的美国议员的名字都识别出来了... (这真不是data leak?)
时政
( twitter.com )

9个月前由 G_Z 提交

点击图片查看原图

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

推荐阅读：《多模态和多模态大模型 (LMM)[译]》
这是一篇相当详尽的讲述多模态和多模态大模型的文章！内容分为三部分。
* 第 1 部分围绕多模态的概念展开，讲述了使用多模态的原因、不同类型的数据模态以及多模态任务的种类。
* 第 2 部分深入探讨了多模态系统的核心原理，以 CLIP 和 Flamingo…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

2

2

1

1

兄弟们，这个模型很强大！👍🏻
M2UGen：多模态音乐理解和生成模型
该模型由腾讯与新加坡国立大学开发，M2UGen能够理解各种音乐，包括风格、演奏乐器、表达的情绪情感等，并进行音乐问答。
而且还能根据文本、图像、视频和音频生成各种音乐，同时对生成的音乐也能理解并根据文字描述对音乐进行编辑。…
IT技术
( twitter.com)

1年前 • 小互 • -- 点击 • 下载视频 0 评论

00:04:35

3

2

1

1

Azure 平台多模态支持来了，不再局限于文本对话生成，实现图文和音频等内容的双向识别转换：

1. 发送链接总结新闻，生成新闻摘要总结，返回音频朗读；
2. 发送长音频，识别文本，生成简短的音频总结；
3. 发送照片，生成食谱、…
IT技术
( twitter.com)

1年前 • 𝘅𝗶𝗻𝘇𝗵𝗶  • -- 点击 0 评论

4

2

1

1

#AI开源项目推荐#：AudioGPT
这是一个借助大语言模型（LLM）处理音频的工具，可以：
- 生成音乐 🎶
- 背景音效 🎵
- 音频生成字幕 🎤
- 文字生成音频 🗣️
- 文字生成音频并模拟声音 📢
- 根据图片生成音频…
推特中文圈
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

5

2

1

1

Stability AI 开源其音频生成模型：Stable Audio Open
• 能够通过简单的文本提示生成最长47秒的立体声音频（44.1kHz）。
• 适用于创建鼓点、乐器片段、环境声音和拟音录音等。
• 基于transforms扩散模型（DiT），在自动编码器的潜在空间中操作，提高生成音频的质量和多样性。
•
时政
( twitter.com)

7个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:00:47

6

2

1

1

LEGO：一个由字节跳动和复旦大学研发的多模态理解和图像定位模型。
LEGO能够处理和理解多种类型的输入，支持图像、音频和视频输入，并对这些信息进行分析和理解。
模型还具备精准定位的能力。例如在图像中标识出物体的具体位置，在视频中指出特定事件发生的时间点，在音频中识别出特定声音的来源。…
IT技术
( twitter.com)

1年前 • 小互 • -- 点击 • 下载视频 0 评论

00:01:13

7

2

1

1

🎉AI的多模态时代已经来临！如今，大型语言模型让AI具备了思考的能力，以下的一些出色项目则赋予了AI感知的能力，让它能听、看、说、画画、制作视频等。

它们是各种多模态Agent，可以处理文档📄、图片🖼️、音频🎵、视频🎥等，一切只…
IT技术
( twitter.com)

1年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

8

2

1

1

这是腾讯AI Lab发布的一个基于CLIP、Whisper和LLaMA构建的多模态项目。

CLIP：负责编码图像和视频帧。
Whisper：负责编码音频数据。
LLM（LLaMA/Vicuna/Bloom）：负责编码指令和生成响…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

9

2

1

1

一个开源的多模态 LLM Unified-IO 2。
比较离谱的是它可以实现语音理解和动作理解还有图像标记这种任务，还可以理解空间关系。真正的 All in one 。
甚至还可以驱动机器人做对应的操作。
项目简介：
Unified-IO 2，这是第一个能够理解和生成图像、文本、音频和动作的自回归多模态模型。…
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 0 评论

10

2

1

1

Gemini 1.5 Pro + Stable Diffusion + ComfyUI = DALL·3 !
平替 DALL·E 3！
啥也别说了，终于等来了 Gemini 1.5 Pro API，这下可以平替 DALLE3 了！还要啥自行车！
开源社区一直以来的梦想：DALLE3交互和提示词生成能力 + 无数SD模型出图能力，这不巧了嘛
百万上下文、多模态+多轮对话、打标/反推
时政
( twitter.com)

9个月前 • -Zho- • -- 点击 0 评论

11

4

3

3

建议关注 Google 新发布的 VideoPoet，它并非基于扩散模型，而是多模态大语言模型，基本上扩散模型能支持的功能它都能做，比如说：如文本到视频、图像到视频、视频到音频的转换，以及视频风格化、补画（inpainting）或延伸画（outpainting）处理。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:01:00

12

2

1

1

Google终于发布了传言中的强大多模态LLM Gemini，他们说这是迄今为止最强大的AI模型。从描述来看确实非常强大。
Google CEO的介绍视频也翻译好了，下面模型是具体的介绍：
◆Gemini 是多模态的，意味着它可以理解、操作和结合不同类型的信息，包括文本、代码、音频、图像和视频。…
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 • 下载视频 0 评论

00:04:34

13

2

1

1

封闭的 AI 模型不再占据主导地位。
现在你可以使用免费和开源的替代品：
文本生成
GPT-4o → Nvidia 3.1 Nemotron
代码生成
Sonnet 3.5 → Qwen 2.5 Coder
推理任务
o1-preview → QwQ
多模态任务
Gemini 1.5 Pro → Pixtral
获取它们的访问链接 🧵
IT技术
( twitter.com)

1个月前 • Will • -- 点击 0 评论

14

2

1

1

Injective 宣布启动 1.5 亿美元生态基金，以支持生态发展！

该基金由 , , , , ,…
推特中文圈
( twitter.com)

1年前 • Injective中文 🧬 🥷 • -- 点击 0 评论

15

2

1

1

DeepSeek 开始搞多模态了。
开源了一个多模态理解和生成一体的模型 Janus，既可以理解图片内容又可以生成图片。
Janus的核心创新是将视觉编码分为两个独立的部分:一个用于多模态理解,一个用于图像生成。
IT技术
( twitter.com)

2个月前 • 歸藏(guizang.ai) • -- 点击 0 评论

16

3

2

2

【GPT-4，下周就出】「我们将在下周推出 GPT-4，它是一个多模态的模型，将提供完全不同的可能性 —— 例如视频（生成能力）。」
大陆资讯
( www.jiqizhixin.com)

1年前 • 猪八戒 • -- 点击 0 评论

17

2

1

1

请原谅我的中文。这个过程相对简单，只需导出视频的第一帧，然后用 Adobe Photoshop 中的生成填充工具对其进行扩展。
然后将原始视频放在静态图像上，模糊视频的边缘，使动态视频和静态图像之间的填充不那么明显。
为了让整个场景更加生动，还可以在上面添加一些雪、灰尘或雾粒子。
时政
( twitter.com)

1年前 • Alex Cerrato • -- 点击 0 评论

18

2

1

1

Meta AI 今天发布的音频领域突破，继大语言模型统一了语言类任务的最好效果之后，Meta 的 VoiceBox 用一种通用模型在多种音频任务上做到了最优效果。同一个模型可以做语音识别，风格转换，噪音去除，语音编辑等多种任务。…
IT技术
( twitter.com)

1年前 • Quinn Leng • -- 点击 0 评论

19

2

1

1

2023年，几乎已听不到讨论“设计模式”的声音，但我认为它们仍然值得学习。

对我来说，学习“设计模式”的最大收获，不是那几十种模式，而是了解到了许多抽象事物的新视角。我记得第一次看到“状态模式”时，感叹：“原来状态也可以做成类？…
推特中文圈
( twitter.com)

1年前 • piglei • -- 点击 0 评论

20

2

1

1

男子模仿抖音视频连抠10多个奔驰车标。。。
大陆资讯
( news.sina.com.cn)

6年前 • 新浪社会焦点 • -- 点击 0 评论

21

2

1

1

Memo 1.3.0 重磅更新，支持合成语音后的视频导出！
- 原视频重口音？口齿不清？直接替换媲美人声的合成音。
- 日语模型现已上线，让日语视频转写文本更准确。
时政
( twitter.com)

9个月前 • Memo AI • -- 点击 • 下载视频 0 评论

00:00:21

22

2

1

1

Meta 今天公布了开源 AI 音频生成工具 AudioCraft

工具包含 3 个模型：

- MusicGen 文本生成音乐
- AudioGen 文本生成音频
- EnCodec 损失更少的音频压缩

我测试了 MusicGen
，让它生成一段 Daft Punk风格的电子乐，效果如下，呃…

#设计AI
IT技术
( twitter.com)

1年前 • 倪爽 • -- 点击 • 下载视频 0 评论

00:00:15

23

2

1

1

Meta 昨天推出了 Voicebox，一个全能语音生成模型，这是一个支持六种语言和多种语音处理功能的模型，功能包括

基于上下文的文本转语音合成
跨语言风格转换
跨语言风格转换
多样化的语音采样

详细的功能介绍和原理在下面🧵：
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 • 下载视频 0 评论

00:02:43

24

2

1

1

本周值得关注的big thing: GPT-4 发布

目前的GPT-3.5只能理解文字，所以之前推荐的Youtube摘要工具只能基于有字幕的视频

而GPT-4是多模态模型，可以同时理解图像、声音、文本和视频。也就是说，万物皆可…
推特中文圈
( twitter.com)

1年前 • starzq.eth⛩️ • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页

0.17822 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特