Google DeepMind SL2T 把手語 AI 交到使用者手中
发布于 2026-08-13 23:55:13（微信公众号导出记录）。
本文来自公众号后台的“导出文章内容”功能。博客正文由导出长图进行本地 OCR 转写，并保留原始排版图用于逐段核对。
原文链接：查看原文
OCR 转写有效文字约 4380 字；代码、流程图和版式以文末原始排版图为准。
正文（本地 OCR 转写）
originalwex7ce EI V1ajero 2026年8月13日23:55美国
影片:美國手語版本
影片:國際手語版本
12:49
手轉文字(sign-Language-to-text,SL2T)是一项突破性模型。為暨人與重慰使用者的新手括 功能提供支援。 過去数十年間,AI虑理口語的能力迅速進步,促成了自動翻据、赚寡和對話式介面等技術,镶魅人使 用起来乎不费力。然而,这场技術革命尚末惠及全球209多種手,以及估計便用遣些错言的 7,089画名暨人阅重随人士。 今天正式推出一款大规模多言手确文字(SL2T)翻经模型,在品置通用性上取得突破。雍由遗 款模型,手AI首次實验室走进消翼性座品:SL2T為Pixel 11上Gboard與時幅 錄:(Live Transcribe)的手频文字寒功能提供支援。首波支援美圆手(Anerican Sign Language,ASL)翻露成英文。更多装置即將支援,其他語言也筹睦调加人。 正如赠人可以使用避震功能,以说話代曾打字,遭项功能也暨人能在原本需要打字的任何情境,直接 对著手機打手。手错可用来握路、起草讯息或文件,也可用来要求Gemin1解答司题或税行任 ,在“即時确,中,封括回覆可直接便用手,不必再来回打字。测就者表示,使用ASL比用英 文打字更快,更白然。也更令人愉快。 影片:Gboard手語轉文字示
十 Direct flight from Chicago to Seattle.
QDirect fight from Chicago to Seattle. Qdirect flight from chicago to seattle Qcheap flight from chicago to seattle ← are there direct from chicago to Q K seattle how long is dire mght from chicago s o Qflight tickets from chicago to see nonstop flights from chic what airlines fly direct from chic 口 Translating.. 影片扰响:由 SL2T 驱表的手插确文字功物,期使用者能在任何原本需要打字情项。宜接列著手糖打手额。 手語為何重要 手错是全球暨人社群的主装語言,也是暨人文化超同的基石。暨人在打手、现、與育作方面的 熟频理匯差很大,因此,建保所有满通模都能無险發便用十分重要。正如髓人能口虚理技術中 受益,婴人也能手語虚理技術中接益:此外,这项技術還為强合暨人與融人社群之固的满通溶满故 新的可能。倡管有概會带来正向的社會影智,手AI的进展部一直慢—既因為建模手部AI面踏 被辨挑载,也因為人們普遍娱解手語本身的通作方式。 與口語轉錄相比,手語翻谋面臨雨项核心挑载。首先,音轉錄是在同一種語言内,將聲音依序映射成 文字;手籍则是揭立的自然言,通有各自揭特的文法现量。因此,需要的是真正的碳器翻锣,而不 是依序把一個個手括桐投成文字。其次,极型必须學會「看見:理解肢動作。手透遇慰手、手 肾、、颈部與胎部的同步勤作儒達愈希。要以高影格率举確追踏这些動作,是一项困摊且谨算需求 高的電能视觉任称。 在恭的者景下,不群理解手手套等早期手技術為何微根本上有所得限:手語不只是“放在雙手上 的英文。它需要對频微的全身勤作进行瓣的视登感知,也需要完盈的語言翻得能力。SL2T的設計 目在同时霄现遗南贴。 SL2T如何運作 SL2T结合以使用者為中心、具文化服络意的方法,以及大规模資料操展。模型使用超遇18丽小 時、涵整50多程手語的资料进行期,其中的四分之一是ASL资料。把不同言、方言和熟辣程 度的資料放在一起训味,能模型學會共享的底唇结精:實输示,程方法的表现優於單一品言模 型 为保疆使用者私,SL2T看到的手語不是原始摄影機蛋面,而是一速串姿感地楼贴的位置。装置端模 MediaPipe Holistic 需造股手膳硬月者身上各国贴的位置,只有些何座會被傅送到伺服 各进行翻辉,因此原始影片可以立即睡除。 SL2T會直接把遍组座福序列翻幅成文字,缅遇通去手括幅研究中腐泛使用、态「航量標: (glo55)的中介標。胡量棵配法捕提手中显富的非線性面向,例如非手部標记與空阔精式。直 接提地贴谁行翻据,可消除人為的词量量限制。也翻译品質能直接随调料规模提升。 根FLEURS-ASL(sd-test)等部估ASL 至英文睡品質的闻键基撑润抗式,SL2T 是目前能力最 强的手語翻模型。SL2T在零様本情境下取得70分BLEURT的亮眼成,著高於先前任何已 發表的分数。然而,只針對學術基進行最佳化,亚不能保證模型在真實應用中好用。因此,實務工作 也涵蓄可能降低串流延、避免模型對非手語輸入產生臆測内容、確保對約占手語使用者10%的左 撤子公平,以及提升單手打手語時的表現一这种情境常見於使用者用另一手拿著智慧型手機時。 FLEURS-ASL基测試例 以下保留GoogleDeepMind官方文章中的英文原句,以及SL2T的英文输出,不翻、不 修正模型錯误。 Example 1 Original English The Cook Islands do not have any cities but are composed of 15 different islands. The main ones are Rarotonga and Aitutaki. SL2T's ASL → English output The Cook Islands have no cities and consist of 15 islands. The two main islands are Rarotonga and Aitutaki. Example 2 Original English The games kicked off at 10:00am with great weather and apart from mid morning drizzle which quickly cleared up, it was a perfect day for 7's rugby. SL2T's ASL → English output Games start at 10 a.m. in great weather. There is a light rain in the morning that clears up. It's a perfect day for 7v7 rugby. Example3 Original English In some federal countries, such as the United States and Canada, income tax is levied both at the federal level and at the local level, so the rates and brackets can vary from region to region. SL2T's ASL → English output In some federal countries, like the US and Canada, income tax is collected at both the federal and local levels. This means that the rates and brackets vary depending on your region. Example4 Original English This fully feathered, warm blooded bird of prey was believed to have walked upright on two legs with claws like the Velociraptor. SL2T's ASL → English output This creature is warm-blooded, eats grey, and is covered in feathers. It is believed that it walks on two legs like a velociraptor. Example5 Original English Maybe one day, your great grandchildren will be standing atop an alien world wondering about their ancient ancestors? SL2T's ASL → English output Maybe one day your great-grandchildren will stand on an alien world and reflect on their ancestors. 以上例取自FLEURS-ASL基测試。SL2T能將复離的ASL確翻成流畅的英文,但偶爾仍 會在少見的手語词、快速指拼(將「prey作「grey:)、被動式横句、分類描(漏掉 「claws」),以及缺乏上下文時的時態判(將「kickedoff作「start)等方面出。 與社群共同打造 核心理念是與暨人社群共同打造,而不只是為暨人社群打造。暨人的觀點形塑了要案的每一個段一 暨人Google員工SamSepah提出概念,到與暨人合作伴集資料、透退人使用者研究进 行评估,再到與暨人專家一同量技術影響。 為引遵負貢任的真霄世界部署,AI手語詢委員會(AI SignLanguageAdvisory Committee,AISLAC)因而成立,匯集全球多暨人组與领域要家。透過這種参與式治理模式,最 直接受到技術影響的社群,能直接影響開發優先顺序。配合SL2T1.θ在Gboard與「即時轉錄」 中的推出,聯合影響報告亦由各方共同撰寫,透明而详地明技術能力與目前限制。未来所有重要的 手語版本發布,都計畫延續這種協作方式。 展望未來 SL2T建立在學術界與產业界數十年的基碰研究之上,但使用者能在手機上输入ASL,只是起點。 Google的使命是整合全球資訊,供所有人使用,镶人人都能中受益。實現普遍無障,意味著手 語必须獲得與口語及害面語言完全對等的支援。相關工作正摘展到更多手語、手語生成與前沿AI能 力。进展將以負责任的方式持分享,透退手語取得資訊與服務,成為整個數位世界的標准。 SL2T將率先在Pixel11的Gboard與「即時轉錄中提供體驗;更多装置即將支援,而且全部 無需额外付費。
修改于2026年8月14日
原始排版图
