Google推出用于语言AI模型的TensorFlow.Text库
Google今天推出了TensorFlow.Text，这是一个使用TensorFlow预处理语言模型的库。由Google Brain团队创建的开源机器学习框架已经有超过4100万次下载。
TensorFlow.Text可以使用PIP安装，并且能够利用令牌分解和分析文本，如单词，数字和标点符号。
在发布时，TensorFlow.Text可以识别空白区域，unicode脚本以及预定的单词片段序列，例如Google称之为词组的后缀或前缀。Wordpieces常用于像BERT这样的方法，这是谷歌去年秋天开源的语言模型的预训练技术。
根据宣布这一消息的Medium帖子，该库还附带了标准化，n-gram和标签序列约束的操作。
TensorFlow.Text的标记器使用RaggedTensors，这是一种用于识别文本的新型张量。谷歌工程师Mark Omernick今年早些时候在TensorFlow开发者峰会上详细介绍了对TensorFlow的RaggedTensors和Unicode支持。
这个消息是在TensorFlow 2.0测试版发布几天后发布的。谷歌开源框架的最新版本于3月份在TensorFlow Dev Summit上发布。TensorFlow 2.0使用更少的API，更深入的Keras集成以及Eager Execution的运行时改进。
TensorFlow.Text是谷歌在过去几个月推出的最新专用库，旨在帮助人们通过机器学习完成特定任务。TensorFlow Graphics上个月发布，旨在为图形和3D模型带来更深入的学习。
谷歌今年早些时候表示，也许最流行的是用于嵌入式设备的TensorFlow Lite，现在已经在超过20亿台设备上使用。Google使用TensorFlow Lite来支持GBoard上的语音检测和Google相册中的边缘检测等功能。
今年3月，Google推出了TensorFlow Privacy以及TensorFlow Federated，这是一种可以确保更好的用户隐私保护的设备上机器学习方法。该公司将其视为将隐私作为开发人员优先考虑的一种方式。TensorFlow.js和TensorFlow Swift，JavaScript和iOS开发人员框架的版本，今年春天也得到了升级。