InkSight的模型通过整合阅读和书写的“先验知识”——人类解读和重现文本的倾向或知识，能够适应多样的手写风格和外观。这些先验知识使得模型在面对训练数据难以标准化的多样化手写样式时，也能进行有效的文本识别和墨迹生成。阅读先验帮助模型识别复杂图像中的文本元素，书写先验则确保数字墨迹输出与自然手写动态保持一致，真实地捕捉笔画顺序。
通过将视觉变换器（ViT）编码器与mT5编解码器变换器结合，InkSight模型不仅能够输出文本，还能生成数字墨迹，从而在不同的视觉条件下，如光照变化和复杂背景中，保持手写输入的语义（内容）和几何（结构）属性。
此外，谷歌研究团队已经发布了一个公开版本的模型，该模型利用所有可公开获取的数据进行训练，虽然与使用专有数据训练的模型相比性能略有下降，但仍得到了82%的人类评估者的认可。
技术博客｜GitHub｜模型开源链接
