IT之家从博客获悉,OpenAI称:“为了最终使AI变得更加安全且造福于全人类,我们希望AI模型能够深入理解所有主题、行业、文化和语言,这需要尽可能广泛的训练数据集。”
作为数据合作伙伴计划的一部分,OpenAI表示,它将收集“反映人类社会”且目前不易在线访问的“大规模”数据集。虽然该公司计划跨多种模式开展工作,包括图像、音频和
视频,但它特别寻求跨不同语言、主题和格式“表达人类意图”(例如长篇写作或对话)的数据。
OpenAI表示,如有必要,它将与组织合作,结合使用光学字符识别和自动语音识别工具,对训练数据进行数字化,并在必要时删除敏感或个人信息。
OpenAI希望创建两种类型的数据集:一个可供任何人在AI模型训练中使用的公开开源数据集,以及一组用于训练专有AI模型的私有数据集。
OpenAI表示,私有集适用于希望保持数据私密性但希望OpenAI的模型更好地理解其领域的组织;到目前为止,OpenAI与冰岛政府和Miðeind ehf合作,提高了GPT-4说冰岛语的能力,并与自由法律项目合作,提高其模型对法律文件的理解。