筆者最近正在研究openai方向內(nèi)容,涉及到模型訓(xùn)練,模型訓(xùn)練當(dāng)然少不了jsonl數(shù)據(jù)對(duì)模型的投喂,josn轉(zhuǎn)jsonl有兩種方式,一種本地安裝openai的環(huán)境,配置好key后調(diào)用openai的tool方法進(jìn)行轉(zhuǎn)換,這樣的轉(zhuǎn)換成功后可以直接代碼進(jìn)行模型的訓(xùn)練.但是官網(wǎng)現(xiàn)成的可視化操作頁(yè)面讓我不想再配置冰冷的環(huán)境了,遂直接拿python對(duì)json的數(shù)據(jù)進(jìn)行轉(zhuǎn)換,轉(zhuǎn)換后直接上傳進(jìn)行訓(xùn)練,轉(zhuǎn)換代碼如下
import json
# 假設(shè)您有一個(gè)包含多個(gè)JSON對(duì)象的列表
json_data = "josn數(shù)據(jù)"
# 指定輸出的jsonl文件路徑
output_file_path = '輸出路徑/output.jsonl'
# 將JSON數(shù)據(jù)寫(xiě)入JSON Lines文件
with open(output_file_path, 'w', encoding='utf-8') as jsonl_file:
for obj in json_data:
json_line = json.dumps(obj, ensure_ascii=False)
jsonl_file.write(json_line + '\n')
print('轉(zhuǎn)換完成。')
如果還有研究openai的小伙伴遇到什么問(wèn)題可以評(píng)論區(qū)留言討論.畢竟現(xiàn)在都是摸著石頭過(guò)河~大家一起探討下更容易解決問(wèn)題。
生命不息,代碼不止!碼農(nóng)一枚,請(qǐng)多點(diǎn)贊