首页 > 编程 > Python > 正文

python获取txt文件词向量过程详解

2019-11-25 12:30:17
字体:
来源:转载
供稿:网友

在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。

因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:

  • 如何读取完整的大文件,而不会出现内存不足memery error等问题
  • 将读取出来的文件,保存为npy文件
  • 根据词找到对应的向量

解决办法

尝试使用的代码:

代码1:try:lines=np.loadtxt(filepath)catch:感觉这块不会写了咦,,,  print(ValueError)但这样的话,它就不会继续循环去读上边的txt了呢
代码2:lines=[]with open(filepath) as f:  for line in f:    lines.append(line)np.save(filepath,lines)
代码3 def readEmbedFile(embedFile):#   embedId = {}#   input = open(embedFile,'r',encoding="utf-8")#   lines = []#   a=0#   for line in input:#     lines.append(line)#     a=a+1#     print(a)#   nwords = len(lines) - 1#   splits = lines[1].strip().split(' ') # 因为第一行是统计信息,所以用第二行#   dim = len(splits) - 1#   embeddings=[]#   # embeddings = [[0 for col in range(dim)] for row in range(nwords)]#   b=0#   for lineId in range(len(lines)):#     b=b+1#     print(b)#     splits = lines[lineId].split(' ')#     if len(splits) > 2:#       # embedId赋值#       embedId[splits[0]] = lineId#       # embeddings赋值#       emb = [float(splits[i]) for i in range(1, 300)]#       embeddings.append(emb)#   return embedId, embeddings
代码4:def load_txt(filename):  lines=[]  vec_dict={}  with open(filename,r) as f:    for line in f:    list=line.strip()    lines.append(line)  for i, line in emuate(lines):    if i=0:      continue    line=line.split(" ")    wordID=line[0]    wordvec=[float line[i] for i in range(1,300)]  vec_dict[wordId]=np.array(wordvec)     return vec_dict

具体内存不足主要的原因是:

我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:

print("str",sys.getsizeof(""))print("float",sys.getsizeof(1.1))print("int",sys.getsizeof(1))print("list",sys.getsizeof([]))print("tuple",sys.getsizeof(()))print("dic",sys.getsizeof([]))
str 49float 24int 28list 64tuple 48dic 64

在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:

dic=list>str>tuple>int>float

读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:

然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]

心得

距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持武林网。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表