Faiss

Faiss

Fasebook AI Research가 개발한

대용량 데이터의 효율적인 유사성 검색 및 클러스터링을 위한 라이브러리

벡터화된 데이터를 인덱싱하고 벡터화된 검색어와 비교하여

가장 유사한 N 개의 인덱스 값을 반환할 때 사용한다

 

임베딩해둔 데이터들 중 원하는 값을 빨리 찾기 위해 이용

 

환경구성

• 아나콘다 프롬프트 가상환경에서 설치했다.

# CPU version only
conda install faiss-cpu -c pytorch

 

Test code

import faiss
import numpy as np

# indexing
tagVec = outputs[1].detach().numpy()
index = faiss.IndexFlatL2(tagVec.shape[1])
index.add(tagVec)
print(index.ntotal)

# indexing save
faiss.write_index(index, "test.index")

# indexing read
index2 = faiss.read_index("test.index")

 

 

- 참고 URL

lsjsj92.tistory.com/605

github.com/facebookresearch/faiss/wiki/Getting-started