학교/졸프
Faiss
daykim
2021. 5. 1. 19:08
Faiss
Fasebook AI Research가 개발한
대용량 데이터의 효율적인 유사성 검색 및 클러스터링을 위한 라이브러리
벡터화된 데이터를 인덱싱하고 벡터화된 검색어와 비교하여
가장 유사한 N 개의 인덱스 값을 반환할 때 사용한다
임베딩해둔 데이터들 중 원하는 값을 빨리 찾기 위해 이용
환경구성
- 아나콘다 프롬프트 가상환경에서 설치했다.
# CPU version only
conda install faiss-cpu -c pytorch
Test code
import faiss
import numpy as np
# indexing
tagVec = outputs[1].detach().numpy()
index = faiss.IndexFlatL2(tagVec.shape[1])
index.add(tagVec)
print(index.ntotal)
# indexing save
faiss.write_index(index, "test.index")
# indexing read
index2 = faiss.read_index("test.index")
- 참고 URL