회사 29

[RAG] 정리

이전 프젝 경험 기반으로 이해중이다https://github.com/ekdud0529/Meme Azure OpenAIcontents filtering을 포함해 암호화, 인증, 역할기반 접근제어 등을 지원한다.VNET을 구성이 가능하다.기업에서 보안 걱정 없이 안전하게 chatGPT를 사용할 수 있게 해준다.contents filtering이란, 사용자에게 답변을 줄 때 답변을 필터링하는 것이다.사용자 질의 -> gpt -> 답변 - (필터링) - > 사용자 VNETprivate endpointprivate link Fine-tuning사전에 학습된 모델 (pre-trained model)을 새로운 (보통 더 작은) 데이터셋에 맞추어 추가 학습을 수행하는 과정 RAG (Retrieval-Augmented ..

회사 2025.03.06

[SQL Server] String -> NVARCHAR / VARCHAR

문제 상황디비버에서 쿼리를 조회할 때 보다 로컬을 실행해 화면에서 조회할 때 시간이 훨씬 오래걸렸다.단순히 노트북 사양 문제인가 했는데, SQL Server 문제일 수도 있는 부분을 수정하니, 속도가 일부 개선되었다. SQL Server JDBC Driver는 String type의 파라미터를 기본적으로 NVARCHAR로 매핑한다.이 경우 VARCHAR 타입의 컬럼인데 VARCHAR가 아닌, NVARCHAR로 인식되기 때문에 인덱스를 타지 않고 성능저하가 발생하게 된다.MS 공식문서에 따르면 데이터 형식 우선순위가 있다고 한다.그래서 우선순위가 높은 쪽으로 묵시적 형변환이 일어나는 것이다. 일전에 다른 문제에서 접한 적이 있는데, 아래와 같은 쿼리를 작성했을 때WHERE 123 = '123'우선순위가 높..

회사/DB 2025.02.21

[MSSQL] CROSS APPLY, OUTER APPLY

CROSS APPLY와 OUTER APPLY는 JOIN과 동일한 결과값을 반환할 수 있다.하지만, JOIN과는 다른 실행계획을 가질 수 있고, JOIN 으로는 수행 불가능한 구문을 수행시켜주기도 한다.서브 쿼리에 외부 테이블의 컬럼을 인자로 사용할 수 있다.테이블 반환함수의 인자값으로, 외부 테이블의 컬럼을 적용해 JOIN과 같은 결과값을 낼 수 있다.상황에 따라 JOIN보다 더 좋은 성능을 발휘할 수 있다. CROSS APPLYSELECT * FROM TBL_A CROSS APPLY ( SELECT * FROM TBL_B ) WHERE ...  OUTER APPLYSELECT * FROM TBL_A A OUTER APPLY ( SELECT * FROM TBL_B WHERE A.COL1..

회사/DB 2025.02.04

[DB] Index와 Column, 비교연산자

ColumnMybatis에서 WHERE절을 작성할 때, COLUMN_A = #{VAR_A}를 작성하는데IFNULL(COLUMN_A, 'A') = #{VAR_A}라고 작성하는 경우가 있을 것이다.이처럼 조건식에서 왼쪽 컬럼의 값을 수정할 경우, 이 컬럼이 만약 INDEX에 설정된 컬럼이라면 INDEX를 타지 않게 된다.인덱스를 타지 않는다면 쿼리 속도에 영향을 미치겠죠?쿼리를 작성할 때, 항상 PK와 인덱스에 해당하는 컬럼인지를 고려해서 작성하자. 비교연산자비교연산자를 사용할 땐, DATA TYPE을 명시적으로 맞춰주다.만약, 비교하는 DATA TYPE이 다르다면, 어떤 컬럼의 TYPE을 바꿔서 맞출 지 알 수 없다.무조건 왼쪽과 오른쪽 중 한쪽으로 맞추는 것이 아니기 때문이다.그렇다면 의도했던 결과가 나..

회사/DB 2024.12.16

[Test]

테스트를 할 때에는1. Logic 확인하기한 가지를 열번하는 것 보다, 열 가지를 한 번씩 해보는게 더 나을 수 있다.개발자는 어떻게 사용하는지 아니까 조심해서 테스트하는데, 사용자는 이걸왜? 하는 방법으루 한다. 그러니까 테스트는 다른 사람들도 해주는게 좋다.2. 부하 테스트사용자 Max 추정치 * 2 정도로 해보는게 좋다. +++빠른 속도보다는, 데이터 갯수에 상관없이 일정한 속도로 동작하는게 중요하다.

회사 2024.12.16

[NexacroN] this scope

var this.varName;callbakc: function() { this.varName;}이런식으로 변수를 작성했는데, 원하는 결과물이 나오지 않을 때가 있었다.GPT에게 물어보니까function() 안의 this.varName과 밖의 this.varName이 서로 다른 것을 참조하고 있을 수 있다는 것이다.즉, callback으로 전달되는 함수는  scope이 다를 수 있다.그래서 코드를var pThis = this;var this.varName;callbakc: function() { pThis.varName;}이렇게 수정했더니 의도했던대로 동작을 한다. 나중에 읽어봐야지 nexacro 에서 변수와 함수 사용시 Scope에 대한 정의 - TOBETONGnexacro의 스크립트는 JavaScri..

회사/NexacroN 2024.12.04

[DB / MSSQL] LOB (Large Object / 대형 오브젝트)

문제상황데이터가 얼마 없는 테이블의 데이터를 조회하는데, 시간이 너무 오래 걸렸다.그런데 분명 레코드 수가 적은데 테이블 용량이 GB이다. 무언가 이상했다.컬럼들을 확인해보니 한 컬럼이 LOB 이기 때문이었다.컬럼의 DATA TYPE이 varchar(MAX) 로 정의돼있었다.LOB를 조회하기 위해 ACCESS를 해야하기 때문에 시간이 오래 걸렸던 것이다. LOB (Large Object)LOB는 DB에 저장되는 다양한 타입의 데이터들 중 구조화되지 않은 용량이 큰 데이터 (TEXT, 그래픽, 이미지, 비디오, 사운드 등) 를 처리하기 위한 타입이다.DB 내부에선 LOB 형식의 컬럼을 생성하고, 이곳에 데이터의 실제 위치를 가리키는 LOCATOR를 저장한다.DB 외부에선 BFILE을 사용한다. LOB 종류..

회사/DB 2024.10.29