Amazon Bedrockで文書検索をやってみた（FAISS、LangChain）

1pip install langchain openai python-dotenv faiss-cpu pypdf PyPDF2 tiktoken boto3

1aws --version23aws-cli/2.13.29 Python/3.11.6 Windows/10 exe/AMD64 prompt/off

1aws configure23AWS Access Key ID [****************YK63]:4AWS Secret Access Key [****************2DbP]:5Default region name [us-east-1]:6Default output format [json]:

1vectorstore.py2import os34from langchain.embeddings import BedrockEmbeddings5from langchain.text_splitter import CharacterTextSplitter6from langchain.vectorstores import FAISS7from langchain.document_loaders import PyPDFLoader89embeddings = BedrockEmbeddings(model_id="amazon.titan-embed-text-v1")1011dummy_text, dummy_id = "1", 11213vectorstore = FAISS.from_texts([dummy_text], embeddings, ids=[dummy_id])1415vectorstore.delete([dummy_id])1617dirname = "datasets"18files = []1920for filename in os.listdir(dirname):21    full_path = os.path.join(dirname, filename)22    if os.path.isfile(full_path):23        files.append({"name": filename, "path": full_path})24dirname = "datasets"25files = []2627for filename in os.listdir(dirname):28    full_path = os.path.join(dirname, filename)29    if os.path.isfile(full_path):30        files.append({"name": filename, "path": full_path})31for file in files:32    if file["path"].endswith(".pdf"):33        loader = PyPDFLoader(file["path"])34    else:35        raise ValueError(f"Unsupported file format: {file['path']}")3637    pages = loader.load_and_split()38    for page in pages:39        page.metadata["source"] = file["path"]40        page.metadata["name"] = file["name"]4142    text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)43    docs = text_splitter.split_documents(pages)44    vectorstore.merge_from(FAISS.from_documents(docs, embeddings))4546vectorstore.save_local("./vectorstore")

1qa.py2from langchain.llms import Bedrock3from langchain.embeddings import BedrockEmbeddings45from langchain.vectorstores import FAISS6from langchain.chains import RetrievalQA78llm = Bedrock(9    model_id="anthropic.claude-v2",10    model_kwargs={"max_tokens_to_sample": 16000},11)1213embeddings = BedrockEmbeddings(model_id="amazon.titan-embed-text-v1")1415vectorstore = FAISS.load_local("./vectorstore", embeddings)16retriever = vectorstore.as_retriever()1718chain = RetrievalQA.from_chain_type(llm=llm, retriever=retriever)1920results = chain("Amazon Kendraの仕組みについて教えてください。")2122print(results["result"])

1Amazon Kendraは、機械学習と自然言語処理を利用したクラウドベースのインテリジェント検索サー2ビスです。34主な特徴は以下の通りです。56- ドキュメントのインデックス作成と検索: Kendraは様々なデータソースからドキュメントを収集し、内容を解析してインデックスを作成します。7ユーザーは自然言語でクエリを行い、関連性の高いドキュメントが検索結果として表示されます。89- インテリジェントなランキング: 検索結果は、ドキュメントの内容とユーザーのクエリの意図に基づいてランク付けされます。Kendraは機械学習を使って、クエリとの関連性が高いドキュメントを上位にランク付けします。1011- カスタマイズ可能な検索エクスペリエンス: 検索結果ページのレイアウトや表示方法をカスタマイズできます。また、シソーラスや同義語検索などの機能で検索精度を高めることもできます。1213- 多様なデータソースのサポート: S3、SharePoint、Salesforceなど、様々なデータソースからドキュメントを取得できます。1415- セキュリティと拡張性: KendraはIAMを使ったアクセスコントロールやVPCエンドポイントによるセキュリティをサポートしています。また、インデックスの容量を拡張することもできます。1617このようにKendraは、大量の非構造化データからユーザーが必要とする情報を見つけ出すことを可能にする、インテリジェントなエンタープライズ検索サービスです。機械学習を活用した高度な検索機能と拡張性の高さが特徴です。