NVIDIA / NVIDIA/GenerativeAIExamples
When I run /RetrievalAugmentedGeneration/examples/developer_rag/chains.py
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 4.2k
- Forks
- 1.1k
- Merge medio
- 10 h 15 min
- PR fusionados (30 d)
- 1
Descripción
My setting about rag-app-text-chatbot.yaml is services:
jupyter-server:
container_name: notebook-server
image: notebook-server:${TAG:-latest}
build:
context: ../../
dockerfile: ./notebooks/Dockerfile.notebooks # replace GPU enabled Dockerfile ./notebooks/Dockerfile.gpu_notebook
ports:
- "8888:8888"
expose:
- "8888"
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
chain-server:
container_name: chain-server
image: chain-server:${TAG:-latest}
build:
context: ../../
dockerfile: ./RetrievalAugmentedGeneration/Dockerfile
args:
EXAMPLE_NAME: developer_rag
command: --port 8081 --host 0.0.0.0
environment:
APP_VECTORSTORE_URL: "http://milvus:19530"
APP_VECTORSTORE_NAME: "milvus"
APP_EMBEDDINGS_MODELNAME: ${APP_EMBEDDINGS_MODELNAME:-G:/jjx/moxing/snowflake-arctic-embed-l}
APP_EMBEDDINGS_MODELENGINE: ${APP_EMBEDDINGS_MODELENGINE:-local}
APP_EMBEDDINGS_SERVERURL: ${APP_EMBEDDINGS_SERVERURL:-""}
APP_LLM_SERVERURL: ${APP_LLM_SERVERURL:-""}
APP_LLM_MODELNAME: ${APP_LLM_MODELNAME:-"G:/jjx/moxing/llama-2-13b-chat-hf"}
APP_LLM_MODELENGINE: ${APP_LLM_MODELENGINE:-local}
NVIDIA_API_KEY: ${NVIDIA_API_KEY}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-password}
POSTGRES_USER: ${POSTGRES_USER:-postgres}
POSTGRES_DB: ${POSTGRES_DB:-api}
COLLECTION_NAME: ${COLLECTION_NAME:-developer_rag}
APP_RETRIEVER_TOPK: 4
APP_RETRIEVER_SCORETHRESHOLD: 0.25
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4317
OTEL_EXPORTER_OTLP_PROTOCOL: grpc
ENABLE_TRACING: false
APP_TEXTSPLITTER_MODELNAME: Snowflake/snowflake-arctic-embed-l
APP_TEXTSPLITTER_CHUNKSIZE: 506
APP_TEXTSPLITTER_CHUNKOVERLAP: 200
LOGLEVEL: ${LOGLEVEL:-INFO}
ports:
- "8081:8081"
expose:
- "8081"
shm_size: 5gb
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
rag-playground:
container_name: rag-playground
image: rag-playground:${TAG:-latest}
build:
context: ../.././RetrievalAugmentedGeneration/frontend/
dockerfile: Dockerfile
command: --port 8090
environment:
APP_SERVERURL: http://chain-server
APP_SERVERPORT: 8081
APP_MODELNAME: ${APP_LLM_MODELNAME:-"meta/llama3-8b-instruct"}
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4317
OTEL_EXPORTER_OTLP_PROTOCOL: grpc
ENABLE_TRACING: false
RIVA_API_URI: ${RIVA_API_URI:-}
RIVA_API_KEY: ${RIVA_API_KEY:-}
RIVA_FUNCTION_ID: ${RIVA_FUNCTION_ID:-}
TTS_SAMPLE_RATE: ${TTS_SAMPLE_RATE:-48000}
ports:
- "8090:8090"
expose:
- "8090"
depends_on:
- chain-server
networks:
default:
name: nvidia-rag
What should I do?
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Empieza leyendo RetrievalAugmentedGeneration/examples/developer_rag/chains.py y la configuración rag-app-text-chatbot.yaml a la que se hace referencia; después, ejecuta la configuración documentada para capturar el fallo. El issue no incluye un mensaje de error ni un resultado esperado, por lo que no se puede verificar la finalización hasta que se especifiquen el paso que falla y el comportamiento correcto.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- docker-compose, python
- Área
- ai, devops
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100