-
Bug
-
Resolution: Duplicate
-
Undefined
-
None
-
None
-
None
-
None
-
False
-
-
False
-
-
To Reproduce Steps to reproduce the behavior:
- Launch an AWS instance with type g6.48xlarge
- Ilab config init
- Download models
- ilab data generate
Result:
INFO 2024-12-02 22:31:21,334 instructlab.sdg.pipeline:199: Running block: filter_faithfulness Map (num_proc=8): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 522/522 [00:01<00:00, 487.64 examples/s] Filter (num_proc=8): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 522/522 [00:00<00:00, 1449.51 examples/s] INFO 2024-12-02 22:31:23,142 instructlab.sdg.pipeline:199: Running block: eval_relevancy_qa_pair INFO 2024-12-02 22:34:55,074 instructlab.sdg.pipeline:199: Running block: filter_relevancy Map (num_proc=8): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 324/324 [00:00<00:00, 385.49 examples/s] Filter (num_proc=8): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 324/324 [00:00<00:00, 949.81 examples/s] INFO 2024-12-02 22:34:56,677 instructlab.sdg.pipeline:199: Running block: eval_verify_question INFO 2024-12-02 22:37:11,134 instructlab.sdg.pipeline:199: Running block: filter_verify_question Map (num_proc=8): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 317/317 [00:00<00:00, 325.25 examples/s] Filter (num_proc=8): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 317/317 [00:00<00:00, 1016.71 examples/s] INFO 2024-12-02 22:43:23,227 instructlab.sdg.pipeline:199: Running block: eval_faithfulness_qa_pair INFO 2024-12-02 22:44:48,359 instructlab.sdg.pipeline:199: Running block: eval_faithfulness_qa_pair INFO 2024-12-02 22:47:28,981 instructlab.sdg.pipeline:199: Running block: eval_faithfulness_qa_pair INFO 2024-12-02 23:17:37,405 instructlab.model.backends.vllm:475: Waiting for GPU VRAM reclamation... failed to generate data with exception: PipelineBlockError(<class 'instructlab.sdg.llmblock.ConditionalLLMBlock'>/knowledge generation): Request timed out.
Device Info (please complete the following information):
- Hardware Specs: [e.g. Apple M2 Pro Chip, 16 GB Memory, etc.]
- OS Version: [Red Hat Enterprise Linux release 9.4 (Plow)]
- Python Version: [Python 3.9.18]
- InstructLab Version: [ilab, version 0.21.0]
- duplicates
-
-
- Refinement
-