Azure / Azure/Azure-DataFactory

Running R scripts seems to be deprecated

Aperta
#375 5 commenti 1 reazione 0 assegnatari Vedi su GitHub
Lingua principale
PowerShell
Stelle
529
Fork
623
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

While following the steps outlined in the tutorial: https://github.com/Azure/Azure-DataFactory/blob/main/SamplesV2/tutorial-run-r-batch-azure-data-factory/tutorial-run-r-batch-azure-data-factory.md , I encountered an error debugging the pipeline:

> {"errorCategory":0,"code":"CommandProgramNotFound","message":"The specified command program is not found","details":[{"Name":"Message","Value":"The system cannot find the file specified."}]}

It seems the R bin directory is not in the PATH of VMs instantiated from the dsvm-win-2019 offer. Next, I tried changing the command to point directly to the executable:

`cmd /C "C:\Program Files\R\R-4.1.2\bin\Rscript.exe" test.r`

This results in the following error from the Batch Service:

> Warning in install.packages("rAzureBatch") : 'lib = "C:/Program Files/R/R-4.1.2/library"' is not writable
> Error in install.packages("rAzureBatch") : unable to install packages
> Execution halted

It seems the default library directory is not writable by the batch service. I redirected the library to the working folder of the task:

`cmd /C set "PATH=C:\Program Files\R\R-4.1.2\bin;%PATH%" && set "R_LIBS=%AZ_BATCH_TASK_WORKING_DIR%" && Rscript.exe test.r`

And got this error:

> Error in contrib.url(repos, "source") : trying to use CRAN without setting a mirror
> Calls: install.packages -> contrib.url
> Execution halted

I dropped an .Rprofile into the storage account alongside my R script:

`options(repos=structure(c(CRAN="http://cran.r-project.org")))`

And got this error:

> Error in library(rAzureBatch) : there is no package called 'rAzureBatch'

It seems this package is not longer maintained: https://github.com/Azure/rAzureBatch

Therefore, I assume running R scripts via Batch Service through Azure Data Factory is no longer supported. If so, should tutorial-run-r-batch-azure-data-factory.md be updated?

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia da tutorial-run-r-batch-azure-data-factory.md e analizza gli errori segnalati di Batch Service, incluso il fallimento dell’installazione di rAzureBatch. Verifica se il workflow R del tutorial e il pacchetto a cui si fa riferimento sono ancora supportati. Il lavoro è completo quando il tutorial viene aggiornato per riflettere il workflow supportato oppure viene documentato chiaramente che questo percorso non è più supportato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure, r
Ambito
cloud, data-engineering, documentation
Tipo di issue
Documentazione
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.