AnswerDotAI / AnswerDotAI/gpu.cpp

Support for 4bit or 8bit tensor

Aberta
#5 2 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
C++
Estrelas
4k
Forks
199
Merge médio
2min
PRs com merge (30d)
3

Descrição

Although it may be out of scope, it would be nice to have an example of computing 4bit and 8bit tensors, to save memory bandwidth.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Nenhum arquivo, teste ou ponto de entrada é especificado. Primeiro, esclareça a representação pretendida dos tensores de 4-bit e 8-bit e o escopo esperado do exemplo; em seguida, identifique os pontos de entrada relevantes para tensores e computação em GPU; a implementação deve incluir um exemplo funcional que demonstre a largura de banda de memória reduzida solicitada.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
cpp
Domínio
hpc, performance
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
25/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.