Performance regression when reading files from the tree in parallel
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 42/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- csharp, git
- Área
- performance
Línea de trabajo
Empieza en CommitFixture.cs añadiendo y ejecutando las reproducciones secuencial y Parallel.ForEach con las versiones mencionadas en el informe. Compara el comportamiento de lectura de trees y blobs alrededor del commit 21d4f13ac7c739a5526cf088fbd8765d4ad12f57 en .NET 6 y .NET 7. Se considera terminado cuando las lecturas paralelas mantienen el recuento correcto y son más rápidas que las lecturas secuenciales en una ejecución comparable.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Reproduction steps
- Add the following test cases in
CommitFixture.cs:
[Fact]
public void CanReadCommit()
{
var timer = new Stopwatch();
var fileContents = new ConcurrentStack<string>();
var path = SandboxStandardTestRepo();
using (var repo = new Repository(path))
{
var latestCommit = repo.Head.Tip;
var tree = latestCommit.Tree;
timer.Start();
for (var i = 0; i < 100000; i++)
{
fileContents.Push(ReadEntry("1.txt", tree));
fileContents.Push(ReadEntry("README", tree));
fileContents.Push(ReadEntry("new.txt", tree));
}
timer.Stop();
testOutputHelper.WriteLine($"Took: {timer.ElapsedMilliseconds.ToString()}ms");
Assert.Equal(300000, fileContents.Count);
}
}
[Fact]
public void CanReadCommitParallel()
{
var timer = new Stopwatch();
var fileContents = new ConcurrentStack<string>();
var path = SandboxStandardTestRepo();
using (var repo = new Repository(path))
{
var latestCommit = repo.Head.Tip;
var tree = latestCommit.Tree;
timer.Start();
var fileNames = new List<string>() {"1.txt", "README", "new.txt"}.AsEnumerable();
Parallel.ForEach(fileNames, (fileName) =>
{
for (var i = 0; i < 100000; i++)
{
fileContents.Push(ReadEntry(fileName, tree));
}
});
timer.Stop();
testOutputHelper.WriteLine($"Took: {timer.ElapsedMilliseconds.ToString()}ms");
Assert.Equal(300000, fileContents.Count);
}
}
private static string ReadEntry(string name, Tree tree)
{
var treeEntry = tree[name];
if (treeEntry != null && treeEntry.Target is Blob blob)
{
return blob.GetContentText();
}
throw new InvalidOperationException($"{name} must be a Blob");
}
- Run against version 0.27.0-preview-0119 (commit: 6329bea). On my machine,
CanReadCommitParalleltakes 1417ms andCanReadCommittakes 2971ms (which is fine) - Checkout the latest version or the latest release
- Run the test again. On my machine,
CanReadCommitParalleltakes 3731ms andCanReadCommittakes 3250ms!
Expected behavior
Reading files in parallel should be faster than reading files sequentially from the git tree.
Actual behavior
It seems that reading files from the tree in parallel (multi-thread) is not faster. I did a git bisect and it seems that this regression was introduced in https://github.com/libgit2/libgit2sharp/commit/21d4f13ac7c739a5526cf088fbd8765d4ad12f57
Version of LibGit2Sharp (release number or SHA1)
Versions after https://github.com/libgit2/libgit2sharp/commit/21d4f13ac7c739a5526cf088fbd8765d4ad12f57
Operating system(s) tested; .NET runtime tested
.NET 6 and .NET 7.
- Lenguaje dominante
- C#
- Estrellas
- 3.5k
- Forks
- 925
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de libgit2/libgit2sharp
-
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
libgit2/libgit2sharp#2193 · 2 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
libgit2/libgit2sharp#2192 · 1 comentario ·
-
Website is down Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
libgit2/libgit2sharp#2191 · 2 reacciones ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
libgit2/libgit2sharp#2189 · 1 reacción ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
libgit2/libgit2sharp#2187 · 2 comentarios ·
Todos los issues de libgit2/libgit2sharp
Issues similares
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 75/100
sillsdev/languageforge-lexbox#2665 ·
-
bug documentation frontend
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
azurenoops/spin_agent#975 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
-
:watch: Not Triaged 11.0 fundamentals/subsvc
Dificultad 2/5 1-3 horas Aptitud para principiantes 92/100
dotnet/AspNetCore.Docs#37699 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
SubtitleEdit/subtitleedit#15108 · 1 comentario ·