Ettore Di Giacinto
c37785b78c
chore(refactor): move logging to common package based on slog ( #7668 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-12-21 19:33:13 +01:00
Ettore Di Giacinto
3ca90876f1
chore(memory detection): do not use go-sigar as requires CGO on darwin ( #7618 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-12-16 23:10:42 +01:00
Ettore Di Giacinto
e3e5f59965
fix(ram): do not read from cgroup ( #7606 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-12-16 13:28:11 +01:00
Ettore Di Giacinto
878c9d46d5
fix: improve ram estimation ( #7603 )
...
* fix: default to 10seconds of watchdog if runtime setting is malformed
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
* fix: use gosigar for RAM estimation
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
---------
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-12-16 10:18:36 +01:00
Ettore Di Giacinto
50f9c9a058
feat(watchdog): add Memory resource reclaimer ( #7583 )
...
* feat(watchdog): add GPU reclaimer
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
* Handle vram calculation for unified memory devices
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
* Support RAM eviction, set watchdog interval from runtime settings
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
---------
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-12-16 09:15:18 +01:00
Ettore Di Giacinto
b034cff149
feat: improve RAM estimation by using values from summary ( #5525 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-06-05 19:16:26 +02:00
Ettore Di Giacinto
159388cce8
chore: memoize detected GPUs ( #5385 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-05-18 08:55:44 +02:00
Ettore Di Giacinto
72111c597d
fix(gpu): do not assume gpu being returned has node and mem ( #5310 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-05-03 19:00:24 +02:00
Ettore Di Giacinto
5c6cd50ed6
feat(llama.cpp): estimate vram usage ( #5299 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-05-02 17:40:26 +02:00
Ettore Di Giacinto
9628860c0e
feat(llama.cpp/clip): inject gpu options if we detect GPUs ( #5243 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2025-04-26 00:04:47 +02:00
Ettore Di Giacinto
bdd6769b2d
feat(default): use number of physical cores as default ( #2483 )
...
Signed-off-by: Ettore Di Giacinto <mudler@localai.io >
2024-06-04 15:23:29 +02:00
Ettore Di Giacinto
b69ff46c7e
feat(startup): show CPU/GPU information with --debug ( #2241 )
...
Signed-off-by: mudler <mudler@localai.io >
2024-05-05 09:10:23 +02:00
