Regarde quels sont les processus gourmands.

Dans les phases d'écritures, il doit y avoir la "défragmentation", cela prend un peu de temps à chaque fois, mais au final on n'a pas besoin de lancer régulièrement une défragmentation.
Après, il faudrait voir plus en détail dans le tuning du système pour modifier ce comportement (mais à voir quelles sont les conséquences...)

Tu as lu les docs. Tu es devenu un informaticien. Que tu le veuilles
ou non. Lire la doc, c'est le Premier et Unique Commandement de
l'informaticien.
-+- TP in: Guide du Linuxien pervers - "L'évangile selon St Thomas"

Poste le Tuesday 17 June 2008 10:37:15

Même sur des serveurs à vide sans interface j'ai ces temps noyau, les hdd linux en ext3 sont défragmenter.
Pas de processus gourmant (1% du cpu à vide et 32Mo de ram utiliser, sur un dual core 64 avec 2Go de ram).
Le systéme est déjà tunner, mais ça me fait le même probléme avec des systéme non tunner.
C'est quand même un comble que plus la connexion rame plus le cpu est utilisé, et utilisé tout le cpu pour faire des transfère de 20Mo/s alors que le cpu peu faire des transfère bien plus conséquents quand il est bien utilisé (à mon avis boucle qui attend une réponse des hdd pour continuer le programme, trés mauvais).

Windows n'as pas ce probléme quelque soit le systéme de fichier: fat32, ntfs, ext3.

Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Tuesday 17 June 2008 12:25:01

plop
essaye de reisef ou un autres système de fichier , si tu utilise le stric minum
sa devrai pas manger plus de 40 mg en ram et encore je voit large, sa compter de ce que tu peux supprimer du noyaux avec une compilation.
pis 140 go /sec sa me parait énorme un disque monte a 70 mo/s donc a mon avis t'a loucher sur tes chiffre, quand a windows c'est pas une référence, il ce garde bien de te dire la véritable vitesse, puis qu'on c'est pas ce qu'il fait ... t'a qu'a voir vista avec ces 500 mo en ram... que ta pas encore lancer 1 seul appli...
donc m'est avis que le thé a la mente sa ce bois et ça ce fume pas ^^D-*

net install--> sid2.6.32 dist i386
fluxbox
nvidia 8800gtx 768 ddr3

Poste le Sunday 29 June 2008 06:21:07

Il n'a jamais dit 140 Go/s...

Sinon pour moi le problème ne vient pas du CPU. Il doit plutôt venir d'autres IO concurrentes que tu ne vois pas nécessairement, comme du swap par exemple. Dans ce cas, le mieux est de carrément désactiver le swap ou de le mettre sur un autre disque, une clé USB ou autre.
Il peut aussi venir de la journalisation selon le système de fichiers, si tu as de gros besoins en IO et pas en sécurité des données essaie en ext2.
Tweaker un peu les priorités avec ionice pourrait également améliorer les choses je pense.

[catwell.info]

Poste le Sunday 29 June 2008 13:19:58

Mon vrai probléme est que lors d'IO lent ou rapide (mais aux max du périphérique) mon cpu est utilisé (consommation mesuré physiquement), ce qui ralenti la machine et consomme de l'énergie, en plus il y a moins de cpu disponible.
Le pc est déjà optimiser (gentoo correctement réglé), pas de swap (34Mo utilisé sur les 2Go), j'ai besoin de la journalisation mais j'ai ces probléme meme avec dd ou hdparm lors des accéss directe au disque dur. Alors qu'avec les même accéss sous windows (avec cygwin ou hd tach) j'ai ni cpu ni ralentissement des benchmark cpu.
Les priorité ne sont que des priorité, donc ça changera rien à mon probléme. Il faudrai faire comme ça:
- Le programme demande un accés disk
- Mise en attente et exécution d'autre programme (et non boucle jusqu'a attente d'une réponse)
- Dés la réception de la donnée (signalé par une irq?) reprise du programme qui avait demander l'acces disk

Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Monday 30 June 2008 11:30:52

tu peux stoper / reprendre un processus: man kill c'est -s 18/19 je croit

Et 34 Mo de swap sur 2 go de ram c'est pas normal. :man swapoff :man swapon. et configure ton swap correctement.
La journalisation mange des IO de même que le reseau et tout ce qui monitoring aussi.
tu precise pas qu'elle est l'ordonnanceur choisi dans le kernel, ni si ton cpu est toujours a la même fréquence etc.

Ensuite si tu veux pas que ton cpu soi utiliser.
Il te faut te tourner ver du scsi qui lui possede sa propre gestion des IO, evidament le tarif est pas le même.


Tu négliges aussi un détaile que windows ne fait pas. linux c'est du VRAI multi-tache / multi -utilisateur.
Donc je connait pas ta config, mai je doute que tout ces paramettre soie pris en compte.

Et avec quoi as-tu mesurer physiquement, et qu'elle son les valeur et les différences

net install--> sid2.6.32 dist i386
fluxbox
nvidia 8800gtx 768 ddr3

Poste le Monday 30 June 2008 19:07:07

Je vais pas stopper les 80 processus à chaque accès disque.

Non j'ai pas de swap (pas activé), et mes applications utilise 34Mo sur les 2Go de ram. Pour le serveur dons je parler plus haut.

Deadline pour mes serveurs en raid, et cfq sur mes pc.
Gouvernor du cpu sur ondemand (frequence variable).
Les configuration sous très variable. Du petit p3 au serveur dédié.

Citation

Il te faut te tourner ver du scsi qui lui possède sa propre gestion des IO, evidament le tarif est pas le même.

Sur certain serveur c'est en projet, mais ce qui m'étonne c'est que windows en ide/sata ce comporte comme linux en scsi, on dirai que c'est le matos qui à la gestion des IO, car ça m'affecte pas le cpu (toujours à vide contrairement à linux) et et bechmark cpu sont toujours aussi rapide, le cpu est toujours à vide (ampéreméttre et capteur physique à l'appui).

Pour mettre en évidence cette gestion, mettre sur un monocoeur (ou désactivé l'un des 2 coeur), faite des accéss disk ou réseau et le cpu vas étre utilisé mais pas sous windows, ensuite 2eme teste, mettez un teste cpu en priorité basse et une teste hdd en priorité normal, sous linux le teste cpu vas étre null, sous windows il ne vas y avoir presque aucune différence comparer au teste cpu lancer seul.

Tout les paramètres et ceux sur des distro bien différence sont pris en compte: distro PXE en boot réseau, ide, sata, usb.


Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Monday 30 June 2008 19:52:43

tu ma pas répondu : Et avec quoi as-tu mesurer physiquement, et qu'elle son les valeur et les différences ?

change le Gouvernor et prend celui :anticipation ou performance. mail il y apas photo si tu a d'autre appli qui ecrive sur le dd sa te fait de IO donc a toi de faire un clean si je puis dire

net install--> sid2.6.32 dist i386
fluxbox
nvidia 8800gtx 768 ddr3

Poste le Wednesday 2 July 2008 03:21:09

Salut,

Je pense pas vraiment que le gouverneur de cpu vas changer grand chose a l'affaire, vu qu'il ne fait que gérer la frequence du cpu et non les IO disque... Alors oui effectivement ca serais moins visible, mais aucunement plus efficace.
Ton problème me semble plutot etre un problème de DMA, car en effet, les IO disque ne sont pas gérés logiciellement mais par un DMAC, vois du coté de ta conf kernel ce que tu a activé a ce niveau, et du coté de hdparm comment ton disque est configuré.
Après, tout dépends du type d'IO dont nous parlons, s'il s'agis d'IO sur port USB, la c'est normal qu'ils consomment un peu de CPU puisque non gérés par un DMAC.
Au final, il est quand meme normal qu'un FS comme ext3 consomme une quantité infinitésimale de ressources CPU, comme l'a très justement fait remarquer oudoubah, mais surement pas au point de ralentir le système.

As-tu le meme problème avec d'autres périphériques? et dans quelles proportions mesure tu cette conso CPU anormale?

PS : panthere noire, par pitié, lit ce qui est écris, afin de pas trop répondre Hors sujet, comme en parlant de multi-taches lorsqu'on parle de disques, d'entrées-sorties et de consommation CPU. C'est quand meme plus constructif...

Poste le Wednesday 2 July 2008 08:22:33

Je n'ai pas tout suivi de la discussion, mais peut-être que ionice pourrait être utile.

----

Basile STARYNKEVITCH

Membre de l'APRIL « promouvoir et défendre le logiciel libre » - adhérez vous aussi à l'APRIL!

Projet logiciel libre: RefPerSys

Poste le Wednesday 2 July 2008 08:28:04

c'est vrai que je suis un peux a coter :-/ avec de cette Mer *** de windows aussi donc rien a voir avec l'IO...#%b

par contre les disque son en ide ou en sata 2 ?

net install--> sid2.6.32 dist i386
fluxbox
nvidia 8800gtx 768 ddr3

Poste le Wednesday 2 July 2008 10:58:05

Pour ceux qui suivent la discutions, j'ai des disque sata 2, j'ai bien le dma activé, je mesure la consommation par un ampèremètre.
J'ai ce probléme aussi quand je fait des copies sur mon réseau local (de et vers mon réseau local). 100% du cpu utilisé, un lag enorme, et un load > 10 (boot sur du sata2 pour pas influencer)
Meme probléme avec des copies inter disque dur quand je suis cette fois ci booter sur le réseau.
Quand je parle du cpu utilise j'entant au moins 75% (contre 3% sous widnows).

Pour ce qui est de l'excuse "windows ne te fait par voir le temps cpu et transfère réel de de fichiers", mes led sata, mes led réseau, mon ampèremètre ne mente pas.

Je suis surtout la pour trouver une solution.

IOnice n'est pas utile dans ce cas car on cherche pas à gérer les priorité mais à faire que ca marche mieux.

Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Wednesday 2 July 2008 18:19:36

Citation
alpha_one_x86
Pour ceux qui suivent la discutions

Avec moins de fautes, ça serait plus lisible !

Citation
alpha_one_x86
Quand je parle du cpu utilise j'entant au moins
75% (contre 3% sous widnows).

Pour ce qui est de l'excuse "windows ne te fait
par voir le temps cpu et transfère réel de de
fichiers", mes led sata, mes led réseau, mon
ampèremètre ne mente pas.

Et tu ne trouves pas cela étrange d'avoir de telles différences d'un OS à l'autre et tu ne te poses pas de questions sur ta méthodologie. En particulier, que mesures-tu avec ton ampère-mètre et quelle signification cela a ? As tu essayé de valider tes outils de mesures de consommation, en les étalonnant avec le même processus sur les deux environnements. Bref, je tinvite à éventuellement présenter ton protocole de mesures et d'investigation.

Citation
alpha_one_x86
Je suis surtout la pour trouver une solution.

IOnice n'est pas utile dans ce cas car on cherche
pas à gérer les priorité mais à faire que ca
marche mieux.

Je serais ravi que tu puisses trouver une solution car le sujet m'intéresse (mais pas suffisamment pour réaliser le travail que tu fait). Néanmoins, qu'est ce qui te pousses à rejeter systématiquement la solution IOnice ? Tes arguments précédents ne sont pas satisfaisants. Pour conclure, as tu essayé avec d'autres noyaux/OS tels que {Free,Open,Net,DragonFly}BSD ?

Cordialement,

C'est en forgeant qu'on devient forgeron, et c'est en sciant que Léonard De Vinci !

Mon site perso

Poste le Wednesday 2 July 2008 19:05:46

Coté mesure, le fait chauffer le cpu avec cpuburn, je mesure la consommation à vide et en full pour l'utilisation hardware. Mon ampermettre est bien étalonner. Je considère une courbe linéaire entre la consommation et l'utilisation.
J'utilise aussi top et munin. Il me donne les même résultat que ma mesure hardware.

J'ai du faire ces teste avec une dizaine de pc. Donc suffisamment d'environnement pour voir que ça viens pas du pc.

J'insiste bien sur un point, un bench cpu en priorité basse est très fortement affecté lors de forte charge disque dur, ou pour les copie d'un serveur à l'autre en utilisant un ordinateur entre les 2 pour faire la copie. Ce n'est pas le cas sous windows.
Quand j'utilise un système un disque dur et que je fait des transferts réseau entre 2 serveur différent du système sur le quel je suis (que ce soit par nfs ou cifs). Ou que je boot sur le réseau et que je fait des transfères disque brute (dd) ou sur un fs (cp). L'ordinateur deviens lent voir inutilisable. Alors que je devrai toujours être aussi réactif si je ne touche pas au media sur le quel je boot.

J'ai tester que des linux sur x86 et x86_64, j'ai le probléme sur tout les noyau existant, tant les noyau précompiler, que mes noyau fait à la main. Sous windows je parle que de windows XP SP2 en 32Bits ou en 64Bits.



Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Wednesday 2 July 2008 19:32:23

Si je schématise, ton souci se présente lorsque tu demandes à une machine A de déplacer des fichiers d'une machine distante B à une machine distance C ? Peux-tu confirmer ?

C'est en forgeant qu'on devient forgeron, et c'est en sciant que Léonard De Vinci !

Mon site perso

Poste le Wednesday 2 July 2008 20:18:32

Oui c'est dans ces 2 cas, pour schématiser:
- Quand d'une machine A je transfère par le réseau d'une machine B vers une machine C
- Quand je transfère d'un disque A vers un disque B alors que mon système est sur un disque C, par dd (copie brute du disque) ou par cp (copie de fichier)

Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Thursday 3 July 2008 12:37:21

J'ai pas l'I2O d'activer dans mon noyau, comment savoir à quoi ça sert, avec quel matériel c'est bien de l'activer? Mon problème viens peu être de la.

Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Thursday 3 July 2008 19:06:22

Bonjour, voila un cas clair et ou on peu pas discuter, j'incrimine X11 et le noyau de temps d'attentes à l'affiche d'un pixel ou au IO de la carte graphique, je me trompe peu être.

Voila mon application:
[ultracopier.first-world.info]
télécharger la et copier un dossier de 80K (80 000) fichier avec des petit fichier < 20k (aspiration d'un site par exemple). Sous windows tout reste toujours réactif (pendant l'ajout, la suppression, la sélection dans la liste de copie), sous linux j'ai du faire du frame dropping et c'est pas encore suffisant j'ai toujours de gros lag quand je travail sur cette grosse liste et particulièrement que je met l'application en plein écran.

La différence est flagrante, l'interface est lente sous linux, (idem sous toutes les applications je sens un lag et il apparait clairement lors de nombreux item ou dans certain circonstance), je suis sous Qt 4.3.3, avec des drivers nvidia proprio, les jeux passe correctement (Un peu moins de fps que sous windows, que ce soit en natif ou par wine).

Les mêmes éléments afficher par X11 ou par windows non pas la même réactivité. Sous windows on fait pas ramer un film en fessant défiler la bar de sous navigateur dans une grosse page ou en déplacent une fenêtre dans tout les sens. Tout les éléments sont désynchronisé, et un élément graphique ne peu pas faire ramer un autre sous windows, l'interface général et plus légère (et de loin) pour les applications multi-plateformes que j'ai tester, (wireshark avec beaucoup d'item, ultracopier avec un longue liste de copie, ...) et je sens même la différence pour les application affichant peu d'élément bien que la ce n'est qu'un ressenti, rien de visible.

Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Monday 14 July 2008 09:39:56

Note: le défilement d'une page web lag sous linux quand une application ce lance, et avec le meme navigateur (firefox) et la même application en cour de lancement (thunderbird) sous windows j'ai pas de lag.

Si je peu faire avancer les choses de ce coté la ça serai bien, c'est béte que j'ai pas assez de temps ni de connaissance coté noyau.

Mon projet Qt/KDE de copieur de fichiers multi-plateformes, multi-protocoles, intégration par défaut dans un maximum d'OS:
[ultracopier.first-world.info]

Poste le Monday 14 July 2008 09:47:18