mardi 18 novembre
Accueil :: Dépêches :: Entretiens :: Journaux :: Forums :: Sondages :: Suivi :: Statistiques :: Contact :: Plan

Derniers journaux de b_adele :

Journal : Intégrité des fichiers en temps réel

Posté par Bruno Adele (page perso, ) le 27 décembre 2004
0
Mon cher journal, je te souhaite déja de bonne fêtes.

Voila ayant perdu il y'a quelques temps mes données suite à des disques défecteux, je voudrais savoir si tu ne connais pas des outils qui décellent des donnée coromput. style tripwire, AIDE, AFICK. Il existe bien SOFFIC, mais il ne semble plus maintenu.

En gros le principe serait. Pendant l'écriture d'un fichier, la valeur de hashage serait calculé, ensuite une fois le fichier écrit, une vérification serait faite entre la clef de hashage calculé et celle du fichier.

PS: Ca fait 2 jours que je cherche, et j'ai rien trouvé

Merci pour tes réponses.

> Lire le journal (15 commentaires, moyenne: 1,9).  

Cette discussion est archivée, il n'est plus possible de laisser des commentaires.

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.

RAID

Posté par Romain LE DISEZ () le 27/12/2004 à 18:22. (lien). Évalué à 4.

Ce type de solution n'est pas enviseageable, les performances seraient divisées (au bas mot) par trois ou quatre.

En effet, au lieux de "écriture", tu dois (comme tu l'a bien dis)
1) Calcul de hash
2) Ecriture
3) Lecture
4) Calcul de hash

Pour te prémunir contre les pertes de données, je crois qu'un RAID serait bien moins cher que d'investir dans un ordinateur surpuissant pour garder des performances honorables.

  • [^]Re: RAID

    Posté par Rin Jin (page perso, ) le 27/12/2004 à 19:20. (lien). Évalué à 3.

    Ne pourrait-on pas envisager ce type d'écriture pour 1 disque, un autre étant réservé au tout-venant (système...)?

    Mes données vraiment sensibles sont sur CD [1] mais je peux comprendre que certains ne souhaitent pas graver et préfére garder un disque de données. Si celui ci ne contient que des données importantes (data, pas système) et que l'on n'y accéde que rarement, un tel système serait possible AMHA (bien que dans ces cas là, un bon vieux cd-r serait le mieux).

    [1] pas en ce moment: il semblerait que k3b fonctionne correctement avec le 2.6.10. Donc mon graveur est mort je pense.

    --
    "On obtient plus de chose en étant poli et armé qu'en étant juste poli" Al Capone

  • [^]Re: RAID

    Posté par Bruno Adele (page perso, ) le 27/12/2004 à 19:26. (lien). Évalué à 1.

    Et ben c'est à dire que j'ai justement du Raid 5 software. Mais c'est pas pour autant que ca me certifie que mes données sont integrent.

    La problematique, c'est que mes disques sont neuf et je dois recreer la matrice tout les 15 jours environ(lorsque la machine est assez solicité), notament sur le disque hda, mais pourtant il semble etre bon.

    Je sais pas pourquoi je souscone LVM. D'ailleur j'aimerais bien m'en débarassé, mais j'ai pas le courage de le faire ;)

    • [^]Re: RAID

      Posté par Stephane Marchesin (page perso, ) le 27/12/2004 à 21:21. (lien). Évalué à 5.

      Et ben c'est à dire que j'ai justement du Raid 5 software. Mais c'est pas pour autant que ca me certifie que mes données sont integrent.

      La problematique, c'est que mes disques sont neuf et je dois recreer la matrice tout les 15 jours environ(lorsque la machine est assez solicité), notament sur le disque hda, mais pourtant il semble etre bon.

      Je vais peut-être te décevoir, mais ça fait au moins 5 ans que tous les disques durs vendus intègrent des mécanismes de CRC. Donc ça veut dire que ce que tu confies à ton disque, il le régurgite toujours à l'octet près après avoir fait les vérifications de CRC (et si le CRC est mauvais, il fait en général un reset du disque et relit le secteur, et s'il y a vraiment un problème il fait des reset à l'infini et tu obtiens le chant du cygne caractéristique des disques durs mourrants). Ce qui veut dire que ton problème est ailleurs :
      - ta ram est défaillante ( -> memtest86 :)
      - problème de chipset (dû à un overclocking ou à un driver IDE buggé ou à une carte mère mourrante...).
      Mais je penche plutôt pour la premiere explication.

      Franchement l'époque où les disques durs étaient stupides est révolue depuis longtemps. Maintenant ils sont capables de s'auto réparer (par exemple ils ont des secteurs en rabe, et quand ils en trouvent des défectueux ils peuvent les déplacer. Mais toute l'opération est transparente même pour l'OS). On dispose d'ailleurs d'outils pour interroger les status du disque, commme par exemple le package ide-smart.

      • [^]Re: RAID

        Posté par Bruno Adele (page perso, ) le 27/12/2004 à 22:34. (lien). Évalué à 2.


        Franchement l'époque où les disques durs étaient stupides est révolue depuis longtemps. Maintenant ils sont capables de s'auto réparer (par exemple ils ont des secteurs en rabe, et quand ils en trouvent des défectueux ils peuvent les déplacer. Mais toute l'opération est transparente même pour l'OS). On dispose d'ailleurs d'outils pour interroger les status du disque, commme par exemple le package ide-smart.


        Je veux bien, mais c'est imbitable leur résultat ;)

        Voici ci dessous le résultat de la commande smartctrl -a /dev/hda

        Device: ExcelStor Technology J240 Supports ATA Version 5
        Drive supports S.M.A.R.T. and is enabled
        Check S.M.A.R.T. Passed.

        General Smart Values:
        Off-line data collection status: (0x00) Offline data collection activity was
        never started

        Self-test execution status: ( 0) The previous self-test routine completed
        without error or no self-test has ever
        been run

        Total time to complete off-line
        data collection: (1177) Seconds

        Offline data collection
        Capabilities: (0x1b)SMART EXECUTE OFF-LINE IMMEDIATE
        Automatic timer ON/OFF support
        Suspend Offline Collection upon new
        command
        Offline surface scan supported
        Self-test supported

        Smart Capablilities: (0x0003) Saves SMART data before entering
        power-saving mode
        Supports SMART auto save timer

        Error logging capability: (0x01) Error logging supported

        Short self-test routine
        recommended polling time: ( 1) Minutes

        Extended self-test routine
        recommended polling time: ( 20) Minutes

        Vendor Specific SMART Attributes with Thresholds:
        Revision Number: 16
        Attribute Flag Value Worst Threshold Raw Value
        ( 1)Raw Read Error Rate 0x000b 095 095 060 131087
        ( 2)Throughput Performance 0x0005 100 100 050 0
        ( 3)Spin Up Time 0x0007 105 105 024 10027171
        ( 4)Start Stop Count 0x0012 100 100 000 246
        ( 5)Reallocated Sector Ct 0x0033 100 100 005 33
        ( 7)Seek Error Rate 0x000b 100 100 067 0
        ( 8)Seek Time Preformance 0x0005 100 100 020 0
        ( 9)Power On Hours 0x0012 099 099 000 11364
        ( 10)Spin Retry Count 0x0013 100 100 060 0
        ( 12)Power Cycle Count 0x0032 100 100 000 243
        (192)Power-Off Retract Count 0x0032 100 100 050 714
        (193)Load Cycle Count 0x0012 100 100 050 714
        (194)Temperature 0x0002 107 107 000 1245243
        (196)Reallocated Event Count 0x0032 100 100 000 36
        (197)Current Pending Sector 0x0022 100 100 000 3
        (198)Offline Uncorrectable 0x0008 100 100 000 0
        (199)UDMA CRC Error Count 0x000a 200 200 000 0
        SMART Error Log:
        SMART Error Logging Version: 1
        Error Log Data Structure Pointer: 02
        ATA Error Count: 112
        Non-Fatal Count: 0

        Error Log Structure 1:
        DCR FR SC SN CL SH D/H CR Timestamp
        00 00 80 28 69 b9 e0 c8 3991
        00 00 80 a8 69 b9 e0 c8 3992
        00 00 80 28 6a b9 e0 c8 3992
        00 00 80 a8 6a b9 e0 c8 3992
        00 00 78 b0 6a b9 e0 c8 3997
        00 40 2e fa 6a b9 e0 51 0
        Error condition: 0 Error State: 3
        Number of Hours in Drive Life: 11143 (life of the drive in hours)

        Error Log Structure 2:
        DCR FR SC SN CL SH D/H CR Timestamp
        00 00 80 a8 69 b9 e0 c8 3992
        00 00 80 28 6a b9 e0 c8 3992
        00 00 80 a8 6a b9 e0 c8 3992
        00 00 78 b0 6a b9 e0 c8 3997
        00 00 70 b8 6a b9 e0 c8 4004
        00 40 2e fa 6a b9 e0 51 0
        Error condition: 0 Error State: 3
        Number of Hours in Drive Life: 11143 (life of the drive in hours)

        Error Log Structure 3:
        DCR FR SC SN CL SH D/H CR Timestamp
        00 00 12 cb d2 02 e0 c8 377004
        00 00 10 dd d2 02 e0 c8 377004
        00 00 06 ed d2 02 e0 c8 377004
        00 00 1a f3 c2 02 e0 c8 377004
        00 00 40 0d c3 02 e0 c8 377004
        00 40 0d 40 c3 02 e0 51 0
        Error condition: 0 Error State: 3
        Number of Hours in Drive Life: 8072 (life of the drive in hours)

        Error Log Structure 4:
        DCR FR SC SN CL SH D/H CR Timestamp
        00 00 08 18 b9 bb e0 c8 291075
        00 00 08 20 b9 bb e0 c8 291075
        00 00 08 80 d7 b6 e0 c8 291075
        00 00 08 b0 1f b0 e0 c8 291075
        00 00 08 b8 1f b0 e0 c8 291076
        00 40 06 ba 1f b0 e0 51 0
        Error condition: 0 Error State: 3
        Number of Hours in Drive Life: 8694 (life of the drive in hours)

        Error Log Structure 5:
        DCR FR SC SN CL SH D/H CR Timestamp
        00 00 80 a8 68 b9 e0 c8 3991
        00 00 80 28 69 b9 e0 c8 3991
        00 00 80 a8 69 b9 e0 c8 3992
        00 00 80 28 6a b9 e0 c8 3992
        00 00 80 a8 6a b9 e0 c8 3992
        00 40 2e fa 6a b9 e0 51 0
        Error condition: 0 Error State: 3
        Number of Hours in Drive Life: 11143 (life of the drive in hours)

        • [^]Re: RAID

          Posté par Temsa (Jabber id, page perso, ) le 28/12/2004 à 09:28. (lien). Évalué à 3.

          Si tes disque durs sont neuf(il me sembait avoir lu ça plus haut, mais en voyant ça, je suppose que je me trompe), t'as du mourron a te faire, tu les a acheté d'occasion:

          Number of Hours in Drive Life: 11143 (life of the drive in hours)

          Pour ma part je n'ai jamais eut ou presque d'erreur sur mes disque, les seuls conditions ou j'en ai eut dans leur histoire etait:
          -Fort champ magnétique (labo de RMN au dessus et carcasse ouverte)
          -Alimentation défectueuse (regardes ça aussi après memetest86)
          -Noyau 2.6.9 (il a des problèmes avec certains contôleur de disques ou disques, je sais plus) -- mais je ne sais pas si ça apparaît dans smart, je ne pense pas même --

          --
          Archetype Javascript Framework : Faites le côté client!

          • [^]Re: RAID

            Posté par Bruno Adele (page perso, ) le 28/12/2004 à 10:46. (lien). Évalué à 1.

            Euh, quand je disais neuf, c'etait tout juste 1 ans environ. puisque ma machine est allumé 24/24.

            Par contre comment pourais t'on dianostiqué le probleme alors, car au vu des tout les commentaires, il semble que ca ne soit pas un probleme disque.

            J'ai beau regardé mes logs je ne vois rien qui pourait m'aider. j'ai bien lancé memtest86 rien de spécial.

            Mais ce qui est bizzare, c'est qu'il y'a 4 mois de ca, ce probleme n'existait pas à priori (peut t'etre que je la solicité moins)

      • [^]Re: RAID

        Posté par Gilles Mocellin () le 27/12/2004 à 22:52. (lien). Évalué à 1.

        C'est vrai.
        Voir aussi les outils SMART permettant de lancer/voir les checks des disques.

        Je suis en RAID5 et RAID1 sous LVM depuis quelques années.

        Les seuls fois ou j'ai du reconstruire un RAID, c'était soit à cause d'un disque réellement foireux (l'accès Ultra-DMA merdait), soit une embrouille après avoir booter sur une Knoppix qui ne m'a pas reconnu les disques dans les bons RAID, et la ça ma tout mélanger, j'ai pu récupérer des photos après un reiserfsck --rebuild-tree, mais les contenus étaient mélangés :(

        Bref, les possibilités sont en effet la RAM, mais je te dirais aussi d'essayer de descendre ton niveau de DMA (avec hdparm -X), mon Maxtor pourrit ne fonctionnait à peu pres bien qu'en MultiDMA2 (au lieu d'UltraDMA4).

  • [^]Re: RAID

    Posté par Bruno Adele (page perso, ) le 27/12/2004 à 21:25. (lien). Évalué à 1.

    Je confirme, lorsque ma machine est solicité elle reboote tout seule. J'etais en train d'initialiser ma base AIDE (calcul des hashages). J'égallement remarqué cela quand je convertissais des musiques WAV en MP3

    • [^]Re: RAID

      Posté par Ph Husson () le 27/12/2004 à 22:18. (lien). Évalué à 1.

      Euh....
      Apparement c'est quand le disque est solicité, mon père a eu la même chose et à corriger en se mettant en pio 1 (ou ds ces eaux la), il passait plus "qu'à" 20mo/s (à une epoque on aviat 8mo/s c'etait super mais bon....) mais ca plantait plus
      </3612mavie>

      • [^]Re: RAID

        Posté par Bruno Adele (page perso, ) le 27/12/2004 à 22:41. (lien). Évalué à 1.

        Ben pour l'instant je suis justement en mode PIO

        Je suis à 16Mb/s alors que d'habitude lorsque je fais hdparm -d1 /dev/hda je suis à 88MB/s

        Ceci dis, j'essairais de lancer l'intialisation de ma base AIDE lorsque je serais en mode PIO pour voir si le PC reboote. Mais j'ai 280 min à attendre qu'il est fini de calculer la matrice Raid alors que d'habiture il lui faut à peut pres 30 à 50 min.

        Voici le résultat de cat /proc/ide/via

        ----------VIA BusMastering IDE Configuration----------------
        Driver Version: 3.37
        South Bridge: VIA vt8235
        Revision: ISA 0x0 IDE 0x6
        Highest DMA rate: UDMA133
        BM-DMA base: 0xfc00
        PCI clock: 33.3MHz
        Master Read Cycle IRDY: 0ws
        Master Write Cycle IRDY: 0ws
        BM IDE Status Register Read Retry: yes
        Max DRDY Pulse Width: No limit
        -----------------------Primary IDE-------Secondary IDE------
        Read DMA FIFO flush: yes yes
        End Sector FIFO flush: no no
        Prefetch Buffer: yes yes
        Post Write Buffer: yes yes
        Enabled: yes yes
        Simplex only: no no
        Cable Type: 80w 80w
        -------------------drive0----drive1----drive2----drive3-----
        Transfer Mode: PIO PIO PIO PIO
        Address Setup: 120ns 120ns 120ns 120ns
        Cmd Active: 90ns 90ns 90ns 90ns
        Cmd Recovery: 30ns 30ns 30ns 30ns
        Data Active: 90ns 90ns 90ns 90ns
        Data Recovery: 30ns 30ns 30ns 30ns
        Cycle Time: 120ns 120ns 120ns 120ns
        Transfer Rate: 16.6MB/s 16.6MB/s 16.6MB/s 16.6MB/s

  • [^]Re: RAID

    Posté par Yann Droneaud (page perso, ) le 30/12/2004 à 18:05. (lien). Évalué à 1.

    Il y a une différence entre sécuriser (par redondance, backup, etc) le stockage des données et garantir leurs intégrités.

    RAID 5 effectue le calcul de hash (crc) à chaque écriture, mais il le fait au niveau bloc et non pas au niveau fichier. Par contre, rien de tout cela en RAID 1, donc le mirroir peut être completement cassé, le controlleur RAID/driver MD ne verait rien.

Solaris 10 ?

Posté par RB () le 27/12/2004 à 22:11. (lien). Évalué à 1.

Il me semble que la vérification d'intégrité que tu décrit correspond à ce qui se frait avec ZFS le nouveau FS de Solaris qui maintient une clef de 128 bits avec chaque fichiers.

  • [^]Re: Solaris 10 ?

    Posté par Volnai () le 28/12/2004 à 09:34. (lien). Évalué à 2.

    Pas du tout effaçe !
    je cite : All data is protected by 64-bit checksums

    Décidement on parle beaucoup de Solaris 10 ces derniers temps.

Je pense avoir trouvé

Posté par Bruno Adele (page perso, ) le 29/12/2004 à 19:24. (lien). Évalué à 1.

Voila je pense avoir trouvé le probleme.

Je comprend pas trop le rapport, mais il semblerait que ca soit mon graveur de DVD qui posé probleme. je l'ai débranché et je n'ai plus aucun soucis.

Donc merci à toutes les personnes qui m'ont aidé.

Revenir en haut de page

Run by Team LinuxFr.org

Cette page a été générée par Templeet en 0.0779s (dont 0.0075 de SQL).
Cette page est peut-être conforme xhtml 1.0.
Information sur le site.
Faire un don !