PostgreSQL DELETE FROM 'एरर के साथ फेल हो जाता है: अदृश्य टपल को हटाने का प्रयास किया जाता है


25

त्रुटि

के साथ अमान्य टाइमस्टैम्प युक्त ट्यूपल्स को हटाने की कोशिश कर रहा है

DELETE FROM comments WHERE date > '1 Jan 9999' OR date < '1 Jan 2000' OR date_found > '1 Jan 9999' OR date_found < '1 Jan 2000';

में समाप्त

ERROR:  attempted to delete invisible tuple

नहीं है 2009 से एक मेलिंग सूची में ठीक उसी त्रुटि संदेश है, जहां ओपी यह तय किया था पर चर्चा, लेकिन मैं की वह यह कैसे किया या क्या इस त्रुटि के लिए नेतृत्व हो सकता है कोई स्पष्टीकरण नहीं पाते हैं।

Google पर हिट न होने और PostgreSQL के अपने सीमित ज्ञान के कारण मैं असहाय हूं।

किस वजह से भ्रष्टाचार हुआ

मेरे पास एक पोस्टग्रेक्यूएल 9.5.5 सर्वर ( ~ 4 टीबी डेटा, सभी डिफॉल्ट सेटिंग्स, अपडेड मेमोरी लिमिट्स को छोड़कर ) डेबियन 8 पर चल रहा है, जब ओएस कर्नेल घबराया हुआ था - संभवत: पुनर्निर्माण / देव / md1 जहां स्वैप स्थित था। उससे पहले, PostgreSQL ने लगभग सभी डिस्क स्थान को 400GB लॉग फ़ाइल के साथ खाया। ओएस ने कभी बूट नहीं किया, डिस्क चेक ठीक थे, इसलिए मैंने लाइवसीडी से बूट किया है और प्रत्येक ब्लॉक डिवाइस को छवियों के लिए समर्थित किया है, बस मामले में। मैंने / dev / md2 से सफलतापूर्वक / निर्देशिका का पुनर्निर्माण किया है, fsck ने एक साफ फाइल सिस्टम दिखाया, और मैंने बाहरी HDD पर PGDATA फ़ोल्डर का बैकअप लिया है।

मैंने वसूली के प्रयास के लिए क्या किया

जब मैंने md डिवाइसों को स्वरूपित किया और OS को एक नए पोस्टग्रेस्क्ल-9.5 के साथ पुन: स्थापित किया, तो मैंने पोस्टग्रेएसक्यूएल सर्वर को बंद कर दिया है, उपयोगकर्ता को पोस्ट करने के लिए PGDATA फ़ोल्डर को स्थानांतरित कर दिया है और सर्वर शुरू कर दिया है - सर्वर - सब कुछ ठीक है, कोई त्रुटि नहीं थी।

जैसे ही मैंने शुरू किया pg_dumpall, यह साथ मर गया

Error message from server: ERROR:  timestamp out of range

मैंने स्वाभाविक रूप से अपमानजनक ट्यूपल्स को हटाने की कोशिश की है, केवल एक ही invisible tupleत्रुटि को बार-बार समाप्त करने के लिए ।

चीजें मैंने कोशिश कीं

सबसे पहले, क्षतिग्रस्त पृष्ठों के कारण DELETE प्रश्न विफल हुए, इसलिए मैंने निम्नलिखित सेटिंग्स निर्धारित की हैं:

zero_damaged_pages = on
ignore_system_indexes = on
enable_indexscan = off
enable_bitmapscan = off
enable_indexonlyscan = off

अब मैंने देखा है कि जब मैं एक ही क्वेरी को फिर से चलाता हूं, तो सर्वर एक ही पेज को बार-बार आउट करता है, निश्चित नहीं है कि इसका क्या मतलब है:

invalid page in block 92800 of relation base/16385/16443; zeroing out page

मैंने अपरिभाषित क्रम में अनुसरण करने की कोशिश की है:

  • pg_resetxlog -D $PGDATA बिना किसी त्रुटि या संदेश के अपना काम किया
  • पेक बाधाओं सहित सभी अनुक्रमित को हटा दिया गया
  • CREATE TABLE aaa AS (SELECT * FROM comments);सुराग के लिए Segmentation faultपर

    heap_deform_tuple (tuple=tuple@entry=0x7f0d1be29b08, tupleDesc=tupleDesc@entry=0x7f0d1a35abe0, values=values@entry=0x7ffd57a5beb0, isnull=isnull@entry=0x7ffd57a65af0 "\001\001") यह प्रतिलिपि प्रस्तुत करने योग्य है और एक ~ 9GB कोर डंप छोड़ देता है।

  • SELECT COUNT(*) from comments;VACUUM comments;पूरा करने की अनुमति दी गई, एक ही चाल अन्य तालिकाओं पर काम नहीं करती है।
  • SELECT COUNT(*) from photos;और VACUUM photos;अब के साथ मर जाता है ERROR: MultiXactId 302740528 has not been created yet -- apparent wraparound- यह हर मेज पर शिकार करता है, जहां अन्य त्रुटियां अब पॉप नहीं होती हैं।

विचार

  • डीबी के (बहुत से ठोक मिल रही थी, संभवतः नकल ) के साथ लिखते हैं ON CONFLICTखंड डीबी एक कर रहा था VACUUMजब कर्नेल आतंक हुई, मेरा मानना है कि यह क्या है कि के साथ परेशानी खड़ी कर रहा है इसके बारे में छोड़ दिया है nonexistent MultiXactIdsऔरinvisible tuple
  • डेटा को 2+ वर्ष की अवधि में क्रॉलर के साथ एकत्र किया गया था, और मैं इसमें से कुछ को खोने के साथ पूरी तरह से ठीक हूं
  • अब मैं बैकअप करता हूं
  • तालिकाओं के बीच कोई संबंधपरक अवरोध नहीं थे और न ही कोई ट्रिगर

यहाँ अब के रूप में pg_controldata आउटपुट है:

pg_control version number:            942
Catalog version number:               201510051
Database system identifier:           6330224129664261958
Database cluster state:               in production
pg_control last modified:             Thu 08 Dec 2016 01:06:22 AM EET
Latest checkpoint location:           1562/8F9F8A8
Prior checkpoint location:            1562/8F7F460
Latest checkpoint's REDO location:    1562/8F9F8A8
Latest checkpoint's REDO WAL file:    000000010000156200000008
Latest checkpoint's TimeLineID:       1
Latest checkpoint's PrevTimeLineID:   1
Latest checkpoint's full_page_writes: on
Latest checkpoint's NextXID:          0/40781255
Latest checkpoint's NextOID:          67798231
Latest checkpoint's NextMultiXactId:  1
Latest checkpoint's NextMultiOffset:  0
Latest checkpoint's oldestXID:        615
Latest checkpoint's oldestXID's DB:   1
Latest checkpoint's oldestActiveXID:  0
Latest checkpoint's oldestMultiXid:   1
Latest checkpoint's oldestMulti's DB: 1
Latest checkpoint's oldestCommitTsXid:0
Latest checkpoint's newestCommitTsXid:0
Time of latest checkpoint:            Thu 08 Dec 2016 01:06:22 AM EET
Fake LSN counter for unlogged rels:   0/1
Minimum recovery ending location:     0/0
Min recovery ending loc's timeline:   0
Backup start location:                0/0
Backup end location:                  0/0
End-of-backup record required:        no
wal_level setting:                    minimal
wal_log_hints setting:                off
max_connections setting:              100
max_worker_processes setting:         8
max_prepared_xacts setting:           0
max_locks_per_xact setting:           64
track_commit_timestamp setting:       off
Maximum data alignment:               8
Database block size:                  8192
Blocks per segment of large relation: 131072
WAL block size:                       8192
Bytes per WAL segment:                16777216
Maximum length of identifiers:        64
Maximum columns in an index:          32
Maximum size of a TOAST chunk:        1996
Size of a large-object chunk:         2048
Date/time type storage:               64-bit integers
Float4 argument passing:              by value
Float8 argument passing:              by value
Data page checksum version:           0

अपडेट

  • ( ९ दिसम्बर २०१६ ) कोई भी व्यक्ति मल्टीएक्सैक्टैड्स के बारे में पढ़ते समय , मुझे याद आया है कि दुर्घटना के समय मेरा डेटाबेस परिचालन भार के अधीन नहीं था, लेकिन यह एक मैनुअल VACUUMअनुरोध को संसाधित कर रहा था । मैंने वेबसर्वर और क्रॉलर को ऑफ़लाइन ले लिया है जब मुझे एहसास हुआ कि डिस्क पर केवल 3% स्थान बचा था। मुझे /var/logबड़ी फ़ाइलों के लिए जाँच करनी चाहिए थी , लेकिन मैंने गलती से PostgreSQL को दोषी ठहराया है और कोशिश की है VACUUM FULL, केवल डिवाइस पर थोड़ी जगह छोड़ देने के कारण इसे निरस्त करने के लिए। इसलिए मैंने साधारण VACUUM शुरू किया है और इसे उसी पर छोड़ दिया है।
  • ( १४ दिसंबर २०१६ ) जीथब से पोस्टग्रेसीक्यूएल स्रोतों की ९ .५ शाखा डाउनलोड की गई, उन्होंने heapam.c और multixact.c में ब्लॉक की टिप्पणी की और इसे इस आशा के साथ संकलित किया कि यह इन त्रुटियों को नहीं फेंकेंगे । लेकिन सर्वर शुरू नहीं होगा, क्योंकि इसे उसी झंडे के साथ कॉन्फ़िगर किया जाना था जिसका उपयोग मैंने एपीटी से किया था। लगभग 47 झंडे थे, प्रत्येक को गैर-स्पष्ट नाम के साथ निर्भरता की आवश्यकता थी, इसलिए मैंने उस विचार को छोड़ दिया।
  • ( १६ दिसंबर २०१६ ) मुझे प्रासंगिक पृष्ठों को शून्य करके अवैध टाइमस्टैम्प के साथ टुपल्स से छुटकारा पाने का एक तरीका मिल गया है। मैंने पहली बार निम्नलिखित विकल्प सेट किए psql:

    \set FETCH_COUNT 1
    \pset pager off

    मैं तब करता हूं SELECT ctid, * FROM comments;। इस तरह से यह ctidक्वेरी के मरने से पहले खराब ट्यूपल को बाहर निकाल देता है। मैं फिर शून्य के साथ उस पृष्ठ को भरने के लिए आगे बढ़ता हूं: dd if=/dev/zero of=/var/lib/postgresql/9.5/main/base/16385/16443 bs=8K seek=92803 count=1 conv=notruncलेकिन प्रत्येक पृष्ठ इस तरह से शून्य हो जाता है, पिछले पृष्ठ को तोड़ता है, जिसके परिणामस्वरूप पृष्ठ में 16442अब अमान्य टाइमस्टैम्प के साथ एक ट्यूपल है। यकीन नहीं होता कि मैं यहां क्या गलत कर रहा हूं।

  • ( १६ दिसंबर २०१६ ) pg_dump -Fc --table photos vw > photos.bak१.३ जीबी ( संभवत: ) ०० जीबी में से ) लिखे जाने के बाद विभाजन के दोष का परिणाम । यहाँ सर्वर लॉग है:

    2016-12-16 18:48:05 EET [19337-2] LOG:  server process (PID 29088) was terminated by signal 11: Segmentation fault
    2016-12-16 18:48:05 EET [19337-3] DETAIL:  Failed process was running: COPY public.photos (id, owner_id, width, height, text, date, link, thumb, album_id, time_found, user_id, lat, long) TO stdout;
    2016-12-16 18:48:05 EET [19337-4] LOG:  terminating any other active server processes
    2016-12-16 18:48:05 EET [19342-2] WARNING:  terminating connection because of crash of another server process
    2016-12-16 18:48:05 EET [19342-3] DETAIL:  The postmaster has commanded this server process to roll back the current transaction and exit, because another server process exited abnormally and possibly corrupted shared memory.
    2016-12-16 18:48:05 EET [19342-4] HINT:  In a moment you should be able to reconnect to the database and repeat your command.
    2016-12-16 18:48:05 EET [19337-5] LOG:  all server processes terminated; reinitializing
    2016-12-16 18:48:06 EET [29135-1] LOG:  database system was interrupted; last known up at 2016-12-14 22:58:59 EET
    2016-12-16 18:48:07 EET [29135-2] LOG:  database system was not properly shut down; automatic recovery in progress
    2016-12-16 18:48:07 EET [29135-3] LOG:  invalid record length at 1562/A302F878
    2016-12-16 18:48:07 EET [29135-4] LOG:  redo is not required
    2016-12-16 18:48:07 EET [29135-5] LOG:  MultiXact member wraparound protections are now enabled
    2016-12-16 18:48:07 EET [19337-6] LOG:  database system is ready to accept connections
    2016-12-16 18:48:07 EET [29139-1] LOG:  autovacuum launcher started

    यहाँ एक छोटी स्टैकट्रेस है:

    #0  pglz_decompress (source=source@entry=0x7fbfb6b99b13 "32;00/0ag4d/Jnz\027QI\003Jh3A.jpg", slen=<optimized out>,
        dest=dest@entry=0x7fbf74a0b044 "", rawsize=926905132)
    #1  0x00007fc1bf120c12 in toast_decompress_datum (attr=0x7fbfb6b99b0b)
    #2  0x00007fc1bf423c83 in text_to_cstring (t=0x7fbfb6b99b0b)

    मुझे नहीं पता कि उसके आसपास कैसे काम करना है।

  • ( २ ९ दिसंबर २०१६ ) मैंने एक उपयोगिता लिखी है जो SELECT * FROM tablename LIMIT 10000 OFFSET 0ऑफसेट को बढ़ाती है और मृत टुपल्स के चारों ओर संकुचित होती है, और इसने टुपल्स को छोड़कर मेरे स्थानीय मशीन के डेटा को सफलतापूर्वक डुप्लिकेट किया है ( मुझे उम्मीद है कि केवल वही ) जो मैंने मैन्युअल रूप से देखे हैं। यह भी प्रतीक्षा करना है कि क्या सर्वर पुनरारंभ होता है। हालाँकि मेरे पास मेरी RAID पर पर्याप्त जगह नहीं बची है, और मैंने slowdisk8TB HDD पर एक टेबलस्पेस बनाया है । जब मैं प्रयास करता हूं CREATE DATABASE vwslow WITH TABLESPACE slowdisk, तो यह त्रुटियों के साथ ऐसा नहीं करेगा:

    2016-12-29 02:34:13 EET [29983-1] LOG:  request to flush past end of generated WAL; request 950412DE/114D59, currpos 1562/A3030C70
    2016-12-29 02:34:13 EET [29983-2] CONTEXT:  writing block 58368001 of relation base/16385/16473
    2016-12-29 02:34:13 EET [29983-3] ERROR:  xlog flush request 950412DE/114D59 is not satisfied --- flushed only to 1562/A3030C70
    2016-12-29 02:34:13 EET [29983-4] CONTEXT:  writing block 58368001 of relation base/16385/16473
    2016-12-29 02:34:13 EET [30005-44212] postgres@vw ERROR:  checkpoint request failed
    2016-12-29 02:34:13 EET [30005-44213] postgres@vw HINT:  Consult recent messages in the server log for details.
    2016-12-29 02:34:13 EET [30005-44214] postgres@vw STATEMENT:  CREATE DATABASE vwslow WITH TABLESPACE slowdisk;

    मैनुअल CHECKPOINTमें वही त्रुटियां हुईं।

    सर्वर पुनरारंभ ने चेकपॉइंट त्रुटि को दूर कर दिया है और मुझे अपना टूल चलाने दिया है। मेरे प्रश्न का उत्तर देगा और कोड प्रकाशित करेगा यदि यह काम करता है।


इस पढ़ें और कुछ और करने की कोशिश करने से पहले उस पर कार्रवाई: wiki.postgresql.org/wiki/Corruption । हालांकि ऐसा लग रहा है कि थोड़ी देर हो चुकी है। मैं दृढ़ता से डिस्क मुद्दों पर संदेह / RAID यहाँ मूल कारण होने के लिए पुनर्निर्माण।
क्रेग रिंगर

क्या आपने रीसेट रीसेट आदि करने से पहले डेटा निर्देशिका की एक प्रति अपने पास रखी थी?
क्रेग रिंगर

खुद डातादिर नहीं, लेकिन मैंने कच्ची डिस्क छवियों को ऑफ़साइट में स्थानांतरित कर दिया है जहां वे सुरक्षित हैं। वे ठीक हैं, क्योंकि मैंने अपने RAID को फिर से बनाया है।
काई

1
@CraigRinger क्या आप इस पर जवाब लिखेंगे? आप शायद उन कुछ उपयोगकर्ताओं में से एक हैं जो Postgres टैग में उत्तर देते हैं और इस मुद्दे पर कुछ उपयोगी कह सकते हैं। बहुत कम की तरह लगता है किया जा सकता है।
ypercube y

4
आप इस पर उत्तर खोजने नहीं जा रहे हैं। इरविन आपकी मदद करने में सक्षम हो सकता है। इसके लिए, irc.freenode.net/#postgresql पर डेविड फ़ॉटर, या एंड्रयूएसडब्ल्यू / रोडियमटॉड देखें। हमें बताएं (dba.se) वे क्या पाते हैं। मुझे लग रहा है कि यह एक पेड कंसल्टिंग जॉब होने वाला है जिसे आपके डेटाबेस तक कुल पहुंच की आवश्यकता है। developer.postgresql.org/~adunstan linkedin.com/in/davidfetter मेरा उन लोगों, या उनकी कंपनियों से कोई संबंध नहीं है। लेकिन, वे केवल वही हैं जिन्हें मैं व्यक्तिगत रूप से उस रोड़ा से बाहर निकलने के लिए भरोसा करूंगा।
इवान कैरोल

जवाबों:


2

ठीक है, मैं की वसूली की प्रक्रिया को स्वचालित करने में कामयाब रहा है SELECTऔर INSERT INTO, लंघन रेंज और प्रतीक्षा अगर सर्वर क्रैश। मैंने पहली बार इसे नोड में कोडित किया है - इसने से अनमैडेड डेटा को चीर दिया comments, और अभी भी जा रहा है।

कल मैंने गोलंग की कोशिश करने का फैसला किया है, और यहां गो कोड के साथ एक रेपो है: https://github.com/kaivi/pg_ripper मैं इसे जल्द ही अपडेट करूंगा, इसलिए यह वास्तव में खराब ट्यूपल्स के आसपास काम करता है, और न केवल पूरी तरह से देता है एक वाली सीमा।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.