(ask)Bagaimana Menghilangkan/Menghapus Ribuan Crawl Error

Kemaren saya masuk ke webmaster tool

Setelah saya cek ada 1 blog saya ada sekitar 2rb crawl error . index jadi berkurang 2000juga.. (takut deindex)


Ada gak cara buat hapus crawl error nya..

kebanyakan dari Restricted by robots.txt ‎

ini robots txt yang 3hari yang lalu saya coba :

Spoiler

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.domain.com/sitemap.xml

 

hmm... ane juga perlu info ttg ini.. punya ane 100ribu error, 100rb 404,, serba 100rb dah..
mentok 100rb neh kayaknya maksimal nya

 

wah, gelar tikar dulu dsini...
aku juga mau cari tau caranya.. mungkin bawah ku bisa jawab..

 

kalo tulisan Restricted by robots.txt ga apa..robots.txt kan nyuruh crawler mana yang harus di crawl mana yang tidak..kalo 404 pake redirect aja pasti beres.....Oh ya itu ga ada cara ngehapusnya soalnya webmastertool hanya berisi data aja...

 

pernah baca deh kyknya untuk hapusnya gmn ..tapi lupa dimana
nunggu bawah ane aj lah ..sambi mencari cari

 

sadis bro...kwkwkw...autoblog+agc ya?

wah... momod dateng... thanks mod atas pencerahannya..

tapi klo eror 400 tu knapa ya?padahal gak ada perubahan theme/plugin.1jam yang lalu belum ada tulisan eror 400 tapi barusan di cek ada 5 pemberitahuan

 

Master, Kalo 404 nya diredirect ke homepage kira2 ngaruh gak ke SEO ato ke SERP nya

 

mungkin karna ini.. ente memblokir crawl robot untuk masuk ke directory category. alhasil semua url kategori ente tercatat di websmaster tools.
btw: tuh fungsi disallow: /category/*/* buat apa ya? apa ganti permalink?

tentu aj bro indeks ente akan berkurang soalnya tuh dah di blokir dari robots.txt.. (bukan deindex kok)

kalo yang ini belum ada kejelasannya pengaruh ke SEO apa enggak. tapi kalo menurut ane sedikit banyak ada keknya.
tapi kalo membinggungkan visitor, sudah pasti...

contoh kasus 404 redirect ke homepage:
ente masuk ke sebuah ruangan tiba2 begitu masuk ente di pindahin ke pintu depan lagi? gimana rasanya?

CMIIW

 

tuhh bener banget kata om momod

 

kata temenku yg master,klo banyak eror 404 (blog AGC) itu tanda2 mau deindex gan,tp bener ane udah ngalami..tp klo eror Restricted by robots.txt gpp sprti kata om scarface,kan emang robots.txt melarang bot untuk mengindex halamn yg di blok tersebut,jd index berkurang ya wajar.

 

banyak amat gan knapa nggak sama posting nya jg di dissalow.. klo menurut gw dissalow tag,archieve, about us, ama privacy policy aja dah cukup

 

om mau tanya, untuk menghindari duplicate title ama description entu apa harus set robot.txt ?

 

duplicate title tuh kebanyakan dari tags, so mending dibatasi aja setiap tag hanya berisi 1 halaman..kalo duplikat title bisa di g=hindari dengan menulis ulang deskripsi yang duplikat itu..kalo pake plugin AIO tinggal tulis ulang deskripsi artikelnya di halaman deskripsinya plugin AIO...

 

maksudnya itu apa om, 1 halaman bisa di perjelas ga
soalnya ane ada sedikit maslah ama itu

trus juga pas cek webmaster, kedetek duplikat di search gt

gmana yah om solusinya ...


apa perlu tag itu dissalow di robot om ?
ato di noindeks di platinum/aiseo ?

 

kalo duplikat search hapus aja kode navigasi di search result.php

 

jadi file search.php dihapus ya om ?

trus yang tag 1 halaman tapi apa ya ... hihihihi nubie om, harap maklum

 

bukan searchnya..tapi code navigasi yang ada si serch result.php yang dihapus

 

yang mana yah om

PHP:

<?php get_header(); ?>

<div id="container">

    <div id="content">

    <?
    $FirstPost = true;
    ?>

    <?php if (have_posts()) : ?>

        <h2>Search Results</h2>



        <div class="navigation">

            <div class="alignleft"><?php next_posts_link('&laquo; Older Entries') ?></div>

            <div class="alignright"><?php previous_posts_link('Newer Entries &raquo;') ?></div>

        </div>
        
        <?php while (have_posts()) : the_post(); ?>

            <div class="post" id="post-<?php the_ID(); ?>">
           
                <?
                if($FirstPost) {
                    //echo '<center>';
                    foreach (glob(get_the_ID() . "-*.jpg") as $PicName) 
                        echo '<img src="' . get_option('home') . '/' . $PicName . '" alt="" ALIGN=LEFT/>';
                    //echo '</center>';
                }
                ?>
            
                <h2><a href="<?php the_permalink() ?>" rel="bookmark" title="Permanent Link to <?php the_title_attribute(); ?>"><?php the_title(); ?></a></h2>
                <? 
                if($FirstPost) 
                {                    
                    $FirstPost = false;
                    $Ad = 'main';
                    include (TEMPLATEPATH . '/ad.php');
                } 
                ?>
                <div class="clear"></div>
                <br />
                <!--<small><?php the_time('F jS, Y') ?> by <?php the_author() ?></small>-->

                <div class="entry">

                    <?php the_excerpt(); ?>

                </div>

                <p class="postmetadata"><?php the_tags('Tags: ', ', ', '<br />'); ?> Posted in <?php the_category(', ') ?> | <?php edit_post_link('Edit', '', ' | '); ?>  <?php comments_popup_link('No Comments »', '1 Comment »', '% Comments »'); ?></p>

            </div>

        <?php endwhile; ?>



        <div class="navigation">

            <div class="alignleft"><?php next_posts_link('&laquo; Older Entries') ?></div>

            <div class="alignright"><?php previous_posts_link('Newer Entries &raquo;') ?></div>

        </div>

    <?php else : ?>

        <h2 class="center">Not Found</h2>

        <p class="center">No posts found. Try a different search?</p>

        <?php include (TEMPLATEPATH . "/searchform.php"); ?>

    <?php endif; ?>

    </div>
    
    <?php get_sidebar(); ?>

    <div class="clear"></div>

</div>


<?php get_footer(); ?>

hihihi nubie
oh iya om, nih tak copas dr webmaster, biar om momod bisa bantu saya ....

[SIZE=-1]kata_kunci_saya | home_title
[/SIZE]/search/kata_kunci_saya/

/tag/kata_kunci_saya/


itu yang kata kunci saya sama om

itu problemnya om ......
apa perlu tag ama search result tak disallow ?
mohon wejangannya ...

 

pake stt2 ya? keyword yang masuk tercatat di search an menjadi keyword tag.
coba di plugin seo ente ubah keyword buat title tag "search" dan "tag" ga mirip satu sama lain..

 

setau ane di webmaster tool bs menghapus om..
and ane pernah nyoba juga, dan besoknya dicek udah terhapus