Crawled – Currently not index คืออะไร

Crawled – Currently Not Index เป็นปัญหาที่ SEO Specialist ทุกคนจะต้องเจออย่างแน่นอน หลังจากทาง Google.co.th ได้ทำการอัปเดต Algorithm นี้ไปเมื่อช่วงกลางปี 2020 และเป็นปัญหาที่กระทบกับทีม Specialist ชาวไทยอย่างเราๆ ในช่วงปี 2021 เป็นต้นมา แต่ไม่ต้องกังวลไป หากใน Search Console ของคุณขึ้นปัญหา Crawled – Currently Not Index เพราะวันนี้ทีม Minimice จะพาคุณมาดูรายละเอียดของปัญหา พร้อมแนะนำวิธีการแก้ไขจากประสบการณ์ SEO Agency ของเรา

แต่ก่อนจะไปเริ่มต้น เราอยากแนะนำก่อนว่า บทความนี้เหมาะสำหรับ SEO Specialist ที่มีพื้นฐาน Advanced Level เท่านั้น เนื่องจาก Crawl – Currently Not Index algorithm เจ้าปัญหาตัวนี้จะเกิดขึ้นกับเว็บไซต์ที่ใหญ่ หรือมากกว่า 100+ หน้าบนเว็บไซต์นั้นเอง

เรามารู้จักกับ Crawled – Currently Not Index กัน ว่าคืออะไร และ Google พูดถึงเหตุการณ์นี้ยังไง?

Crawled – Currently Not Index คือหลักเกณ์ที่ Google Search Console ได้ระบุในหน้า Coverage ของ Google Algorithm ในการ Crawl ว่า Google เห็นหน้าที่คุณระบุเข้ามาใน Sitemap แล้ว แต่จากการตรวจสอบแล้วนั้น Google ตัดสินใจไม่ Index หน้านั้น

เหตุผลที่เป็นไปได้ที่ทำให้เกิดปัญหานี้มีดังนี้

คุณภาพ และเนื้อหาต่ำ
โครงสร้างเว็บไซต์จัดเรียงมาไม่ดี
Sitemap ที่ระบุในระบบเกิดความสับสน
เนื้อหามีการ Duplicate
Index เกิดการล่าช้า

แน่นอน Algorithm ที่ได้เปลี่ยนมานี้ Google ได้มีการระบุตรงนี้ไว้ด้วยเช่นเดียวกัน

“ The page was crawled by Google, but not indexed. It may or may not be indexed in the future; no need to resubmit this URL for Crawling.

หน้านี้ได้มีการ crawl โดย Google แต่ไม่ได้รับการ Index, มีความเป็นไปได้ ที่จะ Index ไนอนาคต ทั้งนี้คุณไม่มีความจำเป็นจะต้อง Request Index ใหม่

Google

เพื่อเข้าใจถึงสถานการณ์ดังกล่าว การที่ Google ไม่ Index นั่นก็คือ Google ได้เจอหน้าที่คุณต้องการแล้ว แต่ Google ตัดสินใจว่าหน้านั้นไม่เหมาะสมแก่การ Index เข้า Search Engine

ปัญหาแบบนี้เป็นเรื่องที่น่าหงุดหงิดมากๆ เพราะมันจะทำให้เราคอยตั้งคำถามกับตัวเองว่า “ทำไม Google ไม่ชอบคอนเทนต์ของเราล่ะ?” “เนื้อหาเราไม่ดีหรอ?” แต่ไม่ต้องกังวลมากไป เพราะเราจะมาลงลึกถึงปัญหา และวิธีแก้ไขปัญหานี้ไปพร้อมๆ กัน

เจ้าตัวปัญหา Crawled – Currently Not Index อยู่ตรงไหนของ Google Search Console?

ตัวอย่างการแสดงผลใน Google Search Console

คุณสามารถเข้าไปในหน้า

Google Search Console > Index Coverage Report > Excluded

การกดเข้าไปใน Excluded นั้นจะเจอทุกลิงค์ที่คุณมีปัญหาอยู่

ตัวอย่าง หน้า Index Coverage Report

ในเว็บไซต์ Minimice เองก็เจอปัญหานี้เช่นเดียวกัน แต่เราต้องมาดูกันก่อนนะว่า ลิงก์ส่วนมากที่ไม่ Index อาจจะเป็นลิงก์ที่ไม่จำเป็นเสมอไป แต่แน่นอนว่ามีลิงก์ที่จำเป็นเช่นเดียวกัน

เราต้องเข้าใจ Google ก่อนว่าเค้าตัดสินใจมีกฎเกณ์นี้ขึ้นมาก็เพราะ Google เป็น Search Engine ที่ใหญ่ที่สุดในโลก การที่ Google ครองอันดับ 1 อยู่ นั่นแปลว่าเว็บไซต์มากกว่า 1,000,000 หน้าต่อวันที่จะเพิ่มเข้ามา Index ใน Search Engine และเพื่อให้ Google ยืน 1 อยู่ได้นั้นเค้าจะต้องคัดกรองเนื้อหาที่ตรงใจ ผู้ค้นหามากที่สุด เพื่อให้ User ยังคงใช้ Google ในหาค้นหาอยู่ตลอด

เรามาเจาะลึกปัญหาตรงนี้กัน ว่าทำไม Google ถึงไม่ได้นำหน้าของคุณมา Index เข้าคลัง!

เจาะปัญหา 1: คุณภาพ และเนื้อหาต่ำ

ในบ้างครั้งเราจะเจอปัญหานี้ได้ในหน้าเว็บไซต์ที่มีคำค่อนข้างน้อย หรือหน้าที่อาจจะไม่มีคุณภาพ ไม่ว่าเราจะใส่ SEO On-page ที่ถูกต้องทุกอย่าง ไม่ว่าจะ Meta, Heading, canonical, หรือปัจจัยอื่นๆเรียบร้อยแล้ว เพราะ Google เห็นนึกเนื้อหาที่น้อย และ/หรือ คุณภาพที่ต่ำจนเกินไป

ปัญหานี้จะเจอได้บ่อยใน: หน้าบริการ , หน้าสินค้า, หน้าหมวดหมู่สินค้า , และบทความ news ในองค์กร

เจาะปัญหา 1

ทาง Minimice ขอยกตัวอย่างนี้ขึ้นมา ซึ่งเป็นปัญหาที่เราเจอ URL นี้ได้โดย Flag: Crawled – Currently Not Index จาก Google Search Console เราเลยจะนำมาดูในหน้านี้กันว่าเกิดอะไรขึ้น

ปัญหาที่เจอ: Text น้อย, ปัจจัย SEO ครบ

ปัญหา text น้อย, ปัจจัย SEO ครบ

หากเราเข้ามาใน URL นี้ เราจะเจอได้เลยว่า เนื้อหาในหน้านี้มีเพียงประมาณ 200 – 300 คำ ซึ่งจริงๆ แล้วก็ถือว่าไม่ได้เป็นจำนวณที่แย่มากนัก แต่ทำไม Google ถึงไม่ Index ล่ะ? ทั้งๆ ที่ SEO On-Page นั้นก็ Optimize ครบ จัดเต็มไปเรียบร้อยแล้ว ในกรณีนี้ Google มีเกณฑ์ที่จะ Index และไม่ Index ก็ได้ แต่ในการตัดสินใจนี้นั้น Google ตัดสินใจไม่ Index มัน

วิธีแก้ไข: เพิ่มเนื้อหา, จัดหัวข้อให้ดี

ในจุดต่อไป เราจำเป็นต้องเพิ่มเนื้อหาภายในหน้านี้ให้มากขึ้น โดยการเพิ่ม Signal ให้ Google สามารถจับหน้านี้ได้ว่าเป็นหน้าที่มีคุณภาพจริง และ User สามารถเข้ามาใช้งานได้อย่างมีประสิทธิภาพ เพราะการเพิ่มเนื้อหาแบบมั่วๆ ไป ก็คงไม่เกิดประโยชน์ที่ดีขึ้น ซึ่งคุณสามารถทำได้ง่ายๆ ดังนี้

ค้นหา Search Intent จาก Keyword ที่เราการให้ติดอันดับ
ดูคู่แข่ง Top 1 – 3 ว่าเนื้อหาเป็นยังไงบ้าง
ปรับเนื้อหา ตามคู่แข่ง และทำให้ดีกว่า
จัดหัวข้อให้อ่านง่าย และเข้าใจง่าย

ตัวอย่าง ที่ได้ปรับเปลี่ยน

เนื้อหานี้ได้เพิ่มเติมเข้าไป โดยคำนึงถึงปัจจัย 4 ข้อที่เราได้วางไว้

ผลลัพธ์ ที่ได้ปรับเปลี่ยน

ผ่านไป 2 สัปดาห์ เข้ามาดู site: URL ได้รับการ Index เรียบร้อย

เจาะปัญหา 2: โครงสร้างเว็บไซต์จัดเรียงมาไม่ดี

ปัญหาในส่วนโครงสร้างเว็บไซต์นั้นเป็นสิ่งที่ไม่แน่นอนเสมอไปสำหรับแต่ละเว็บไซต์ และธุรกิจ การจัดการโครงสร้างของเว็บไซต์นั้นเราต้องคำนึงถึงลำดับการจัดเรียงของแต่ละสินค้าของเราด้วย

John Mueller – Search Advocate at Google ได้ระบุใน Twitter ของเค้าถึงปัญหานี้ด้วยเช่นเดียวกัน

คุณไม่สามารถบังคับให้หน้าเว็บไซต์ Index ได้ – เป็นเรื่องปกติมากที่ทุกหน้าของเว็บไซต์จะไม่ Index ปัญหาไม่ได้เกิดขึ้นจาก “หน้านั้นเท่านั้น” แต่เป็นเว็บไซต์โดยรวมมากกว่า การสร้างโครงสร้างเว็บไซต์ที่ดี และใส่ใจในคุณภาพของทุกๆหน้า เป็นวิธีที่ดีที่สุด

John Mueller

แปลว่า ไม่ว่าคุณจะปรับหน้าที่เราต้องการให้ดีขนาดไหน หากโครงสร้างเว็บไซต์จัดเรียงผิด ก็จะไม่สามารถแก้ไขปัญหาได้นั่นเอง

วิธีแก้ไข: เพิ่มคุณภาพหน้า , จัดโครงสร้างให้ดี

ในกรณีนี้แบบหลายแบบ ทั้งนี้เราขอแยกเป็น 2 หลักการ:

1. เว็บไซต์ A – Informative Website

https://www.gloomaps.com/FrzKhbF7ng

การจัดเรียงโครงสร้างเบื้องต้นของ เว็บไซต์ Informative ควรจะมีการวางเป็น Layer ที่ดี โดยจะต้องวางเป็นโครงสร้างที่มีการวางเป็นขั้นบันได ตามบริการของเราเป็นหลัก

2. เว็บไซต์ B – eCommerce Website

เราขอยกตัวอย่างการจัดโครงสร้างเว็บไซต์ eCommerce เบื้องต้นจากเว็บไซต์ Beautrium ซึ่งเป็นลูกค้าของเรา จะต้องจัดการอย่างไรบ้าง เรามาลองดูกัน

ตัวอย่าง Beautrium Site Structure

โครงสร้างที่ดีนั้นต้องมีเนื้อหาที่แยกเป็นขั้นบันไดที่ดี ดังนี้

Category Level
Sub-Category Level
Second Sub-Category Level
Product Level

Category Level: thebeautrium.com/shop/makeup

ตัวอย่าง Beautrium Site Structure

Sub-Category Level: thebeautrium.com/shop/makeup/face

ตัวอย่าง Beautrium Site Structure

เจาะปัญหา 3: Sitemap ที่ระบุในระบบเกิดความสับสน

Sitemap เป็นหนึ่งในปัญหาที่เจอได้หากคุณใช้เว็บไซต์ที่เขียนเองด้วย PHP หรือวิธีการเขียนอื่นๆ ซึ่งอาจจะทำให้เกิดปัญหาปวดหัวได้ ในบางกรณี Developer ที่เขียนเว็บไซต์อาจจะไม่มีความรู้ด้านนี้เท่าที่ควร ทั้งนี้ถ้าคุณใช้ WordPress ก็จะสบายหน่อย ด้วยการใช้ Plugin อย่าง YoastSEO หรือ All-in-One SEO ก็จะแก้ไขปัญหาตรงนี้ได้อย่างครบถ้วน

โครงที่ดีของ Sitemap เป็นยังไง?

เริ่มด้วยเว็บไซต์ Minimice เอง ด้วยเว็บไซต์เราเป็น Informative Website ที่เป็น Agency เท่านั้น ทำให้โครงสร้างนั้นมีเพียง 2 หมวดหลักๆ Page และ Post หรือ Blog นั้นเอง

ในแต่ละหน้านั้นเราต้อง Generate sitemap ด้วยภาษา เช่นเดียวกัน โดย PHP จะต้องระบุภาษา โดยระบุเป็น alternate และระบุทุกภาษาที่เรามีในรูปแบบนี้ได้เลย


<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  xmlns:xhtml="http://www.w3.org/1999/xhtml">
  <url>
    <loc>https://www.example.com/english/page.html</loc>
    <xhtml:link
               rel="alternate"
               hreflang="de"
               href="https://www.example.com/deutsch/page.html"/>
    <xhtml:link
               rel="alternate"
               hreflang="de-ch"
               href="https://www.example.com/schweiz-deutsch/page.html"/>
    <xhtml:link
               rel="alternate"
               hreflang="en"
               href="https://www.example.com/english/page.html"/>
  </url>
  <url>
    <loc>https://www.example.com/deutsch/page.html</loc>
    <xhtml:link
               rel="alternate"
               hreflang="de"
               href="https://www.example.com/deutsch/page.html"/>
    <xhtml:link
               rel="alternate"
               hreflang="de-ch"
               href="https://www.example.com/schweiz-deutsch/page.html"/>
    <xhtml:link
               rel="alternate"
               hreflang="en"
               href="https://www.example.com/english/page.html"/>
  </url>

วิธีแก้ไข: ใช้เครื่องมือช่วย Generate Sitemap หรือปรับตามที่ Google แนะนำ

วิธีการแก้ปัญหานี้เราอาจจะไม่จับลงลึกมาก ทั้งนี้เราจะนำบางตัวอย่างเพื่อให้คุณได้เข้าไปดูวิธีที่เหมาะสมเพิ่มเติม

• ใช้เครื่องมือช่วยทำ Sitemap ที่เราชอบใช้

https://www.xml-sitemaps.com/

https://www.mysitemapgenerator.com/

• เนื้อหาจาก Google ในส่วน Sitemap

เนื้อหาภาพรวมของ Sitemap

เนื้อหา Language เป็นปัญหาที่ชอบเจอกัน

เจาะปัญหา 4: เนื้อหามีการ Duplicate

Content Duplicate เป็นสิ่งที่เราต้องคำนึงเป็นอย่างมาก เนื่องจากปัญหานี้สามารถทำให้อันดับเว็บไซต์ตกได้อย่างต่อเนื่อง โดยไม่มีสาเหตุที่แน่ชัดได้ หรือหากมีคู่แข่งมาสู้กับเรานั้น ก็จะสามารถแซงอันดับเราได้อย่างง่ายดาย

Google ต้องการให้แต่ละหน้าของเรามีเนื้อหาที่แตกต่างกันออกไป เพื่อที่จะเสริมมูลค่าให้กับ User ที่เข้ามาในเว็บไซต์ของเรา การมี Duplicate content จะทำให้เราสามารถเกิดปัญหา Crawled – Currently Not Index ได้เนื่องจาก Google จะไปจับแค่หน้าเดียวเท่านั้นในแต่ละ keyword

วิธีแก้ไข: ปรับแต่ง Content ใหม่ หรือใช้เครื่องมือช่วยระบุหน้าที่ Duplicate

ปัญหานี้คงแก้ได้ไม่ยากมาก โดยการปรับ Content ให้ไม่เหมือนกันในแต่ละหน้า ทั้งนี้หากหน้านั้น ไม่สามารถทำ Content ให้แตกต่างกันได้ละ เราจะต้องทำยังไง?

ปัญหานี้ส่วนใหญ่จะเจอในเว็บไซต์ที่เขียนด้วย PHP และ จะเจอใน Desktop และ Mobile Version ที่ต้องระบุเหมือนกัน เราสามารถแก้ไขได้ดั่งนี้

• ปรับ Sitemap ของเว็บไซต์ให้ถูกต้อง ด้วย Alternative Tag โดยเข้าไปดูในบทความนี้

https://developers.google.com/search/mobile-sites/mobile-first-indexing

• เครื่องมือช่วยระบุหน้าที่ Duplicate

ใน Minimice เราชอบใช้เครื่องมือนี้ และเราแนะนำอย่างมาก นั่นก็คือ

https://www.siteliner.com/

ในหน้า Duplicate Content หากเราระบุเว็บไซต์เราเข้าไป มันจะแสดงทุกๆ หน้าที่มีความเสี่ยง หากกดเข้าไปในหน้านั้นๆ จะแสดงหน้าที่มีการทับกัน และแสดงเลยว่าจุดไหนที่มีการทับซ้อนกันของ text ที่เราต้องแก้ไขทั้งหมด

(บางทีอาจจะไม่แม่นยำนัก แต่สามารถช่วยได้เยอะมากๆ)

เจาะปัญหา 5: Index เกิดการล่าช้า

ปัญหาที่เจอ: สร้างหน้า แล้วโดน Crawled – Currently Not Index ในไม่นาน

เรามาเริ่มกันจากปัญหาเบาๆ กันก่อนนะ ในปัญหาแรกที่ทาง Minimice เราเจอนั้น อาจจะไม่ใช้ปัญหาที่เกิดขึ้นจริง แต่เป็นการระบุถึงความเป็นไปได้ หรือ Google ได้กลับมา Index แล้วนั้นเอง เราขอยกตัวอย่างลูกค้าของทาง Minimice แต่ขอเบลอชื่อไว้นะ (ไม่อยากมีปัญหา)

ปัญหานี้เกิดขึ้นประมาณ 1 เดือน ที่ขึ้นสถานะนี้ เราสามารถเห็นได้ว่า เว็บไซต์นี้เจอปัญหานี้ค่อนข้างเยอะมากๆ แต่ต้องเข้าใจว่าเว็บไซต์นี้เป็นเว็บไซต์ที่ใหญ่มากๆ ทำให้ปัญหาที่เจอนั้นไม่ใช่เรื่องใหญ่เสมอไป ทั้งนี้เราแอบแสดง URL ตรงท้ายนิดนึง จะได้เห็นตัวอย่างกันพร้อมกันนะ

วิธีแก้ไข: ไม่ต้องทำอะไรเลย เราต้องให้เวลา Google สักพัก ก็จะสามารถนำ มา Index ได้นั้นเอง

ตอนแรกนั้น Google ไม่ได้ทำการ Index หน้านี้ เป็นระยะเวลา 1 เดือน หลังจากทีม Specialist เราเข้าไปดูอีกรอบนั้น Crawled – Currently Not Index ยังคงแสดงอยู่ปกติ แต่จริงๆ แล้ว Google ได้นำขึ้นมา Index เป็นที่เรียบร้อยแล้ว

บทสรุป ปัญหา Crawled – Currently Not Index

Crawled – Currently Not Index เป็นปัญหาที่เจอกันมาก แต่ก็ไม่ใช้ปัญหาที่ใหญ่เสมอไป หากเราทำเว็บไซต์ตามขั้นตอนที่เหมาะสม ไม่ว่าจะเป็นเรื่องเนื้อหาภายใน หรือโครงสร้างของเว็บไซต์เรา ในส่วนหลักๆที่เราควรดูนั้นคือ

สร้างเนื้อหาที่เพิ่มมูลค่าให้กับเว็บไซต์ของเรา และเทียบกับคู่แข่งในตลาด
ดูโครงสร้างของเว็บไซต์ให้ดี และสร้าง Internal Link มารองรับในแต่ละหน้า
ระบุให้แน่ชัดว่าหน้าไหนที่เราต้องการ และหน้าใหนที่เราไม่ต้องการ

หากคุณต้องการให้เราช่วยแก้ปัญหานี้ บริการรับทำ SEO ของ Minimice Group ที่มาพร้อมกับทีม SEO Specialist และ SEO Content ที่มากด้วยฝีมือก็พร้อมที่จะช่วยคุณนะ เรายินดีรับฟังทุกปัญหา ติดต่อเรามาได้เลย !

FAQ