Sata Pro chúc các độc giả những ngày cuối năm thật nhiều niềm vui, ấm áp bên gia đình và trọn vẹn hạnh phúc.

Hướng dẫn chi tiết tạo tệp LLMS chuẩn cho Blogger

Hướng dẫn chi tiết tạo tệp văn bản mở LLMS.txt và LLMS-FULL.txt chuẩn cho Blogger bằng Cloudflare cho AI phân tích đọc hiểu nhanh nội dung blog.

1. Lời mở đầu

Ây da, chào mừng các bạn đã quay trở lại với bài viết blog tiếp theo của mình, chắc hẳn các bạn đã quên cái series chia sẻ code này của mình rồi đúng không? Đã lâu lắm rồi, kể từ rất lâu rồi, gần 1 năm mình mất tích rồi mình lại vọc vạch vào code để chia sẻ cho anh em, lần này mình sẽ chia sẻ 1 thứ mà khá nhiều anh em cộng đồng blogspot blogger làm blog như mình rất cần dùng đến để tối ưu blog cho Bot AI đọc nội dung và phân tích nhanh thay vì phải đọc trực tiếp mã nguồn trang web bài viết rất tốn token lãng phí AI.

Hôm nay mình sẽ mang đến và chia sẻ cho bạn code worker cloudflare tạo 2 tệp file llms.txt và llms-full.txt chuẩn AI và đạt đạt điểm tuyệt đối phần tác nhân AI cho công cụ đo lường trang web PageSpeed Insights của Google. Trước khi vào bài viết mình mong các bạn ủng hộ mình bằng cách click vào các lượt quảng cáo để mình có thêm thu nhập cũng coi như là trao đổi chia sẻ mình có thêm kinh phí lên nhiều bài viết cho các bạn nữa.

Hướng dẫn chi tiết tạo tệp LLMS chuẩn cho Blogger

2. LLMS.TXT và LLMS-FULL.TXT là gì?

Chắc hẳn đối với các bạn viết blog mới hay lâu năm đều thấy đây là thuật ngữ khá mới đúng không? Đúng vậy đó, đây là 2 định dạng tệp mới nhất dành cho AI đọc và hiểu blog bạn, thay vì phải truy cập vào qua mấy trăm đường link trên blog bạn, truy cập qua đọc bao nhiêu mã nguồn rất tốn token AI thì giờ đây đã có 2 tệp llms.txt và llms-full.txt đảm nhiệm vai trò gom tất cả mọi thức có trên blog vào 2 file đấy để bot AI của Chatgpt Clade đọc hiểu và phân tích dễ dàng.

Như các bạn đã biết, file robots.txt dùng để quản lý bot truyền thống như google truy cập được những trang nào và chặn những trang nào nhằm tiết kiệm bot ai tập chung vào những trang chính, tệp ads.txt để khai báo quảng cáo cho nhà cung cấp ads.txt. Thì giờ đây chúng ta có thêm 2 file tệp đồng hành cùng với nó là llms.txt và llms-full.txt, llms.txt là bản chỉ mục, mục lục để cho bot ai quét bot ai đọc, còn llms-full.txt là bản gộp chi tiết hiện thị những gì blog bạn đang có cho AI đọc toàn bộ chi tiết đầy đủ không rút gọn. Bản chất 2 file đó đều được viết dưới dạng Markdown, dạng văn bản này xuất hiện từ khá lâu rồi nên chắc hẳn quen với các bạn. Bản đầu tiên của LLMS là ngày 3 tháng 9 năm 2024 và phiên bản mới nhất được cập nhật là ngày 10 tháng 8 năm 2026.

3. Share Code và hướng dẫn cài đặt worker cloudflare tạo 2 file LLMS.TXT và LLMS-FULL.TXT

Nội dung chính ngày hôm nay chính là mẫ nguồn này ngay bên dưới đây

Đây là mã nguồn code JS

/**
 * Cloudflare Worker: Tự động tạo /llms.txt và /llms-full.txt toàn diện cho Blogger
 * - Tự động nhận diện tên miền hiện tại (không cần cấu hình BLOG_URL thủ công)
 * - Quét toàn bộ Bài viết (Posts), Trang tĩnh (Pages) và Chuyên mục (Labels)
 * - Chuyển đổi cấu trúc HTML bài viết sang Markdown chi tiết (Heading, List, Link, Image, Code, Table)
 */

const BATCH_SIZE = 150; // Số lượng bài tối đa mỗi lần gọi API Blogger Feed
const MAX_ITEMS = 1000; // Giới hạn an toàn tổng số bài quét để tránh vượt CPU time của gói Free
const CACHE_TTL = 3600; // Thời gian lưu đệm kết quả (1 giờ = 3600 giây)

/**
 * Giải mã các ký tự HTML Entities sang văn bản thuần
 */
function decodeHtmlEntities(str) {
  if (!str) return "";
  const entities = {
    " ": " ",
    "&": "&",
    "&lt;": "<",
    "&gt;": ">",
    "&quot;": '"',
    "&#39;": "'",
    "&apos;": "'",
    "&ndash;": "–",
    "&mdash;": "—",
    "&lsquo;": "‘",
    "&rsquo;": "’",
    "&ldquo;": "“",
    "&rdquo;": "”",
    "&hellip;": "...",
    "&copy;": "©",
    "&reg;": "®"
  };
  return str
    .replace(/&[a-zA-Z0-9#]+;/g, (match) => {
      if (entities[match]) return entities[match];
      if (match.startsWith("&#x") || match.startsWith("&#X")) {
        const code = parseInt(match.slice(3, -1), 16);
        return !isNaN(code) ? String.fromCodePoint(code) : match;
      }
      if (match.startsWith("&#")) {
        const code = parseInt(match.slice(2, -1), 10);
        return !isNaN(code) ? String.fromCodePoint(code) : match;
      }
      return match;
    });
}

/**
 * Chuyển đổi HTML của Blogger sang định dạng Markdown chi tiết
 */
function htmlToMarkdown(html) {
  if (!html) return "";

  let md = html
    // 1. Xóa các thẻ không mang nội dung văn bản
    .replace(/<(script|style|noscript|svg|iframe|canvas|form)[^>]*>[\s\S]*?<\/\1>/gi, "")
    .replace(/<!--[\s\S]*?-->/g, "")

    // 2. Xử lý khối mã nguồn <pre><code>
    .replace(/<pre[^>]*>\s*<code[^>]*class=["'][^"']*language-([a-zA-Z0-9_-]+)[^"']*["'][^>]*>([\s\S]*?)<\/code>\s*<\/pre>/gi, (_, lang, code) => {
      return `\n\n\`\`\`${lang}\n${decodeHtmlEntities(code.replace(/<[^>]+>/g, "")).trim()}\n\`\`\`\n\n`;
    })
    .replace(/<pre[^>]*>([\s\S]*?)<\/pre>/gi, (_, code) => {
      return `\n\n\`\`\`\n${decodeHtmlEntities(code.replace(/<br\s*\/?>/gi, "\n").replace(/<[^>]+>/g, "")).trim()}\n\`\`\`\n\n`;
    })
    .replace(/<code[^>]*>(.*?)<\/code>/gi, (_, code) => `\`${decodeHtmlEntities(code.replace(/<[^>]+>/g, ""))}\``)

    // 3. Xử lý các thẻ tiêu đề H1 -> H6
    .replace(/<h1[^>]*>([\s\S]*?)<\/h1>/gi, "\n\n# $1\n\n")
    .replace(/<h2[^>]*>([\s\S]*?)<\/h2>/gi, "\n\n## $1\n\n")
    .replace(/<h3[^>]*>([\s\S]*?)<\/h3>/gi, "\n\n### $1\n\n")
    .replace(/<h4[^>]*>([\s\S]*?)<\/h4>/gi, "\n\n#### $1\n\n")
    .replace(/<h5[^>]*>([\s\S]*?)<\/h5>/gi, "\n\n##### $1\n\n")
    .replace(/<h6[^>]*>([\s\S]*?)<\/h6>/gi, "\n\n###### $1\n\n")

    // 4. Xử lý trích dẫn Blockquote và đường kẻ ngang
    .replace(/<blockquote[^>]*>([\s\S]*?)<\/blockquote>/gi, (_, content) => {
      const clean = content.replace(/<[^>]+>/g, "").trim();
      return `\n\n> ${clean.replace(/\n/g, "\n> ")}\n\n`;
    })
    .replace(/<hr\s*\/?>/gi, "\n\n---\n\n")

    // 5. Xử lý hình ảnh và liên kết
    .replace(/<img[^>]*src=["']([^"']+)["'][^>]*alt=["']([^"']*)["'][^>]*\/?>/gi, "![$2]($1)")
    .replace(/<img[^>]*alt=["']([^"']*)["'][^>]*src=["']([^"']+)["'][^>]*\/?>/gi, "![$1]($2)")
    .replace(/<img[^>]*src=["']([^"']+)["'][^>]*\/?>/gi, "![]($1)")
    .replace(/<a[^>]*href=["']([^"']+)["'][^>]*>([\s\S]*?)<\/a>/gi, (_, href, text) => {
      const cleanText = text.replace(/<[^>]+>/g, "").trim();
      return cleanText ? `[${cleanText}](${href})` : href;
    })

    // 6. Xử lý định dạng chữ in đậm, in nghiêng
    .replace(/<(strong|b)(?:\s+[^>]*)?>([\s\S]*?)<\/\1>/gi, "**$2**")
    .replace(/<(em|i)(?:\s+[^>]*)?>([\s\S]*?)<\/\1>/gi, "*$2*")

    // 7. Xử lý bảng (Table) cơ bản
    .replace(/<tr[^>]*>([\s\S]*?)<\/tr>/gi, (_, row) => {
      const cells = [];
      row.replace(/<t[hd][^>]*>([\s\S]*?)<\/t[hd]>/gi, (__, cell) => {
        cells.push(cell.replace(/<[^>]+>/g, "").replace(/\s+/g, " ").trim());
      });
      return cells.length ? `\n| ${cells.join(" | ")} |` : "";
    })

    // 8. Xử lý danh sách (List) và đoạn văn
    .replace(/<li[^>]*>([\s\S]*?)<\/li>/gi, "\n- $1")
    .replace(/<\/(ul|ol|table)>/gi, "\n\n")
    .replace(/<br\s*\/?>/gi, "\n")
    .replace(/<\/(p|div|section|article|figure|figcaption|details|summary)>/gi, "\n\n")

    // 9. Xóa toàn bộ các thẻ HTML còn sót lại
    .replace(/<[^>]+>/g, "");

  // 10. Giải mã thực thể HTML và dọn dẹp khoảng trắng thừa
  return decodeHtmlEntities(md)
    .replace(/[ \t]+\n/g, "\n")
    .replace(/\n{3,}/g, "\n\n")
    .trim();
}

/**
 * Tạo đoạn tóm tắt ngắn gọn (1 dòng) cho file llms.txt
 */
function createSummary(html, maxLength = 180) {
  const plain = htmlToMarkdown(html)
    .replace(/!\[.*?\]\(.*?\)/g, "") // Bỏ cú pháp ảnh trong tóm tắt
    .replace(/\[([^\]]+)\]\([^)]+\)/g, "$1") // Chỉ giữ lại chữ của link
    .replace(/[#*`>_~|-]/g, " ")
    .replace(/\s+/g, " ")
    .trim();

  if (!plain) return "Không có mô tả.";
  return plain.length > maxLength ? plain.slice(0, maxLength).trim() + "..." : plain;
}

/**
 * Trích xuất thông tin chuẩn hóa từ mỗi Entry của Blogger Feed
 */
function parseEntry(entry, fallbackOrigin) {
  const title = entry.title?.$t?.trim() || "Không có tiêu đề";
  const altLink = (entry.link || []).find((l) => l.rel === "alternate");
  const url = altLink ? altLink.href : fallbackOrigin;
  const published = entry.published?.$t ? entry.published.$t.split("T")[0] : "";
  const updated = entry.updated?.$t ? entry.updated.$t.split("T")[0] : "";
  const author = entry.author?.[0]?.name?.$t || "Quản trị viên";
  const categories = (entry.category || []).map((c) => c.term).filter(Boolean);
  const rawHtml = entry.content?.$t || entry.summary?.$t || "";

  return {
    title,
    url,
    published,
    updated,
    author,
    categories,
    summary: createSummary(rawHtml, 180),
    markdown: htmlToMarkdown(rawHtml)
  };
}

/**
 * Quét toàn bộ dữ liệu từ một loại Feed (posts hoặc pages) bằng cách lặp qua start-index
 */
async function fetchAllFeedEntries(origin, feedType = "posts") {
  let allEntries = [];
  let feedMeta = null;
  let startIndex = 1;

  while (startIndex <= MAX_ITEMS) {
    const feedUrl = `${origin}/feeds/${feedType}/default?alt=json&max-results=${BATCH_SIZE}&start-index=${startIndex}`;
    const res = await fetch(feedUrl, {
      redirect: "follow",
      cf: { cacheTtl: CACHE_TTL },
      headers: { "User-Agent": "Cloudflare-Worker-LLMs-Generator/2.0" }
    });

    if (!res.ok) break;

    const data = await res.json();
    const feed = data.feed;
    if (!feed) break;

    if (!feedMeta) {
      feedMeta = {
        title: feed.title?.$t || new URL(origin).hostname,
        subtitle: feed.subtitle?.$t || `Tổng hợp toàn bộ tài nguyên, bài viết và trang thông tin tại ${origin}`,
        updated: feed.updated?.$t || new Date().toISOString(),
        author: feed.author?.[0]?.name?.$t || "",
        categories: (feed.category || []).map((c) => c.term).filter(Boolean),
        totalResults: parseInt(feed.openSearch$totalResults?.$t || "0", 10)
      };
    }

    const entries = feed.entry || [];
    if (entries.length === 0) break;

    allEntries = allEntries.concat(entries.map((e) => parseEntry(e, origin)));

    const total = feedMeta.totalResults || 0;
    if (allEntries.length >= total || entries.length < BATCH_SIZE) {
      break;
    }

    startIndex += entries.length;
  }

  return { meta: feedMeta, entries: allEntries };
}

export default {
  async fetch(request, env, ctx) {
    const reqUrl = new URL(request.url);

    // Chỉ xử lý khi truy cập đúng /llms.txt hoặc /llms-full.txt
    if (reqUrl.pathname !== "/llms.txt" && reqUrl.pathname !== "/llms-full.txt") {
      return fetch(request);
    }

    // Tự động lấy URL gốc của trang hiện tại (ví dụ: https://tet.pro.vn)
    const BLOG_URL = reqUrl.origin;

    // Kiểm tra bộ nhớ đệm Cloudflare Edge Cache trước
    const cache = caches.default;
    const cacheKey = new Request(reqUrl.toString(), request);
    let cachedResponse = await cache.match(cacheKey);
    if (cachedResponse) {
      return cachedResponse;
    }

    // Quét song song toàn bộ Bài viết (Posts) và Trang tĩnh (Pages)
    const [postsData, pagesData] = await Promise.all([
      fetchAllFeedEntries(BLOG_URL, "posts"),
      fetchAllFeedEntries(BLOG_URL, "pages")
    ]);

    if (!postsData.meta && !pagesData.meta) {
      return new Response("Không thể truy xuất nguồn cấp dữ liệu Blogger Feed.", {
        status: 502,
        headers: { "content-type": "text/plain; charset=utf-8" }
      });
    }

    const meta = postsData.meta || pagesData.meta;
    const posts = postsData.entries;
    const pages = pagesData.entries;
    const allCategories = meta.categories || [];

    let output = "";

    // =========================================================================
    // 1. XÂY DỰNG NỘI DUNG CHO FILE /llms.txt (BẢN MỤC LỤC CHI TIẾT TOÀN TRANG)
    // =========================================================================
    if (reqUrl.pathname === "/llms.txt") {
      output += `# ${meta.title}\n\n`;
      output += `> ${meta.subtitle}\n\n`;

      output += `- Trang chủ: ${BLOG_URL}/\n`;
      output += `- Nội dung toàn văn cho AI (Full Corpus): ${BLOG_URL}/llms-full.txt\n`;
      output += `- Sơ đồ bài viết (XML Sitemap): ${BLOG_URL}/sitemap.xml\n`;
      output += `- Sơ đồ trang tĩnh (Pages Sitemap): ${BLOG_URL}/sitemap-pages.xml\n`;
      output += `- Nguồn cấp RSS/Atom: ${BLOG_URL}/feeds/posts/default\n`;
      output += `- Tổng số bài viết: ${posts.length} | Tổng số trang tĩnh: ${pages.length}\n`;
      output += `- Cập nhật lần cuối: ${meta.updated}\n\n`;

      // Mục 1: Danh sách toàn bộ Trang tĩnh (Pages)
      if (pages.length > 0) {
        output += `## Trang thông tin & Chính sách (${pages.length})\n\n`;
        for (const page of pages) {
          output += `- [${page.title}](${page.url}): ${page.summary}\n`;
        }
        output += `\n`;
      }

      // Mục 2: Danh sách toàn bộ Chuyên mục / Nhãn (Labels)
      if (allCategories.length > 0) {
        output += `## Danh mục chủ đề (${allCategories.length})\n\n`;
        for (const cat of allCategories) {
          const catUrl = `${BLOG_URL}/search/label/${encodeURIComponent(cat)}`;
          const count = posts.filter((p) => p.categories.includes(cat)).length;
          output += `- [${cat}](${catUrl}): Chuyên mục có ${count} bài viết.\n`;
        }
        output += `\n`;
      }

      // Mục 3: Bài viết được phân nhóm theo từng Chuyên mục
      const categorizedMap = new Map();
      const uncategorizedPosts = [];

      for (const post of posts) {
        if (post.categories.length === 0) {
          uncategorizedPosts.push(post);
        } else {
          // Đưa bài viết vào chuyên mục đầu tiên của nó để tránh trùng lặp quá nhiều
          const primaryCat = post.categories[0];
          if (!categorizedMap.has(primaryCat)) {
            categorizedMap.set(primaryCat, []);
          }
          categorizedMap.get(primaryCat).push(post);
        }
      }

      for (const [catName, catPosts] of categorizedMap.entries()) {
        output += `## Chuyên mục: ${catName} (${catPosts.length} bài)\n\n`;
        for (const p of catPosts) {
          const tags = p.categories.length > 1 ? ` [Nhãn: ${p.categories.join(", ")}]` : "";
          output += `- [${p.title}](${p.url}) (${p.published}): ${p.summary}${tags}\n`;
        }
        output += `\n`;
      }

      if (uncategorizedPosts.length > 0) {
        output += `## Bài viết khác (${uncategorizedPosts.length} bài)\n\n`;
        for (const p of uncategorizedPosts) {
          output += `- [${p.title}](${p.url}) (${p.published}): ${p.summary}\n`;
        }
        output += `\n`;
      }
    }

    // =========================================================================
    // 2. XÂY DỰNG NỘI DUNG CHO FILE /llms-full.txt (TOÀN VĂN MARKDOWN CHI TIẾT)
    // =========================================================================
    else if (reqUrl.pathname === "/llms-full.txt") {
      output += `# ${meta.title} — Toàn văn dữ liệu trang web (Full Content)\n\n`;
      output += `> ${meta.subtitle}\n\n`;
      output += `- URL gốc: ${BLOG_URL}\n`;
      output += `- Bản tóm tắt điều hướng: ${BLOG_URL}/llms.txt\n`;
      output += `- Tổng số tài liệu: ${pages.length} trang tĩnh và ${posts.length} bài viết\n`;
      output += `- Cập nhật lần cuối: ${meta.updated}\n\n`;

      // Phần A: Toàn văn các Trang tĩnh (Pages)
      if (pages.length > 0) {
        output += `================================================================================\n`;
        output += `# PHẦN 1: TRANG THÔNG TIN & CHÍNH SÁCH (${pages.length} TRANG)\n`;
        output += `================================================================================\n\n`;

        for (const page of pages) {
          output += `---\n`;
          output += `title: "${page.title.replace(/"/g, '\\"')}"\n`;
          output += `url: ${page.url}\n`;
          output += `type: page\n`;
          output += `author: "${page.author}"\n`;
          output += `published: ${page.published}\n`;
          output += `updated: ${page.updated}\n`;
          output += `---\n\n`;
          output += `## ${page.title}\n\n`;
          output += `${page.markdown}\n\n`;
        }
      }

      // Phần B: Toàn văn tất cả Bài viết (Posts)
      if (posts.length > 0) {
        output += `================================================================================\n`;
        output += `# PHẦN 2: TOÀN BỘ BÀI VIẾT TRÊN BLOG (${posts.length} BÀI VIẾT)\n`;
        output += `================================================================================\n\n`;

        for (const post of posts) {
          output += `---\n`;
          output += `title: "${post.title.replace(/"/g, '\\"')}"\n`;
          output += `url: ${post.url}\n`;
          output += `type: post\n`;
          output += `author: "${post.author}"\n`;
          output += `published: ${post.published}\n`;
          output += `updated: ${post.updated}\n`;
          output += `categories: [${post.categories.map((c) => `"${c}"`).join(", ")}]\n`;
          output += `---\n\n`;
          output += `## ${post.title}\n\n`;
          output += `${post.markdown}\n\n`;
        }
      }
    }

    const finalResponse = new Response(output, {
      status: 200,
      headers: {
        "content-type": "text/plain; charset=utf-8",
        "cache-control": `public, max-age=${CACHE_TTL}, s-maxage=${CACHE_TTL}`,
        "x-robots-tag": "all",
        "access-control-allow-origin": "*"
      }
    });

    // Lưu vào Cloudflare Edge Cache để phản hồi tức thì cho các truy vấn tiếp theo
    ctx.waitUntil(cache.put(cacheKey, finalResponse.clone()));

    return finalResponse;
  }
};

Hướng dẫn chi tiết cấu hình:

Bước 1:

Truy cập trang quản trị domain ở Cloudflare.

Truy cập trang quản trị domain ở Cloudflare Bước 2:

Thêm domain của bạn trỏ vào Cloudflare.

Thêm domain của bạn trỏ vào Cloudflare Bước 3:

Cấu hình các bản ghi DNS @ 192.0.2.1 và * 192.0.2.1 y như trong hình mình đã cấu hình, lưu ý cần bật đám mây màu cam cloudflare để code worker trên có thể hoạt động.

Cấu hình các bản ghi DNS @ 192.0.2.1 và * 192.0.2.1 y như trong hình mình đã cấu hình, lưu ý cần bật đám mây màu cam cloudflare để code worker trên có thể hoạt động Bước 4:

Bạn tiến hành truy cập và tạo worker cloudflare y như trong hình, sau đó bạn trỏ domain router worker với tên miền bạn vừa thêm vào, trỏ theo cấu trúc chuẩn như sau www.sata.pro.vn/*

Hướng dẫn chi tiết tạo tệp LLMS chuẩn cho Blogger Bước 5:

Bước cuối cùng bạn chỉ cần trỏ mã bạn vừa copy ở trên vào phần code của worker và deloy worker cloudflare và test thử hoạt động /llms.txt và /llms-full.txt thôi nào.

4. Lời kết

Trên đây mình đã hướng dẫn các bạn cách tạo tệp llms.txt và llms-full.txt bằng worker cloudflare rồi, hy vọng các bạn làm thành công và để lại ở dưới comments cho mình biết nhé các bạn. Hẹn gặp lại các bạn ở những bài viết tiếp theo!

Copyright © Sata Pro

Content Creator, Graphic Designer, UI / UX Designer
Cookie Consent
Chúng tôi sử dụng cookie để hiểu cách bạn sử dụng trang web của chúng tôi và cải thiện trải nghiệm của bạn. Điều này bao gồm nội dung và quảng cáo được cá nhân hóa...
Tìm hiểu thêm
Oops!
It seems there is something wrong with your internet connection. Please connect to the internet and start browsing again.
AdBlock Detected!
We have detected that you are using adblocking plugin in your browser.
The revenue we earn by the advertisements is used to manage this website, we request you to whitelist our website in your adblocking plugin.
Site is Blocked
Sorry! This site is not available in your country.