הגדרת Web Spidering ו סורק אינטרנט

עכבישים הם תוכניות (או סקריפטים אוטומטיים) ש"זוחלים "דרך האינטרנט ומחפשים נתונים. עכבישים נוסעים דרך כתובות אתר ויכולים למשוך נתונים מדפי אינטרנט כגון כתובות דוא"ל. עכבישים משמשים גם כדי להאכיל מידע למצוא באתרי אינטרנט למנועי חיפוש.

עכבישים, אשר מכונים גם "אינטרנט סורקים" החיפוש באינטרנט ולא כולם ידידותיים בכוונתם.

שולחי דואר זבל אתרים לאסוף מידע

Google, Yahoo! ומנועי חיפוש אחרים אינם היחידים המעוניינים לסרוק אתרי אינטרנט - כך גם שולחי דואר זבל ושולחי דואר זבל.

עכבישים וכלים אוטומטיים אחרים משמשים שולחי דואר זבל כדי למצוא כתובות דוא"ל (באינטרנט נוהג זה מכונה לעתים קרובות "הקציר") באתרי אינטרנט ולאחר מכן להשתמש בהם כדי ליצור רשימות דואר זבל.

עכבישים הם גם כלי המשמש את מנועי החיפוש כדי למצוא מידע נוסף על האתר שלך, אבל נותר unhecked, אתר ללא הוראות (או, 'הרשאות') על איך לסרוק את האתר שלך יכול להציג את הסיכונים העיקריים אבטחת מידע. עכבישים לנסוע על ידי הקישורים הבאים, והם מיומנת מאוד במציאת קישורים מסדי נתונים, קבצי תוכנית, ומידע אחר אשר ייתכן שלא רוצה להם גישה.

מנהלי אתרים יכולים להציג יומנים כדי לראות מה עכבישים ורובוטים אחרים ביקרו באתרים שלהם. מידע זה מסייע למנהלי אתרים לדעת מי מוסיף לאינדקס את האתר שלהם, ובאיזו תדירות.

מידע זה שימושי משום שהוא מאפשר למנהלי אתרים לכוונן את ה- SEO שלהם ולעדכן קבצי robot.txt כדי לאסור על רובוטים מסוימים לסרוק את האתר שלהם בעתיד.

טיפים על הגנה על האתר שלך מפני סורק רובוטים לא רצויים

יש דרך פשוטה למדי לשמור על סורקים לא רצויים מתוך האתר שלך. גם אם אתה לא מודאג עכבישים זדוניים לסרוק את האתר שלך (obsuscating כתובת הדוא"ל לא יגן עליך מפני רוב הסורקים), אתה עדיין צריך צריך לספק למנועי החיפוש הוראות חשובות.

לכל אתרי האינטרנט יש קובץ הממוקם בספריית השורש הנקראת קובץ robots.txt. קובץ זה מאפשר לך להנחות סורקי אינטרנט שבהם אתה רוצה שהם ייראו לדפי אינדקס (אלא אם כן צוין אחרת בנתוני meta של דף מסוים כדי לא להיות באינדקס) אם הם מנוע חיפוש.

בדיוק כפי שאתה יכול לספר סורקים רצה איפה אתה רוצה אותם לגלוש, אתה יכול גם להגיד להם לאן הם לא יכולים ללכת ואפילו לחסום סורקים ספציפיים מכל האתר שלך.

חשוב לזכור כי גם קובץ robots.txt היטב יש ערך עצום עבור מנועי החיפוש והוא יכול גם להיות מרכיב מפתח בשיפור הביצועים של האתר שלך, אבל כמה סורקים הרובוט עדיין להתעלם ההוראות שלך. מסיבה זו, חשוב לשמור את כל התוכנות, תוספים ויישומים מעודכנים בכל עת.

מאמרים ומידע

בשל השכיחות של קצירת מידע המשמש למטרות מזיק (דואר זבל), חקיקה עברה בשנת 2003 כדי להפוך פרקטיקות מסוימות בלתי חוקיים. חוקים אלה להגנה על הצרכן נופלים תחת CAN-SPAM Act of 2003.

חשוב לך לקחת את הזמן כדי לקרוא על CAN-SPAM Act אם העסק שלך עוסק בכל דיוור המוני או איסוף מידע.

אתה יכול לברר פרטים נוספים על אנטי ספאם חוקים וכיצד להתמודד עם שולחי דואר זבל, ומה שאתה כבעל עסק לא יכול לעשות, על ידי קריאת המאמרים הבאים:

• CAN-SPAM Act 2003
• CAN-SPAM חוק למלכ"רים
• 5 CAN-SPAM חוקי עסקים קטנים צריכים להבין