קטגוריה: DevOps&AWS

מה זה Node וקלסטרינג בקוברנטיס

באחד המדריכים, יצרנו קוברנטיס קלסטר עם 3 Nodes, כל Node הוא בעצם שרת/מכונה שמריץ קונטיינרים (Pod).

לכל קוברנטיס קלסטר חייב להיות לפחות Node אחד שהוא יהיה הNode המנהל – הוא מריץ בתוכו את הKubernetes API ואת שאר כלי הניהול של קוברנטיס, שאר הNodes מכונים Workers.

כל Node מורכב מPod אחד או יותר.

כדי לראות את רשימת הNodes שלנו נריץ את הפקודה הבאה:

kubectl get nodes

כדי לקבל פרטים נוספים על Node ספציפי נריץ את הפקודה הבאה:

kubectl describe node $our_node_name

כאשר $our_node_name מייצג את שם הNode הספציפי.

מה זה Kubernetes Pod?
יצירת kubernetes קלסטר בסיסי בקלות

מצאתם טעות? הערות? שאלות? הסתדרתם? נתקעתם? כתבו לי בתגובות!

מה זה Kubernetes Pod?

Pods הוא היחידה הבסיסית ביותר של קוברנטיס. כל Pod מורכב מקונטיינר אחד או יותר (בדרכ יש קונטיינר אחד בכל POD אבל ניתן שיהיה יותר מקונטיינר אחד), כתובת IP בתוך הקוברנטיס קלסטר ואיחסון (Storage).
כל Pod אחד או יותר יוצרים ביחד Node. קלסטר מורכב מNode אחד או יותר.

כשאנחנו מפעילים Pod, קוברנטיס בעצם מתזמן – Schedules
Pod שיריץ אותו. הPod יריץ את כל הקונטיינטרים שם חלק מאותו Pod.

כדי ליצור POD, אנו משתמשים בקובץ YAML שמכיל את הפרטים של אותו POD.
לדוגמא, אם נירצה ליצור POD שמריץ קונטיינר Nginx ניצור קובץ בשם ourtamlefilename.yaml לדוגמא עם הפרטים הבאים:

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
  - name: nginx
    image: nginx

בקובץ הנל, אנו בעצם מבקשים ליצור POD בשם nginx, ובנוסף מבקשים לבנות בו דוקר קונטיינר בשם nginx כאשר אנו מציינים לדוקר להשתמש בimage של nginx.

ואז נריץ את הפקודה 

kubectl create -f ouryamlfilename.yaml

ניתן לדלג על שלב יצירת הקובץ על ידי העברה של התוכן ישירות לkubectl על ידי הפקודה הבאה לדוגמא:

cat << EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
  - name: nginx
    image: nginx
EOF

אני דווקא ממליץ לעבוד עם קבצים. יאפשר לנו בעתיד אוטומציה, ניהול גירסאות ועוד דברים נוספים.

כדי לראות את כל הPods הקיימים שלנו נריץ את הפקודה

kubectl get pods

וכדי לראות פרטים נוספים אודות POD נריץ את הפקודה הבאה כאשר במקרה שלנו nginx זהו שם הPod שלנו

kubectl describe pod nginx

למחיקת הPOD שלנו נשתמש בפקודה הבאה:

kubectl delete pod nginx

מצאתם טעות? הערות? שאלות? הסתדרתם? נתקעתם? כתבו לי בתגובות!

התקנת kubeadm, kubelet ו kubectl בשרת Ubuntu 18 LTS

מה זה kubeadm?

kubeadm הוא כלי שמאפשר אוטומציה של חלק גדול של יצירת קלסטר, בתכלס – הופך את העבודה שלנו ביצירת קלסטר להרבה יותר קלה.

מה זה kubelet?

kubelet הוא שירות (Agent) שרץ בכל קוניינר שקיים בכל Node שלנו, כל שרת שיריץ קונטיינר זקוק לשירות kubelet.

מה זה kubectl?

kubectl הוא כלי command line שמאפשר לנו לתקשר עם הקלסטר (Cluster) שלנו ולנהל אותו.

על מנת להתקין את השירותים הנל, נריץ את הפקודות הבאות: (אני בחרתי להתקין את גירסת 1.12.7-00 , בהתאם לצורך שלכם – ייתכן ואתם תירצו להתקין גירסה אחרת.
שימו לב, במידה ותיבחרו להתקין גירסה מתקדמת יותר, עקבו אחרי ההוראות הנוספות בלינק הזה, הדבר העיקרי הוא שגירסאות מתקדמות יותר לא יעבדו טוב במידה ומוגדר לכם שטח SWAP במערכת ההפעלה, לכן יש קודם לבטל את הSWAP.)

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

cat << EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF

sudo apt-get update

sudo apt-get install -y kubelet=1.12.7-00 kubeadm=1.12.7-00 kubectl=1.12.7-00

sudo apt-mark hold kubelet kubeadm kubectl

ולאחר מכן נוודא שההתקנה הצליחה על ידי הפקודה הבאה:

kubeadm version

סיימתם!

קצת הסברים

הפקודה הזאת מוסיפה את מפתח הPGP

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

הפקודה הזאת מוסיפה את הריפו לקובץ הsources שלנו במערכת. 

cat << EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF

הפקודה הזאת מונעת מהשירותים הנל להתעדכן אוטומטית (במיקרה שלכם ייתכן ולא תירצו להריץ אותה)

sudo apt-mark hold kubelet kubeadm kubectl

מצאתם טעות? הערות? שאלות? הסתדרתם? נתקעתם? כתבו לי בתגובות!

איך מתקינים DOCKER באובונטו 18 LTS

איך להתקין DOCKER באובונטו 18 LTS

הפקודות הראשונות שנריץ הן:

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"

sudo apt-get update

sudo apt-get install -y docker-ce=18.06.1~ce~3-0~ubuntu

sudo apt-mark hold docker-ce

ולאחר מכן נריץ את הפקודה הבאה על מנת לבדוק שDOCKER הותקן בהצלחה, הפקודה אמורה להציג לנו את מס הגירסה של הדוקר שהתקנו

sudo docker version

ככה פשוט!
לפרטים נוספים באתר Docker ליחצו כאן

קצת הסברים

בפקודה הזאת אנו מוסיפים את מפתח הPGP של החבילה

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

הפקודה הבאה מתקינה את גירסת הקהילה של DOCKER, אני בחרתי להתקין גירסה ספציפית – במקרה שלכם יכול להיות שתירצו להתקין גירסה אחרת

sudo apt-get install -y docker-ce=18.06.1~ce~3-0~ubuntu

הפקודה הזאת מונעת עדכון אוטומטי של החבילה לגירסה אחרת – במיקרה שלכם, ייתכן ולא תירצו לעשות זאת

sudo apt-mark hold docker-ce

מצאתם טעות? הערות? שאלות? הסתדרתם? נתקעתם? כתבו לי בתגובות!

העברת GIT REPO מGitHub לCodeCommit, הכיצד??

העברת REPO מGitHub ל AWS CodeCommit בקלי קלות.

במידה ויש לנו כבר GIT REPO באחד מהספקים הפופולארים כמו GitHub,GitLab,BitBucket וכו ואנו מעוניינים להעביר את ניהול הקוד לCodeCommit,
AWS מאפשרים לנו מספר אפשרויות:

1. העברת כל הREPO שלנו
2. העברת רק חלק מהBRANCHES
3. אנו יכולים להתחיל בהעברת רק חלק מהBRANCES ולאחר מכן להעביר את כל הREPO במידה ונירצה (הגירה בשלבים).

שימו לב! במידה וגודל הREPO שלנו גדול מ2GB,או שהREPO שלנו מכיל קבצים גדולים שלא ניתן לכווץ אותם (COMPRESS) בצורה טובה, ההמלצה היא להגר בשלבים ולא בבת אחת.

השלבים להעתקת ריפו מGITHUB לAWS CodeCommit

  1. ניצור משתמש בAWS עם הרשאות מתאימות ל CodeCommit
  2. נעתיק (CLONE) את הREPO שאנו רוצים להעביר מGITHUB למחשב שלנו.
  3. ניצור REPO חדש בCodeCommit דרך הAWS CLI
  4. ניצור למשתמש שלנו בAWS שם משתמש וסיסמא לCodeCommit
  5. נדחוף את הREPO שלנו מהמחשב לREPO בCodeCommit.

על מנת לעבוד עם CodeCommit יש ליצור משתמש בAWS עם ההרשאות המתאימות.

CodeCommit – הגדרת משתמשי IAM, Access Keys ומדיניות
שימו לב, על מנת לעבוד עם CodeCommit יש ליצור משתמש בAWS עם ההרשאות המתאימות.

העתקת הREPO שלנו מGITHUB למחשב

למטרות הדגמה, עשיתי FORK בGITHUB שלי לרפו נחמד של Design Patterns בPHP בכתובת: https://github.com/avivronen/DesignPatternsPHP שאותו אעביר לCodeCommit.

השלב הבא הוא לבצע CLONE לREPO שאנו רוצים להעביר מGitHub לCodeCommit למחשב שלנו, אני כבר עשיתי את זה.

git clone --mirror <repourl> <mylocaltempdir>

החליפו את <repourl> בכתובת הריפו שלכם בGitHub
ואת <mylocaltempdir> במיקום התיקייה במחשב שלכם שאליה אתם מעוניינים להוריד את הREPO.

כפי שניתן לראות כרגע במחשב קיימת לי REPO בשם DesignPatternsPHP

יצירת REPO חדש בCodeCommit אליה נעתיק את הREPO מGITHUB

לאחר שיצרנו CLONE של הREPO שאנו רוצים להעביר במחשב שלנו, אנחנו ניצור REPO חדש בCodeCommit באמצעות הAWS CLI (אם טרם הגדרת את הAWS CLI במחשב שלכם, ליחצו כאן להסבר איך עושים את זה) על ידי הפקודה הבאה:

aws codecommit create-repository --repository-name avivtest --repository-description "aviv"

שם הריפו שבחרתי: avivtest
התיאור: aviv
התשובה שאנו אמורים לקבל צריכה להיות דומה למה שקיבלתי:

נוכל לוודא את זה על ידי כניסה לCodeCommit דרך ממשק AWS ושם ניראה את הREPO החדש שיצרנו.

יצירת שם משתמש וסיסמא למשתמש שלנו בAWS לCodeCommit

בנוסף, ניצור למשתמש שלנו בAWS שם משתמש וסיסמא לCodeCommit. לא לשכוח לתת למשתמש שלנו הרשאות לCodeCommit.
נלחץ על IAM, ושם ניראה את רשימת המשתמשים הקיימים, ונלחץ על המשתמש שלנו, במיקרה שלי שם המשתמש הוא codecommit.

נלחץ על Security Credentials

ונגלול למטה עד לחלק של "HTTPS Git credentials for AWS CodeCommit" ונלחץ על "Generate"

לאחר שלחצנו על GENERATE, יוצגו לנו שם המשתמש והסיסמא, שימו לב, זאת הפעם היחידה שנוכל לראות את הפרטים האלו – לכן חשוב לשמור אותם.

דחיפת הREPO מהמחשב שלנו לREPO החדש בCodeCommit

עכשיו אנחנו צריכים לדחוף את הREPO מהמחשב שלנו לREPO שיצרנו בCodeCommit.

ניכנס לתיקייה בה ממוקמת הREPO שהורדנו למחשב. במקרה שלי שם התיקייה הוא DesignPatternsPHP

cd DesignPatternsPHP

בשביל לדחוף את הREPO מהמחשב לREPO החדש שיצרנו בAWS נקליט את הפקודה הבאה,
נתבקש להזין את שם המשתמש והסיסמא שיצרנו בשלב הקודם.

git push https://git-codecommit.us-east-1.amazonaws.com/v1/repos/avivtest --all

כאשר https://git-codecommit.us-east-1.amazonaws.com/v1/repos/avivtest
זאת הכתובת של הREPO שלי ב CodeCommit.


כדי לדעת מה הכתובת של הREPO שלכם בCodeCommit ניתן להיכנס למסך הREPOS של CodeCommit, ושם נלחץ על HTTPS ליד שם הREPO שלנו, זה יעתיק לנו את הכתובת.

זהו! ככה פשוט, עכשיו כשניכנס דרך AWS לREPO שלנו בCodeCommit נוכל לראות שהREPO שלנו כבר הועתקה לשם.
עכשיו הREPO שלנו יושב בCodeCommit ונוכל להממשק באמצעות לשלל שירותי ה CI/CD של AWS בקלי קלות.

מצאתם טעות? הערות? שאלות? הסתדרתם? נתקעתם? כתבו לי בתגובות!

CodeCommit – הגדרת משתמשי IAM, Access Keys ומדיניות

CodeCommit – הגדרת משתמשי IAM, Access Keys ומדיניות

לא יודעים מה זה CodeCommit? ליחצו כאן

יצירת משתמש לCodeCommit דומה מאוד ליצירת כל משתמש IAM אחר, אנחנו צריכים ליצור משתמש ולתת לו הרשאות מתאימות על מנת שיוכל לעשות שימוש בCodeCommit.

התהליך רק ניראה מסובך בהתחלה, וידרוש מכם לקרוא את כל ההסברים, אבל אחרי שתעשו את זה פעם אחת זאת פעולה שלוקחת ממש כמה דקות!

יצירת המשתמש מורכבת מ5 שלבים:
שלב 1: בחירת שם המשתמש וסוג הAccess Type
שלב 2: בחירת ההרשאות המתאימות למשתמש
שלב 3: הוספת תגיות למשתמש
שלב 4: הצגת כל הפרטים ואישור יצירת המשתמש
שלב 5: תצוגת פרטי המשתמש והורדת הAccess Key

* ובעמוד הבא (2) נלמד איך להגדיר למשתמש החדש שלנו הרשאת SSH לCodeCommit.
* למעוניינים להתחבר באמצעות HTTPS ולא בSSH, בעמוד 3 תמצאו את ההסברים.

אחרי שהתחברנו ל AWS Console, אנחנו צריכים להיכנס לIAM – Identity & Access Managmet, נקיש בתיבת החיפוש IAM ונבחר את האפשרות IAM .

אחרי שנכנסו למסך הIAM אנחנו ניראה את המסך הבא:

בתפריט נבחר את האפשרות "Users" (נמצאת מתחת לGroups), ולאחר מכן נלחץ על "Add User"

שלב 1 – בחירת שם המשתמש וסוג הAccess Type

בשם המשתמש נזין את שם המשתמש הרצוי לנו, אני בחרתי "CodeCommit1", שימו לב, מאוד חשוב לסמן V באפשרות Programmatic Access.

שלב 2: בחירת ההרשאות למשתמש

במסך הבא (שלב 2), אנחנו צריכים לבחור הרשאות למשתמש, ניתן ליצור קבוצה ולה לשייך את ההרשאות המתאימות או לחילופין לשייך למשתמש פוליסה ישירות. אנחנו נבחר לשייך פוליסה ישירות (אולם ההמלצה שלי היא ליצור דווקא קבוצה לדוגמה "מפתחים" ואליה לשייך את הפוליסה המתאימה).
במסך חיפוש הפוליסה אנו נקליד CodeCommit ואז יופיעו לנו 3 פוליסות רלוונטיות:
AWSCodeCommitReadOnly
AWSCodeCommitPowerUser
AWSCodeCommitFullAccess.
ניתן ללחוץ על החץ ליד כל פוליסה על מנת לראות מה היא מאפשרת ובהתאם לבחור את ההרשאה הנכונה הרצויה שלנו. – אנחנו נבחר כרגע Full Access.

שלב מס 3: הוספת תגיות למשתמש

שלב מס 3 מאפשר לנו להוסיף TAGS (תגית) למשתמש, מומלץ מאוד, עוזר מאוד בחיפוש, בפירוט החיובים וכו, אבל במדריך הזה אני בחרתי שלא להוסיף.

שלב מס 4: הצגת כל הפרטים ואישורם

שלב מס 4 מציג לנו את כל הפרטים לאישור אחרון.

לאישור ויצירת המשתמש נלחץ על Create User.

שלב 5 והאחרון – תצוגת פרטי המשתמש ואפשרות הורדת הSecret Access Key שלו

שלב 5 והאחרון מציג לנו את המשתמש שיצרנו, שימו לב: זאת הפעם היחידה בה נוכל לראות את הSecret Access Key של המשתמש, לכן חשוב לשמור אותו. הדרך המומלצת לשמירה היא להוריד את קובץ הCSV.

לא לדאוג, אני אמחוק את המשתמש.. 🙂

כדי לוודא שהמשתמש נוצר בצורה תקינה, במסך הIAM נלחץ על USERS ונלחץ על המשתמש החדש שיצרנו, במקרה שלנו CodeCommit1.

ואכן ניתן לראות שלמשתמש יש את פוליסת ההרשאות שבחרנו.
וכמו כן, ניתן לראות שיש לו ACCESSKEY ID, אבל אין לו מפתח SSH עדיין.

בעמוד הבא, נצמיד מפתח SSH למשתמש החדש שיצרנו.

מצאתם טעות? הערות? שאלות? הסתדרתם? נתקעתם? כתבו לי בתגובות!

עמודים: עמוד 1, עמוד 2, עמוד 3

הקדמה ל CodeCommit

CodeCommit הוא שירות מנוהל של AWS לניהול ושיתוף קוד (GIT), כמו GitHub, BitBucket ושירותים נוספים שאתם בטח מכירים.

מה הייתרונות העיקריים של CodeCommit לעומת שירותים מנוהלים אחרים?

* סקאלביליות, זמינות וDurability
CodeCommit מאחסן את הרפוסוטוריס שלנו בS3 וDynamoDB ביותר מפסיליטי אחד בצורה מוצפנת
* אין הגבלה לגודל הרפסטורי ולקבצים שאנו מעלים אליו
* התממשקות מעולה לשאר שירות AWS כמו CodePipeline, Lambada , SNS – הרבה יותר נוח מכל פיתרון אחר
* ניתן להגר בקלות לCodeCommit משירותים אחרים כמו GitHub
* עובד עם כל כלי הGIT הרגילים שאתם מכירים.

איך מתחברים לCodeCommit?

כמו רוב שירותי הGIT, גם ל CodeCommit ניתן להתחבר גם באמצעות SSH וגם באמצעות HTTPS, בנוסף, כמו כל שירותי AWS ניתן לשלוט עליו באמצעות ה AWS CLI.

אני ממליץ לעשות שימוש בCodeCommit באמצעות SSH עם מפתחות (RSA Key Pairs), את המפתח שלנו אנחנו צריכים לקשר לחשבון IAM שלנו בAWS ושומרים אותו אצלנו במחשב.

האפשרות השנייה היא כמובן HTTPS, קלה יותר לשימוש, כאן אין צורך להגדיר מפתחות אבל אז יש צורך להקיש שם משתמש וסיסמא.
שימו לב, במידה ומתחברים באמצעות HTTPS יש לוודא שפורט 443 פתוח החוצה בפיירוואל שלנו (של המחשב שאנו עובדים איתו או במשרד), במידה ומתחברים בSSH יש לוודא שפורט 22 פתוח.

הייתרונות בשימוש HTTPS:
* קל יותר לשימוש, שם משתמש וסיסמא
* כל המידע שמועבר מוצפן
* רוב פיירוואלים כבר מוגדרים מראש לאפשר גישה דרך פורט 443.
למשתמשי מאק ככל הניראה תהיה בעיה לעשות שימוש בHTTPS עקב הבעיתיות ב Mac OSC keychain, יש לכך כמובן פיתרונות, אבל למשתמשי מאק הייתי ממליץ לעשות שימוש בHTTPS, כיון שאנחנו רוצים כמה שפחות להתעסק בכלים ויותר להתעסק בפיתוח הקוד שלנו.

ייתרונות בשימוש בSSH:
* פרוטוקול SSH הוא יעיל! בנוסף לא צריך להקיש שם משתמש וסיסמא בכל פעם.
* לטעמי האישי, מפתחות SSH בטוחים יותר, הרבה יותר קשה לזייף אותם לעומת זיוף סיסמאות (Brutal Force לדוגמה).
* כל הדאטא שעובר הוא מוצפן במעבר כמו בHTTPS
חסרונות: למשתמשים חדשים, יהיה יותר קשה לנהל את נושא המפתחות. בנוסף, ישנם פיירואלים אשר חוסמים גישה דרך פורט 22 וצריך לפתוח אותה.

כמה עולה CodeCommit?

רשימה מלאה ומעודכנת של המחירים ניתן למצוא כאן

חבילת החינם (Free Tier):
* מוגבלת ל5 משתמשים בחינם
* אין הגבלה לכמות הRepositoreis
* שטח איחסון של 50GB לחודש
* 10,000 קריאות לGit לחודש (Git Requests)

לכל משתמש מעל ה5 משתמשים הראשונים תשלמו כ1$ למשתמש, ותקבלו 10GB שטח איחסון למשתמש בנוסף ל50GB שכבר יש לכם, ו2000 קריאות לGIT בחודש לכל משתמש פעיל, שוב , בנוסף ל10,000 קריאות שכבר כלולות לכן בחבילה.

חישוב לדוגמה: בהנחה שיש לכם 10 משתמשים, החשבון הכולל יהיה כ10$:
5 משתמשים ראשונים: חינם
5 משתמשים נוספים, 1$ לכל אחד, סהכ 5$ נוספים.

צילום מסך מעמוד המחירים של CodeCommit
צילום מסך מעמוד המחירים של CodeCommit

וזאת בהנחה שלא תחרגו מהנל (שטח איחסון, כמות קריאות לGIT), כמובן שמומלץ להתעדכן במחירים המעודכנים באתר של AWS. בנוסף תשלמו 0.06$ לכל GB מעבר למה שכלול בחבילה, ו0.001$ לכל קריאת GIT נוספת (Git Request).
בתכלס, לרוב הסטארטאפים הקטנים או הצוותים הקטנים, חבילת החינם תהיה יותר ממספיקה. קשה לי להאמין שתחרגו מ50GB איחסון לחודש ו10,000 קריאות לGIT.

אלטרנטיבות פופלאריות ל CodeCommit, יש עוד המון, בחרתי את הפופלאריות ביותר:

יש עוד המון, בחרתי את הפופלאריות ביותר:
1. גיט האב: https://github.com/
2. ביט באקט: https://bitbucket.org
3. גיט לאב: https://gitlab.com

קריאה נוספת על CodeCommit

איך יוצרים משתמש עם הרשאות מתאימות ואיך מתחברים ל CodeCommit?

קריאה נוספת על CodeCommit