<< Click to Display Table of Contents >> Navigation:  ThinBASIC Modules > Tokenizer > Tokenizer Module Classes > cTokenizer > <cTokenizer>.Char > <cTokenizer>.Char.Set > <cTokenizer>.Char.Set.Delim

 

Description

 

Change one or more chars type to Delim (delimiter) type.

 

Syntax

 

<cTokenizer>.Char.Set.Delim(sChars)

 

Returns

 

Parameters

 

 

Remarks

 

During startup, <cTokenizer> class assign each ASCII chars to a specific default group.

With this function you can change default group for any of the 255 ASCII chars.

 

Restrictions

 

See also

 

Examples

 

Uses "Tokenizer"

 

'---Create a new tokenizer object

Dim MyParser As cTokenizer

 

'---Instantiate new tokenizer

'---A tokenizer object is a mix of keywords, some rules and some methods for parsing/tokenizing a text

MyParser = New cTokenizer()

 

'---Change some default behave in char parsing

'---Every single ASCII char can be associated to one of the predefined 7 char sets

'---A set of characters can be indicated in one go using .Char.Set. method followed by the type:

'---NewLine, Space, Delim, Numeric, Alpha, DQuote, Alpha_Single

MyParser.Char.Set.NewLine       (":;")  

MyParser.Char.Set.Space         ($SPC & $TAB)

MyParser.Char.Set.Delim         (",.-+*/")

MyParser.Char.Set.Numeric       ("0123456789")

MyParser.Char.Set.Alpha         ("$%ABCDabcd")

MyParser.Char.Set.DQuote        ($DQ)

MyParser.Char.Set.Alpha_Single  ("[]{}")